증류(Distillation) — 이종·클라우드까지 능력을 옮기는 유일한 길

목차

왜 그냥 답만 봐도 배워지나?

화이트박스 vs 블랙박스?

이종 모델·다른 사전은 어떻게 잇나?

그래서 병합과 정확히 뭐가 다른가?

증류(distillation)는 스승 모델의 답을 제자 모델이 흉내 내며 배우는 방식이다. 앞의 교배·키메라가 가중치(숫자 부품)를 직접 옮기는 것과 달리, 증류는 겉으로 드러난 행동(출력)만 모방 한다. 바로 이 차이 덕분에, 스승과 제자의 속 구조가 완전히 달라도 되고, 심지어 가중치가 공개 안 된 클라우드 모델(GPT·Claude)까지 스승으로 쓸 수 있다. 이 글에서는 "답만 보고 어떻게 배워지는지"부터 이종·클라우드를 잇는 법까지 차근차근 푼다.

왜 그냥 답만 봐도 배워지나?#

핵심은, 스승이 주는 게 딱딱한 정답 하나가 아니라 "확률 분포" 라는 점이다. 스승에게 "이 동물은?"이라 물으면, 스승은 "고양이"라고만 답하지 않는다. 속으로는 "고양이 92%, 호랑이 6%, 강아지 1.5%, 자동차 0.01%…" 같은 분포(소프트 라벨)를 갖고 있다. 여기엔 정답 이상의 정보가 담겨 있다 — "고양이인데 호랑이랑 꽤 닮았고, 자동차랑은 완전 딴판"이라는 뉘앙스 말이다.

제자는 이 뉘앙스까지 흉내 내며 배운다. 그래서 "정답만 베끼는 것"보다 훨씬 풍부하게 배운다. 스승 어깨너머로 "왜 그렇게 판단하는지"의 결까지 배우는 도제식 학습에 가깝다. 생성 모델에서는 이걸 문장 단위로 확장해(sequence-level KD), 스승이 만든 문장 전체를 제자가 따라 쓰게 훈련한다.

화이트박스 vs 블랙박스?#

증류는 두 종류로 갈린다. 화이트박스 증류는 스승의 내부(logits·확률분포)를 직접 들여다보고 배운다 — 그러려면 스승의 가중치가 공개돼 있어야 한다(MiniLLM·GKD가 대표). 블랙박스 증류는 스승의 출력 텍스트만 보고 배운다 — API만 있으면 되니 GPT·Claude 같은 폐쇄 모델도 스승 이 된다.

블랙박스의 유명 사례가 많다. Stanford Alpaca는 OpenAI 모델의 답 5.2만 개로 LLaMA를 훈련했고, Vicuna는 ShareGPT의 ChatGPT 대화로 훈련했다. 2025년 최대 사건은 DeepSeek-R1-Distill — 프런티어 추론모델의 사고 흔적 80만 개로 Qwen·Llama 제자를 훈련해, 작은 모델에 강화학습(RL)을 직접 돌리는 것보다 나은 결과를 얻어 화제가 됐다.

이종 모델·다른 사전은 어떻게 잇나?#

여기서 자연스러운 난관이 있다. 증류는 스승의 답을 따라 배우는데, 스승과 제자의 tokenizer(단어를 토큰으로 쪼개는 사전)가 다르면 토큰이 서로 안 맞는다. 이걸 어떻게 잇나?

FuseLLM/FuseChat 이 대표적 해법이다. 여러 이종 스승(예: Llama·MPT·OpenLLaMA)의 생성 분포를 하나의 제자로 융합하되, 최소편집거리(MinED) 같은 "토큰 정렬" 로 서로 다른 사전을 이어 붙인다. 최근엔 아예 사전이 완전히 달라도 되게 만드는 ULD(최적수송 기반) 손실도 나왔다. 실무에선 "이종 스승들을 증류로 한 계열의 제자로 모은 뒤, 그다음 (같은 계열이 됐으니) 교배로 합치는" fuse-then-merge 조합도 쓴다. 즉 증류는 병합이 못 넘는 "이종의 벽"을 넘게 해주는 다리 다.

그래서 병합과 정확히 뭐가 다른가?#

정리하면 이렇다. 병합은 부품(weight)을 직접 옮기니 빠르고 정보 손실이 거의 없지만, 같은 계열·오픈 가중치라는 벽에 갇힌다. 증류는 답을 흉내 내 배우니 이종·클라우드까지 넘지만, 제자를 gradient로 훈련해야 하고(비용) 근사·압축이라 약간의 손실이 있다.

병합 vs 증류 — 어느 벽을 넘나 · columns: 축, 병합(merge), 증류(distill) · 출처 Hax hax.moche.ai/p/1073?ref=ai_answer

축 | 병합(merge) | 증류(distill)
작동 공간 | 가중치(부품) | 행동(답)
gradient 훈련 | 없음 | 필수(제자 훈련)
이종 아키텍처 | 불가 | 가능
다른 tokenizer | 불가 | 가능(정렬 필요)
클라우드 스승 | 불가 | 가능(답만 있으면)
정보 손실 | 거의 없음 | 근사·압축 손실

목차

한 걸음 더 — 왜 그냥 답만 베끼면 부족한가?

2026 최신 흐름

참고 링크

한 걸음 더 — 왜 그냥 답만 베끼면 부족한가?#

스승의 답을 오프라인으로 잔뜩 모아 베끼기만 하면 한 가지 문제가 생긴다. 제자가 실제로 저지르는 실수와 학습 데이터가 어긋나는 것(분포 shift)이다. 그래서 최신 기법은 온폴리시(on-policy) 증류 를 쓴다 — 제자가 먼저 문장을 생성하고, 그 문장에 대해 스승이 판단·확률로 교정한다(MiniLLM·GKD). 제자의 진짜 약점을 겨냥하니 같은 데이터로도 더 잘 배운다.

2026 최신 흐름#

2025~2026의 큰 흐름은 둘이다. 첫째, DeepSeek-R1 증류 물결 — 프런티어 추론모델의 답으로 작은 오픈모델을 훈련하는 게 표준이 됐다. 둘째, cross-tokenizer 증류 — ULD·근사우도매칭으로 tokenizer가 아예 달라도 증류가 되기 시작했다. 이는 병합이 못 넘던 이종의 벽을 증류가 더 넓게 허무는 방향이다. 그래서 서로 다른 계열을 엮고 싶으면, 답은 언제나 증류다.

한 줄 요약: 증류는 스승의 "답(분포)"을 제자가 흉내 내며 배우므로, 병합이 못 넘는 이종·클라우드까지 능력을 옮긴다. 대신 제자 훈련 비용과 약간의 근사 손실이 따라온다.

참고: 2026-07-01 기준. 스승 출력을 학습에 쓰는 것은 각 모델의 라이선스·이용약관을 확인해야 한다(일부는 경쟁모델 학습을 제한).

참고 링크#

Distilling the Knowledge in a Neural Network (Hinton 2015)

MiniLLM — 화이트박스 증류 (ICLR 2024)

FuseLLM — 이종 모델 지식 융합 (ICLR 2024)

FuseChat — 채팅 모델 융합

DeepSeek-R1 (증류 제자 공개, 2025)

Cross-Tokenizer Distillation (ULD)