증류(Distillation) — 이종·클라우드까지 능력을 옮기는 유일한 길

증류(distillation)는 스승 모델의 답을 제자 모델이 흉내 내며 배우는 방식이다. 앞의 교배·키메라가 가중치(숫자 부품)를 직접 옮기는 것과 달리, 증류는 겉으로 드러난 행동(출력)만 모방 한다. 바로 이 차이 덕분에, 스승과 제자의 속 구조가 완전히 달라도 되고, 심지어 가중치가 공개 안 된 클라우드 모델(GPT·Claude)까지 스승으로 쓸 수 있다. 이 글에서는 "답만 보고 어떻게 배워지는지"부터 이종·클라우드를 잇는 법까지 차근차근 푼다.

왜 그냥 답만 봐도 배워지나?#

핵심은, 스승이 주는 게 딱딱한 정답 하나가 아니라 "확률 분포" 라는 점이다. 스승에게 "이 동물은?"이라 물으면, 스승은 "고양이"라고만 답하지 않는다. 속으로는 "고양이 92%, 호랑이 6%, 강아지 1.5%, 자동차 0.01%…" 같은 분포(소프트 라벨)를 갖고 있다. 여기엔 정답 이상의 정보가 담겨 있다 — "고양이인데 호랑이랑 꽤 닮았고, 자동차랑은 완전 딴판"이라는 뉘앙스 말이다.

제자는 이 뉘앙스까지 흉내 내며 배운다. 그래서 "정답만 베끼는 것"보다 훨씬 풍부하게 배운다. 스승 어깨너머로 "왜 그렇게 판단하는지"의 결까지 배우는 도제식 학습에 가깝다. 생성 모델에서는 이걸 문장 단위로 확장해(sequence-level KD), 스승이 만든 문장 전체를 제자가 따라 쓰게 훈련한다.

화이트박스 vs 블랙박스?#

증류는 두 종류로 갈린다. 화이트박스 증류는 스승의 내부(logits·확률분포)를 직접 들여다보고 배운다 — 그러려면 스승의 가중치가 공개돼 있어야 한다(MiniLLM·GKD가 대표). 블랙박스 증류는 스승의 출력 텍스트만 보고 배운다 — API만 있으면 되니 GPT·Claude 같은 폐쇄 모델도 스승 이 된다.

블랙박스의 유명 사례가 많다. Stanford Alpaca는 OpenAI 모델의 답 5.2만 개로 LLaMA를 훈련했고, Vicuna는 ShareGPT의 ChatGPT 대화로 훈련했다. 2025년 최대 사건은 DeepSeek-R1-Distill — 프런티어 추론모델의 사고 흔적 80만 개로 Qwen·Llama 제자를 훈련해, 작은 모델에 강화학습(RL)을 직접 돌리는 것보다 나은 결과를 얻어 화제가 됐다.

이종 모델·다른 사전은 어떻게 잇나?#

여기서 자연스러운 난관이 있다. 증류는 스승의 답을 따라 배우는데, 스승과 제자의 tokenizer(단어를 토큰으로 쪼개는 사전)가 다르면 토큰이 서로 안 맞는다. 이걸 어떻게 잇나?

FuseLLM/FuseChat 이 대표적 해법이다. 여러 이종 스승(예: Llama·MPT·OpenLLaMA)의 생성 분포를 하나의 제자로 융합하되, 최소편집거리(MinED) 같은 "토큰 정렬" 로 서로 다른 사전을 이어 붙인다. 최근엔 아예 사전이 완전히 달라도 되게 만드는 ULD(최적수송 기반) 손실도 나왔다. 실무에선 "이종 스승들을 증류로 한 계열의 제자로 모은 뒤, 그다음 (같은 계열이 됐으니) 교배로 합치는" fuse-then-merge 조합도 쓴다. 즉 증류는 병합이 못 넘는 "이종의 벽"을 넘게 해주는 다리 다.

그래서 병합과 정확히 뭐가 다른가?#

정리하면 이렇다. 병합은 부품(weight)을 직접 옮기니 빠르고 정보 손실이 거의 없지만, 같은 계열·오픈 가중치라는 벽에 갇힌다. 증류는 답을 흉내 내 배우니 이종·클라우드까지 넘지만, 제자를 gradient로 훈련해야 하고(비용) 근사·압축이라 약간의 손실이 있다.

한 걸음 더 — 왜 그냥 답만 베끼면 부족한가?#

스승의 답을 오프라인으로 잔뜩 모아 베끼기만 하면 한 가지 문제가 생긴다. 제자가 실제로 저지르는 실수와 학습 데이터가 어긋나는 것(분포 shift)이다. 그래서 최신 기법은 온폴리시(on-policy) 증류 를 쓴다 — 제자가 먼저 문장을 생성하고, 그 문장에 대해 스승이 판단·확률로 교정한다(MiniLLM·GKD). 제자의 진짜 약점을 겨냥하니 같은 데이터로도 더 잘 배운다.

2026 최신 흐름#

2025~2026의 큰 흐름은 둘이다. 첫째, DeepSeek-R1 증류 물결 — 프런티어 추론모델의 답으로 작은 오픈모델을 훈련하는 게 표준이 됐다. 둘째, cross-tokenizer 증류 — ULD·근사우도매칭으로 tokenizer가 아예 달라도 증류가 되기 시작했다. 이는 병합이 못 넘던 이종의 벽을 증류가 더 넓게 허무는 방향이다. 그래서 서로 다른 계열을 엮고 싶으면, 답은 언제나 증류다.

한 줄 요약: 증류는 스승의 "답(분포)"을 제자가 흉내 내며 배우므로, 병합이 못 넘는 이종·클라우드까지 능력을 옮긴다. 대신 제자 훈련 비용과 약간의 근사 손실이 따라온다.

참고: 2026-07-01 기준. 스승 출력을 학습에 쓰는 것은 각 모델의 라이선스·이용약관을 확인해야 한다(일부는 경쟁모델 학습을 제한).

참고 링크#

• Distilling the Knowledge in a Neural Network (Hinton 2015)
• MiniLLM — 화이트박스 증류 (ICLR 2024)
• FuseLLM — 이종 모델 지식 융합 (ICLR 2024)
• FuseChat — 채팅 모델 융합
• DeepSeek-R1 (증류 제자 공개, 2025)
• Cross-Tokenizer Distillation (ULD)