모델은 어떻게 남의 능력을 물려받나 — 교배·키메라·증류 3가지 길

오늘 오픈소스 진영에서는 매주 강력한 새 모델이 쏟아진다. 그런데 그 대부분은 처음부터 학습한 게 아니라, 이미 잘하는 모델들의 능력을 "물려받아" 재조합한 결과다. 물려받는 방법은 크게 셋 — 가중치를 섞는 교배(merge), 부위를 통째로 이어붙이는 키메라(graft), 답을 보고 흉내 내 배우는 증류(distillation). 이 시리즈는 이 세 길의 지도를 하나씩, 초보자도 끝까지 따라오게 그려본다.

왜 처음부터 안 배우고 물려받나?#

거대 모델을 밑바닥부터 학습하는 일은, 갓난아기를 데려와 언어부터 전 분야 지식까지 처음부터 가르치는 것과 같다. 데이터도 연산도 어마어마하게 든다. 그런데 세상엔 이미 "수학 잘하는 전문가", "한국어 잘하는 전문가", "코딩 잘하는 전문가"가 오픈 가중치로 널려 있다. 그렇다면 이들을 처음부터 다시 키울 이유가 없다. 이미 배운 능력을 옮겨오는 편이 압도적으로 싸다. 그래서 GPU가 부족한 개인·소규모 팀도 이 방식으로 리더보드 상위권 모델을 만들어냈고, 이 흐름이 하나의 공학 분야로 자리 잡았다.

세 방식의 공통점이 하나 있다. 모두 밑바닥 학습 없이 "남의 능력"을 재조합한다는 것. 좋은 소식은 싸고 빠르다는 점, 나쁜 소식은 소스(부모·스승)에 애초에 없던 능력은 새로 만들지 못한다는 점이다. 재료에 없는 맛은 아무리 섞어도 안 나오는 것과 같다.

그럼 셋은 정확히 어디가 다른가?#

핵심 갈림은 딱 하나, "어디서 작업하느냐" 다. 조금만 참고 이 구분을 잡아두면 시리즈 전체가 쉬워진다.

교배와 키메라는 "가중치 공간"에서 논다. 모델의 실력은 결국 수십억 개의 숫자(파라미터, 가중치)에 담겨 있다. 교배는 두 모델의 이 숫자들을 직접 평균·보간해 새 숫자를 만든다. 키메라는 아예 특정 층(레이어) 뭉치를 통째로 떼어다 붙인다. 둘 다 숫자를 직접 만지므로, 두 모델의 숫자 배열 모양(텐서 shape)이 똑같아야 한다. 그래서 보통 같은 계열(예: 둘 다 Llama 파생)끼리만 된다.

증류는 "행동 공간"에서 논다. 스승 모델에게 질문을 던져 나온 답만 보고, 제자가 그 답을 흉내 내며 배운다. 숫자를 만지지 않고 겉으로 드러난 행동만 따라 하므로, 스승과 제자의 속 구조가 완전히 달라도 되고, 심지어 가중치가 공개 안 된 클라우드 모델(GPT·Claude)도 스승으로 쓸 수 있다(답만 뽑으면 되니까).

여기서 자연스러운 의문이 든다. "같은 계열이면 아무 두 개나 그냥 평균 내도 돼?" 아니다 — 여기에 함정이 있고, 그게 2편(키메라)에서 다룰 "좌표계·방언" 이야기다. 지금은 큰 지도만 잡아두자.

능력 전이 3방식 한눈에 — 이 표가 시리즈의 지도 · columns: 방식, 한 줄 비유, 작동 공간, 훈련(gradient), 다른 계열, 클라우드 스승 · 출처 Hax hax.moche.ai/p/1058?ref=ai_answer

방식 | 한 줄 비유 | 작동 공간 | 훈련(gradient) | 다른 계열 | 클라우드 스승
교배(merge) | 두 손맛을 평균낸 레시피 | 가중치 | 없음(조합·검색) | 불가 | 불가
키메라(graft) | 사자 몸에 다른 장기 이식 | 가중치 | 없음(접합) | 불가 | 불가
증류(distill) | 스승 답 보고 배우는 도제 | 행동(답) | 필수(제자 훈련) | 가능 | 가능

목차

그래서, 언제 뭘 골라야 하나?

2026 최신 흐름

참고 링크

그래서, 언제 뭘 골라야 하나?#

실전 감각은 이렇게 잡으면 된다. 두 모델이 같은 계열이고 성격만 다르면(예: 수학형 + 한국어형) → 교배가 가장 싸고 매끈하다. 다른 계열이거나 스승이 클라우드 모델이면 → 증류밖에 길이 없다. 모델 크기 자체를 키우고 싶으면 → 레이어를 쌓는 키메라인데, 대신 접합부가 거칠어 "힐링"(5편)이라는 재활이 따라온다.

2026 최신 흐름#

최근 1년의 큰 줄기는 셋이다. (1) 진화형 병합의 대중화 — Sakana AI가 병합 "레시피"를 진화 알고리즘으로 자동 최적화하는 법을 보였고(3편), 이게 mergekit-evolve로 오픈소스화돼 이제 누구나 레시피를 진화시킨다. (2) 증류 물결 — 2025년 DeepSeek-R1 같은 프런티어 추론모델의 답으로 작은 모델을 훈련하는 "R1-Distill" 계열이 폭발했다(4편). (3) 이종 tokenizer 잇기 — 예전엔 tokenizer(단어 사전)가 다르면 증류가 어려웠는데, 최근 기법으로 사전이 달라도 증류가 되기 시작했다. 지금 실전에선 이 셋을 층층이 겹쳐 쓴다 — 증류로 이종 능력을 끌어오고, 교배로 성격을 섞고, 파인튜닝으로 도메인을 맞춘다.

한 줄 요약: 섞기(교배)·붙이기(키메라)·흉내(증류) — 능력을 옮기는 세 방식의 삼각형이다. 갈림은 "가중치를 만지느냐, 행동을 흉내 내느냐". 다음 편부터 하나씩 진짜 원리까지 파고든다.

참고: 이 글은 2026-07-01 기준 공개 연구·저장소를 근거로 정리했다. 인용 수치·사례는 각 논문·모델카드의 보고값이며, 최신 조건은 원문에서 확인하라.

참고 링크#

Model Soups — 가중치 평균 (ICML 2022)

TIES-Merging — 병합 간섭 해결 (NeurIPS 2023)

DARE — Language Models are Super Mario (ICML 2024)

mergekit — 병합 오픈소스 툴킷

FuseLLM — 이종 모델 지식 융합 (ICLR 2024)

Deep Model Fusion: A Survey (개관)