키메라(Chimera)·프랑켄머지 — 부위를 이어붙이는 모델 합성
요약: 키메라(chimera)는 부모를 "섞는" 게 아니라 부위를 "이어붙이는" 합성이다. 그리스 신화의 사자머리·염소몸통·뱀꼬리 괴물처럼, 각 부위는 원본 그대로 두고 통째로 접합한다. 모델 세계에선 여러 모델의 레이어를 그대로 쌓아 올리는 프랑켄머지(frankenmerge)·passthrough 병합이 여기 해당한다. 왜 굳이 이렇게 하는지, 그리고 왜 그 대가로 "봉합선"이 생기는지를 이 글에서 처음부터 짚는다. 평균이 아니라 왜 굳이 붙이나?
키메라(chimera)는 부모를 "섞는" 게 아니라 부위를 "이어붙이는" 합성이다. 그리스 신화의 사자머리·염소몸통·뱀꼬리 괴물처럼, 각 부위는 원본 그대로 두고 통째로 접합한다. 모델 세계에선 여러 모델의 레이어를 그대로 쌓아 올리는 프랑켄머지(frankenmerge)·passthrough 병합이 여기 해당한다. 왜 굳이 이렇게 하는지, 그리고 왜 그 대가로 "봉합선"이 생기는지를 이 글에서 처음부터 짚는다.
평균이 아니라 왜 굳이 붙이나?#
교배(가중치 평균)는 모양이 같은 두 모델을 섞어 같은 크기의 새 모델을 만든다. 크기는 그대로다. 그런데 접합은 다르다. 레이어를 통째로 이어 붙이니 모델의 파라미터 수 자체가 커진다. 예컨대 Llama-2 70B 두 개를 16층 블록으로 번갈아 쌓아 118B로 만든 goliath-120b, 32층 모델을 48층으로 늘린 뒤 재학습한 Upstage SOLAR-10.7B가 대표 사례다. "평균으로는 절대 못 만드는 더 큰 모델"을 만들 수 있다는 게 키메라의 존재 이유다. 특정 블록(예: 지식을 많이 담은 FFN)만 떼어 다른 몸체에 이식하는 것도 같은 결의 "부위 이식"이다.
그런데 이어붙이면 왜 거칠어지나?#
여기가 이 편의 핵심이다. 답을 이해하려면 먼저 트랜스포머 속에서 어텐션과 FFN이 어떻게 대화하는지를 알아야 한다.
결론부터: 둘은 서로 배선이 꽂혀 있지 않다. 딱 하나, 레지듀얼 스트림(residual stream) 이라는 공유 게시판을 통해서만 소통한다. 컨베이어벨트처럼 흘러가는 이 공유 문서를, 어텐션이 읽고 → 문맥 정보를 메모해 다시 얹고, 그다음 FFN이 그 문서를 읽고 → 지식으로 가공한 결과를 또 얹는다. 어텐션은 정보를 위치 사이로 옮기는 "회의", FFN은 위치마다 지식을 꺼내는 "개인 처리"에 가깝다. 둘 다 같은 문서를 읽고 쓸 뿐, 서로 직접 연결은 없다.
문제는 이 공유 문서의 "좌표계" 에 있다. 문서의 각 차원(칸)이 무슨 뜻인지는 모델마다 학습으로 제각각 정해진 고유한 방언이다. Gemma는 "주제 특징은 X방향 칸에 적어둔다"는 식으로 자기 방언을 쓰고, 다른 회사 모델은 "주제 특징은 Y방향"이라는 다른 방언을 쓴다.
이제 남의 FFN을 Gemma 몸체에 이식했다고 하자. 폭(차원 수)은 같으니 기계적으론 꽂힌다 — 크래시는 안 난다. 하지만 Gemma 어텐션이 자기 방언으로 써 놓은 문서를, 이식된 FFN은 자기 회사 방언으로 읽으려 한다. 같은 문서를 틀린 사전으로 해석하니 헛소리를 문서에 얹는다. 게다가 그 오염된 문서를 다음 층 어텐션이 또 읽어 오염이 아래로 번진다. 이 어긋남이 바로 "봉합선(seam)"이다. 즉 "어텐션 라인은 멀쩡히 살아있지만, 어텐션↔FFN의 악수(handshake)가 서로 다른 언어"라 대화가 깨지는 것이다.
그럼 봉합선은 어떻게 꿰매나?#
다행히 각 접속 지점엔 LayerNorm(정규화) 이라는 작은 통역·변환기가 붙어 있다. 이식 후 짧은 재훈련에서 주로 이 정규화와 주변 스케일값을 다시 맞춰 두 방언이 통하게 만든다 — 이게 5편에서 다룰 "힐링(healing)"이다. 실제로 SOLAR 논문은 봉합선의 어긋남을 줄이려 접합부 중간 층 일부를 잘라내고, 이어서 continued pretraining으로 성능을 회복시켰다. 핵심 교훈: 키메라는 "붙이면 끝"이 아니라 붙인 뒤 재활 이 필수다.
| 축 | 하이브리드(blend) | 키메라(graft) |
|---|---|---|
| 방법 | 가중치 평균·보간 | 레이어 통째 접합 |
| 파라미터 수 | 그대로 | 커짐(70B×2→120B) |
| 별칭 | weight merge | frankenmerge·passthrough |
| 봉합선(seam) | 거의 없음 | 거칠다 → 힐링 필요 |
| 대표 사례 | TIES 병합 7B | goliath-120b·SOLAR-10.7B |
2026 최신 흐름#
goliath 이후 개인들이 Llama-3-70B를 스스로 겹쳐 122B·225B로 키운 self-merge가 이어졌다(예: Llama-3-120B). 또 여러 모델의 FFN만 전문가로 엮는 MoE 프랑켄머지(mergekit-moe) 도 흔해졌는데, 어텐션은 베이스 것을 쓰고 FFN들만 나란히 두어 봉합 부담을 줄인 방식이다. 커뮤니티가 쌓은 교훈은 분명하다 — "크게 만들면 벤치는 오르지만 실사용 일관성은 힐링 없이는 안 온다." 그래서 관심이 접합 자체보다 접합 후 재활(힐링) 로 옮겨가고 있다.
한 줄 요약: 키메라 = 부모를 섞는 게 아니라 부위를 통째로 이어붙이는 합성. 크기를 키우거나 특정 부품만 옮길 수 있는 대신, 어텐션↔FFN이 공유 문서를 서로 다른 방언으로 읽어 봉합선이 거칠어진다. 그래서 LayerNorm 재조정+파인튜닝의 "재활"이 반드시 따라온다.
참고: 2026-07-01 기준. 다수 프랑켄머지는 재훈련 없이 배포돼 벤치는 좋아도 실사용에서 횡설수설하기도 한다(3·5편의 함정과 연결).
Responses
No responses yet. Be the first to respond.