파인튜닝 vs 힐링(Healing) — 병합 봉합선을 꿰매는 재훈련
요약: 힐링(healing)은 병합·접합 직후 깨진 봉합선을 꿰매는 가벼운 재훈련이다. 2편에서 "이식 후엔 재활이 필요하다"고 했는데, 그 재활의 정식(이라기보단 현장) 이름이 바로 힐링이다. 가장 중요한 건 목적이다 — 힐링은 새 지식을 넣는 게 아니라, 이식으로 망가진 일관성·유창함을 되살리는 작업이다. 이 글에서는 힐링이 정확히 뭘 고치는지, 파인튜닝과 어떻게 다른지, 언제 꼭 필요한지를 처음부터 짚는다. 힐링은 정확히 뭘 고치나? 2편을 잠깐 복습하자.
힐링(healing)은 병합·접합 직후 깨진 봉합선을 꿰매는 가벼운 재훈련이다. 2편에서 "이식 후엔 재활이 필요하다"고 했는데, 그 재활의 정식(이라기보단 현장) 이름이 바로 힐링이다. 가장 중요한 건 목적이다 — 힐링은 새 지식을 넣는 게 아니라, 이식으로 망가진 일관성·유창함을 되살리는 작업이다. 이 글에서는 힐링이 정확히 뭘 고치는지, 파인튜닝과 어떻게 다른지, 언제 꼭 필요한지를 처음부터 짚는다.
힐링은 정확히 뭘 고치나?#
2편을 잠깐 복습하자. 프랑켄머지·FFN 이식을 하면, 어텐션이 공유 문서(레지듀얼 스트림)에 자기 방언으로 써 놓은 메모를, 이식된 FFN이 다른 방언으로 읽어 헛소리를 얹었다. 이 어긋남이 봉합선이었다. 힐링은 바로 이 어텐션↔FFN의 악수(handshake)를 다시 맞추는 작업이다. 접속 지점의 통역사인 LayerNorm과 주변 스케일값을 소량의 재훈련으로 재정렬해, 두 방언이 통하게 만든다. 그래서 힐링 후에는 이식된 부품이 몸체의 문서를 "제 사전으로" 알아듣게 된다.
힐링 vs 파인튜닝 vs 밑바닥 학습?#
셋은 이름만 비슷하지 목적이 완전히 다르다. 헷갈리기 쉬우니 또박또박 갈라 보자.
힐링은 소량의 범용 코퍼스로 접합부의 "말을 다시 매끄럽게" 만든다. 목표는 새 능력이 아니라 잃어버린 유창함의 복구다. 도메인 파인튜닝은 목표 분야 데이터로 "이 분야를 잘하게" 새 능력·지식을 주입한다. 밑바닥 학습은 방대한 데이터로 "말하는 법 자체"를 처음부터 만든다. 비용도 정반대다 — 힐링은 거의 다 만들어진 병합 체크포인트에서 출발하므로 압도적으로 싸고, 밑바닥 학습은 어마어마하게 비싸다.
| 축 | 힐링(healing) | 도메인 파인튜닝 | 밑바닥 학습 |
|---|---|---|---|
| 목적 | 봉합선 복구(일관성) | 새 능력·지식 주입 | 처음부터 능력 형성 |
| 출발점 | 병합 체크포인트 | 능력 있는 베이스 | 랜덤 초기값 |
| 데이터 | 소량·범용 | 목표 도메인 | 방대한 코퍼스(수조 토큰) |
| 비용 | 가벼움 | 중간 | 매우 큼 |
| 뭘 배우나 | 말 다시 매끄럽게 | 이 분야 잘하게 | 말하는 법 자체 |
힐링은 실제로 어떻게 하나?#
레시피는 의외로 단순하다. 병합 체크포인트에 소량의 범용 텍스트로 짧은 continued pretraining(또는 LoRA)을 돌린다. 데이터는 도메인용이 아니라 "말을 다시 매끄럽게" 하는 범용이면 충분하다. Upstage SOLAR-10.7B가 보여준 곡선이 이 과정을 상징적으로 담고 있다 — 32층을 48층으로 늘려 접합한 직후엔 성능이 원래(base)보다 일시적으로 떨어졌다가, 재훈련이 진행되며 빠르게 회복하고 결국 base를 추월했다. "붙이면 끝"이 아니라 "붙인 뒤 재활이 진짜 일"임을 보여주는 그림이다.
언제 필요하고 언제 안 필요한가?#
깔끔하게 갈린다. 키메라(프랑켄머지·FFN 이식) 는 이음매가 거치니 힐링이 절실하다. 반면 동계열 weight 평균(SLERP·TIES·DARE) 은 부모가 공통 조상이라 좌표계가 애초에 맞아, 섞어도 유창함이 잘 안 깨져 힐링이 거의 필요 없다. 즉 시리즈 전체를 관통하는 규칙 하나 — 섞기(하이브리드)는 힐링이 덜 필요하고, 붙이기(키메라)일수록 힐링이 필수 다. 이게 LLM 병합에서 동계열 평균이 그토록 매력적인 이유이기도 하다.
주의 — 힐링은 만능이 아니다#
두 가지 함정을 기억하자. 첫째, 접합이 근본적으로 나쁘면 힐링으로도 못 살린다 — 방언 차이가 너무 크면 재교육으로도 안 통하고, 깨진 뼈대를 억지로 다시 훈련할 뿐이다. 둘째, 힐링을 충분히 안 하고 벤치 점수만 뽑은 대형 프랑켄머지가 많다. 겉보기 리더보드는 좋은데 실사용에선 횡설수설한다 — 3편의 "벤치 게이밍" 함정과 정확히 맞물리는 지점이다. 그럴싸하게 들리지만 일관성이 없는 것이다.
2026 최신 흐름#
병합이 프로덕션 파이프라인에 들어오면서 힐링도 자동화되는 추세다. "병합 → 짧은 힐링 → 평가"를 한 묶음으로 넣고, 힐링 데이터도 목표 성격에 맞춰 살짝 섞는다. 그리고 커뮤니티엔 새 잣대가 생겼다 — "얼마나 힐링했나"가 병합 모델 신뢰도의 척도 가 된 것이다. 접합 자체보다 접합 후 재활이 품질을 가르기 때문이다.
한 줄 요약: 힐링 = 이식·접합으로 깨진 어텐션↔FFN 악수를 가벼운 재훈련으로 다시 맞춰 유창함을 복구하는 단계. 새 지식 주입(파인튜닝)이나 밑바닥 학습과는 목적이 다르고, 키메라일수록 필수·동계열 평균이면 거의 불필요하다. 그리고 힐링해도 안 되는 접합은 그냥 안 되는 거다.
참고: 2026-07-01 기준. "힐링"은 논문 용어라기보단 병합 커뮤니티 현장 용어이며, 그 원리(접합 후 continued pretraining)는 SOLAR/DUS 논문이 엄밀히 보여준다.
Responses
No responses yet. Be the first to respond.