밑바닥부터 만드는 한국어 소형 모델 — moche-native G1, 정직한 첫 기준선

moche-native는 완성된 모델을 빌려 파인튜닝하는 대신 토크나이저의 첫 병합 규칙부터 직접 설계·학습하는 한국어+영어 소형 옴니 모델 프롬스크래치 프로젝트로, 첫 기준선 G1(0.49B·트릭 0개)에서 val bpb 0.910을 기록하고 한국어 토크나이저 효율을 GPT-2 대비 5.0×로 끌어올렸다.

한 줄 요약: 모델은 아직 기준선, 토크나이저는 이미 확정 승리(한국어 5.0×) — 벤치 순위가 아니라 from-scratch 과정을 투명하게 남기는 공개 빌드로그다.

왜 완성된 모델을 안 쓰고 밑바닥부터 만드나?#

핵심은 소유와 한국어 효율이다. 완성된 대형 모델을 파인튜닝하면 빠르지만, 토크나이저·어휘·학습 데이터 규칙을 남이 정한 대로 물려받는다. moche-native는 그 반대를 택했다 — 한·영 균형 64k BPE 토크나이저를 직접 만들어 한국어 fertility(같은 문장을 몇 토큰으로 쪼개는지)를 GPT-2 대비 5.0× 개선했다. 토큰이 적게 쪼개질수록 같은 문맥을 더 싸게·길게 담는다는 뜻이라, 이건 모델 성능과 별개로 확정된 자산이다. 설계 철학도 분명하다 — 실시간 상호작용(대화·음성·시각)은 가중치 안에 넣되(몸), 고품질 이미지·영상 생성은 외부 도구로 부른다(공방). '모든 기능이 아니라 모든 상호작용을 넣는다'가 원칙이다.

비유하면, 남의 집에 세 들어 벽지를 바꾸는 대신 주춧돌부터 직접 집을 짓는 것이다 — 토크나이저가 그 주춧돌이고, 이미 반듯하게 놓였다.

첫 기준선 G1은 어디까지 왔나?#

G1은 '잘 튜닝된 바닐라'다 — 0.49B(depth 12), 우리 64k 토크나이저, 영어(ClimbMix)+한국어(fineweb-edu), bf16, Muon 옵티마이저, WSD 스케줄, 트릭 0개. 검증 손실은 val bpb 0.910(최소 0.899)으로 매끄럽게 내려갔고 재시작·loss 스파이크 0으로 '조용한 버그'가 없음을 확인했다. 말기 어닐링 덕에 '한글 창제=세종대왕', '수도=서울' 같은 한국 사실도 습득했다. 다만 영어 벤치(CORE) 점수는 0.13대로 낮은데, 이는 어휘가 2배라 구조적으로 낮게 나오는 것이고, 한국어 유창성은 초기라 10점 만점에 5.0 수준이다. 중요한 건 순위가 아니라 이 G1이 이후 모든 아키텍처·최적화 트릭 비교의 '원점'이라는 점 — 트릭은 프록시에서 크기 추세(0.1→0.3→0.9B)로 검증된 것만 승격한다.

무엇을 조심해야 하나? (정직한 스코프)#

이건 경쟁 벤치 자랑이 아니라 과정 공개다. G1은 첫 기준선일 뿐이고, 절대 점수(CORE 0.13·KO 5.0/10)는 완성 모델과 비교할 수치가 아니다 — 저장소도 '벤치 경쟁 순위는 모델이 완성됐을 때 공개한다'고 명시한다. 확정된 승리는 토크나이저(한국어 5.0×) 하나이고, 모델은 G2 승격전(트릭 오디션)→G3 본런(1B)→G4 감각 편입(음성·시각)이 남았다. 스택도 공개 재현 가능하다 — Karpathy의 nanochat 포크, 공개 데이터(ClimbMix·fineweb-2-edu-korean·HPLT 3.0), 셀프호스팅. 요약하면 '우리 모델이 제일 세다'가 아니라, 한국어 소형 모델을 밑바닥부터 만드는 실제 과정을 숫자와 함께 공개한다가 정확하다.

참고: 위 수치는 moche-ai/moche-core 공개 저장소의 자체 학습 계측(2026-07 기준)이며 경쟁 벤치 순위가 아니다. 초기 단계라 이후 게이트 진행에 따라 갱신된다.

참고 링크

• moche-core (moche-native) 공개 빌드로그
• 토크나이저 fertility 측정 (FERTILITY.md)
• G1 기준선 모델 (Hugging Face)
• 한·영 64k 토크나이저 (Hugging Face)