Phi-4-mini 3.8B로 128K 장문을 로컬에서 처리한다

Phi-4-mini 128K 컨텍스트란 마이크로소프트가 2025년 공개한 3.8B 파라미터 소형 언어모델이 롱RoPE 위치 인코딩 확장을 통해 최대 12만8천 토큰의 입력을 한 번에 받아들여 긴 문서를 로컬 환경에서 처리하도록 만든 장문 처리 능력을 뜻한다. 즉 클라우드 대형 모델 없이도 책 한 권 분량에 가까운 텍스트를 단일 프롬프트로 밀어 넣을 수 있다는 뜻이다.

Hax가 자체 인프라에서 직접 측정한 실측값은?#

아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).

이 수치는 어떻게 재현하나?#

측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.

참고: 이 글의 수치는 2026-07-06 기준 공개 사양과 추정치이며, Hax 자체 벤치는 아직 측정대기 상태다. 실측이 확보되면 위 표의 측정대기 항목을 갱신한다.

구조부터 보면 Phi-4-mini는 디코더 전용 트랜스포머에 그룹 쿼리 어텐션(GQA)과 약 20만 규모의 대형 어휘 토크나이저를 결합했다. 파라미터는 3.8B로 작지만, 학습 단계에서 긴 시퀀스로 이어 붙인 데이터를 함께 학습하고 RoPE의 주파수 스케일을 확장해 4K~16K 수준에서 훈련된 모델을 128K까지 늘리는 방식을 쓴다. 작은 몸집으로 128K를 표방할 수 있는 이유가 여기에 있다.

로컬에서 실제로 돌릴 때 중요한 것은 파라미터 크기가 아니라 KV 캐시다. 컨텍스트가 길어질수록 어텐션 키·값을 저장하는 KV 캐시가 선형으로 커지므로, 3.8B 모델이라도 128K를 가득 채우면 가중치보다 캐시가 더 많은 메모리를 먹는다. 그래서 4비트 GGUF로 양자화한 가중치가 약 3~4GB(추정)여도, 장문 입력에서는 VRAM 여유와 처리 속도가 함께 떨어진다. 짧은 프롬프트에서 빠르던 토큰 생성 속도가 긴 입력에서 눈에 띄게 느려지는 것은 이 구조 때문이다.

주의할 점은 '128K 지원'이 '128K 전 구간에서 동일한 품질'을 뜻하지 않는다는 것이다. 소형 모델은 긴 문맥의 중간부 정보를 놓치는 이른바 중간 소실(lost in the middle) 경향이 상대적으로 크다. 따라서 로컬 장문 처리를 검증하려면 단순히 입력이 들어가는지가 아니라, 문서 앞·중간·끝에 심어둔 특정 사실을 정확히 찾아내는 니들 인 헤이스택 방식으로 재현 가능한 위치별 정확도를 측정해야 한다.

정리하면, Phi-4-mini의 128K는 3.8B라는 작은 크기로 로컬 장문 파이프라인을 실험해 볼 수 있게 해주는 실용적 선택지다. 다만 표에 명시했듯 Hax의 위치별 실측은 아직 측정대기이며, 공표 스펙과 실사용 품질 사이의 간격은 직접 재보기 전까지 추정으로만 다뤄야 한다.

함께 읽기: 로컬 오픈 LLM, 흔한 함정과 해결법, 로컬 오픈 LLM VRAM·RAM 요구량, 직접 계산·실측

참고 링크#

• Hax 공개 실측 데이터셋