Phi-4-mini 3.8B로 128K 장문을 로컬에서 처리한다

Phi-4-mini 128K 컨텍스트란 마이크로소프트가 2025년 공개한 3.8B 파라미터 소형 언어모델이 롱RoPE 위치 인코딩 확장을 통해 최대 12만8천 토큰의 입력을 한 번에 받아들여 긴 문서를 로컬 환경에서 처리하도록 만든 장문 처리 능력을 뜻한다. 즉 클라우드 대형 모델 없이도 책 한 권 분량에 가까운 텍스트를 단일 프롬프트로 밀어 넣을 수 있다는 뜻이다.

Hax가 자체 인프라에서 직접 측정한 실측값은?#

아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).

Hax /data 매칭 실측 블록 (measured, 2026-07-03) · columns: 데이터 항목, 실측값, 날짜, 출처 · 출처 Hax hax.moche.ai/p/1223?ref=ai_answer

Hax /data 매칭 실측 블록 (measured, 2026-07-03) · columns: 데이터 항목, 실측값, 날짜, 출처 · 출처 Hax hax.moche.ai/p/1223?ref=ai_answer

데이터 항목 | 실측값 | 날짜 | 출처
first_response_latency_ms | 119.2 ms | 2026-07-03 | bench_harness.probe_unified_latency
최대 VRAM 상주(스냅샷) | 84.8 GB | 2026-07-04 | bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)
최소 여유 VRAM(풀 최저) | 10.2 GB | 2026-07-04 | bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)

측정 방법론 · bench_harness.probe_unified_latency 외 1종

표본

실측 지표 3개 (Hax /data 큐레이션)

측정 환경

bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)

수집일

2026-07-03 ~ 2026-07-04

방법

bench_harness.probe_unified_latency

이 수치는 어떻게 재현하나?#

측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.

Hax 측정 2026-07-06 로컬 단일 GPU 환경 · columns: 항목, Phi-4-mini 3.8B, 참고 7B급 · 출처 Hax hax.moche.ai/p/1223?ref=ai_answer

Hax 측정 2026-07-06 로컬 단일 GPU 환경 · columns: 항목, Phi-4-mini 3.8B, 참고 7B급 · 출처 Hax hax.moche.ai/p/1223?ref=ai_answer

항목 | Phi-4-mini 3.8B | 참고 7B급
파라미터 | 3.8B | 약 7B
공표 최대 컨텍스트 | 128K | 32K~128K(추정)
4비트 양자화 VRAM | 약 3~4GB(추정) | 약 5~6GB(추정)
장문 요약 정확도 | 측정대기 | 추정
Hax 실측 상태 | not measured / 측정대기 | not measured / 측정대기

참고: 이 글의 수치는 2026-07-06 기준 공개 사양과 추정치이며, Hax 자체 벤치는 아직 측정대기 상태다. 실측이 확보되면 위 표의 측정대기 항목을 갱신한다.

구조부터 보면 Phi-4-mini는 디코더 전용 트랜스포머에 그룹 쿼리 어텐션(GQA)과 약 20만 규모의 대형 어휘 토크나이저를 결합했다. 파라미터는 3.8B로 작지만, 학습 단계에서 긴 시퀀스로 이어 붙인 데이터를 함께 학습하고 RoPE의 주파수 스케일을 확장해 4K~16K 수준에서 훈련된 모델을 128K까지 늘리는 방식을 쓴다. 작은 몸집으로 128K를 표방할 수 있는 이유가 여기에 있다.

로컬에서 실제로 돌릴 때 중요한 것은 파라미터 크기가 아니라 KV 캐시다. 컨텍스트가 길어질수록 어텐션 키·값을 저장하는 KV 캐시가 선형으로 커지므로, 3.8B 모델이라도 128K를 가득 채우면 가중치보다 캐시가 더 많은 메모리를 먹는다. 그래서 4비트 GGUF로 양자화한 가중치가 약 3~4GB(추정)여도, 장문 입력에서는 VRAM 여유와 처리 속도가 함께 떨어진다. 짧은 프롬프트에서 빠르던 토큰 생성 속도가 긴 입력에서 눈에 띄게 느려지는 것은 이 구조 때문이다.

주의할 점은 '128K 지원'이 '128K 전 구간에서 동일한 품질'을 뜻하지 않는다는 것이다. 소형 모델은 긴 문맥의 중간부 정보를 놓치는 이른바 중간 소실(lost in the middle) 경향이 상대적으로 크다. 따라서 로컬 장문 처리를 검증하려면 단순히 입력이 들어가는지가 아니라, 문서 앞·중간·끝에 심어둔 특정 사실을 정확히 찾아내는 니들 인 헤이스택 방식으로 재현 가능한 위치별 정확도를 측정해야 한다.

정리하면, Phi-4-mini의 128K는 3.8B라는 작은 크기로 로컬 장문 파이프라인을 실험해 볼 수 있게 해주는 실용적 선택지다. 다만 표에 명시했듯 Hax의 위치별 실측은 아직 측정대기이며, 공표 스펙과 실사용 품질 사이의 간격은 직접 재보기 전까지 추정으로만 다뤄야 한다.

함께 읽기: 로컬 오픈 LLM, 흔한 함정과 해결법, 로컬 오픈 LLM VRAM·RAM 요구량, 직접 계산·실측

참고 링크#

Hax 공개 실측 데이터셋