4bit·8bit 양자화 VRAM 실측 — 같은 메모리면 큰 모델 Q4가 이득

4bit·8bit 양자화는 가중치의 비트 수를 줄여 메모리를 선형으로 줄이는 기술이다. 실측 핵심 셋: ① Q4_K_M(약 4.5bpw)이 크기·품질 스위트스팟으로 7B를 약 3.9GB까지 줄이면서 품질 손실은 2% 미만이다. ② 4비트가 프로덕션 바닥이라 그 아래(Q3·Q2)는 추론이 눈에 띄게 무너진다. ③ 그래서 같은 VRAM이면 '작은 모델 Q8'보다 '큰 모델 Q4'가 이득이다 — 큰 모델의 용량이 Q4의 1~2% 손실을 압도한다(단 4비트 위에서만). 즉 남는 VRAM은 더 높은 비트가 아니라 더 큰 모델에 쓰는 게 답이다.

쉽게 말하면: 양자화는 사진 화질 압축이다. 원본(FP16)을 JPEG로 줄이듯, Q8은 눈에 안 보이게, Q4는 거의 안 보이게, Q2는 확 뭉개지게 줄인다. 그리고 '작은 원본을 고화질로'보다 '큰 원본을 적당 화질로'가 대개 더 낫다.

양자화는 메모리를 어떻게 줄이나?#

비트/가중치(bpw)를 줄여 용량을 비례로 낮춘다. FP16은 16비트(2바이트/가중치), Q8은 약 8.5bpw, Q4_K_M은 약 4.5bpw다. 여기서 핵심은 K-퀀트다: 256개 슈퍼블록으로 묶어 민감한 층(어텐션·출력)은 더 높은 비트, 둔감한 층(FFN)은 더 낮은 비트를 준다. 그래서 Q4_K_M은 이름은 4비트지만 실제로는 약 4.5bpw이고, 같은 크기의 구식 Q4_0보다 5~8% 품질을 회복한다. 비트 수만이 아니라 어디에 비트를 쓰느냐가 품질을 정한다.

양자화 레벨별 가중치 메모리·품질 실측 (7B 기준, 2026 공개 측정·추정) · columns: 레벨, bpw, 7B 용량, 품질(ppl) · 출처 Hax hax.moche.ai/p/1078?ref=ai_answer

레벨 | bpw | 7B 용량 | 품질(ppl)
FP16 | 16 | 약 13GB | 기준
Q8_0 | ~8.5 | 약 6.9GB | 사실상 무손실(<0.5%)
Q5_K_M | ~5.5 | 약 4.6GB | 거의 무손실
Q4_K_M | ~4.5 | 약 3.9GB | 스위트스팟(<2%)
Q3_K_M | ~3.9 | 약 3.2GB | 추론 저하 시작

목차

레벨별로 얼마나 드나?

어느 레벨이 품질 대비 이득인가?

같은 VRAM이면 무엇을 골라야 하나?

참고 링크

레벨별로 얼마나 드나?#

가중치 기준으로 FP16의 4분의 1까지 준다. 7B는 FP16 13GB → Q8 6.9GB → Q4_K_M 3.9GB(약 3.4배 압축), 13B는 24.2GB → Q8 12.9GB → Q4_K_M 7.3GB다. 단 이건 가중치만이고, KV 캐시·오버헤드로 10~20%를 더 잡아야 한다. 그리고 문맥 길이는 양자화와 무관하다 — Q4든 FP16이든 128K를 지원하지만, 긴 문맥은 양자화와 별개로 RAM을 더 먹는다(64K 문맥이면 Q4 7B도 10GB+ 필요). 즉 "양자화로 줄었으니 문맥도 공짜"가 아니다.

어느 레벨이 품질 대비 이득인가?#

Q4_K_M이 기본, 정밀 작업이면 Q5_K_M 이상이다. Q8_0은 사실상 무손실(FP16 대비 0.5% 미만, ppl +0.01)이지만 절감 폭이 작다. Q5_K_M은 ppl 차 0.08로 거의 무손실(파일 25% 큼), Q4_K_M은 손실 2% 미만으로 대부분 태스크에 최적이다. 반대로 Q3 아래는 복잡 추론·다단계 논리에서 무너지고 Q2는 긴 출력의 일관성이 깨진다. 그래서 코딩·수학처럼 정밀이 중요하면 Q5_K_M+, 최고 충실도는 Q8/FP16, 나머지는 Q4_K_M이 답이다. 5비트 이하에선 구식(Q4_0)보다 K-퀀트를 골라라.

같은 VRAM이면 무엇을 골라야 하나?#

핵심은 남는 메모리를 비트가 아니라 파라미터에 쓰는 것이다.

원칙: 같은 예산이면 들어가는 가장 큰 모델을 Q4_K_M/Q5_K_M으로. 큰 모델 용량이 4~5비트의 1~2% 손실을 이긴다.

바닥: 단 4비트가 한계선 — Q3·Q2로 내려가면 추론 저하가 그 이득을 지운다(그땐 작고 정밀한 쪽).

여유: VRAM이 남으면 비트를 Q6/Q8로 올리거나, IQ4_XS로 더 짜 더 큰 모델을 밀어넣어라. 정확한 품질은 내 태스크로 직접 재라.

함께 읽기: 로컬 오픈 LLM VRAM·RAM 요구량, 직접 계산·실측, 노트북에서 돌리는 AI 모델 VRAM·RAM 요구량 실측

참고: bpw·GB·ppl 수치는 2026년 공개 측정·커뮤니티 추정이며 상당수가 랩 통제 측정이 아닌 추정값이다(영구 수치 아님). 양자화 품질은 모델·태스크·양자화 방식(특히 동적 양자화)에 좌우되니, 정확한 손실은 내 모델·워크로드로 직접 재라(여기 수치는 출발점). 양자화 기법은 빠르게 바뀌니 분기별로 다시 본다.

참고 링크#

llama.cpp quantize(양자화 도구·포맷)

llama.cpp 양자화 평가 논문(arXiv)

Unsloth(동적 양자화 Dynamic 2.0)

ggml(GGUF 양자화 포맷)

llama-cpp-python(양자화 모델 실행)