4bit·8bit 양자화 초보 가이드: 그냥 Q4_K_M으로 시작하라

양자화(quantization)는 모델 무게를 16비트에서 4·8비트로 줄여 같은 모델을 더 작은 메모리에 욱여넣는 압축이다. 초보가 외울 답은 하나다: 그냥 Q4_K_M으로 시작하라(여유 있으면 Q5_K_M, 코딩·추론엔 Q8_0). 70B 모델은 FP16(16비트 원본)이면 약 140GB라 게이밍 PC엔 안 들어가지만, Q4면 약 40GB 아래로 떨어진다. 대가는 품질의 작은 손실(perplexity, 모델이 다음 단어를 얼마나 헷갈리는지 재는 값으로 측정): Q8은 측정상 0.5% 미만, Q4_K_M은 대부분 벤치에서 약 3~5%다. 핵심 원칙은 큰 모델을 못 돌리느니 작은 모델을 잘 돌리는 것이다.

한 줄 요약: 양자화는 사진을 JPG로 압축하는 것이다. 8비트는 눈에 안 띄게 줄이고(고화질 JPG), 4비트는 살짝 티 나지만 충분히 좋고, 2비트까지 가면 화질이 무너진다.

비트(bit)는 숫자 하나를 표현하는 정밀도다. FP16은 16비트로 무게를 아주 촘촘히, Q4는 4비트로 성기게 적는다 — 파일은 작아지지만 반올림 오차가 조금씩 쌓인다.

어떤 레벨을 골라야 하나? (5분 결정)#

기본 Q4_K_M, 여유 Q5/Q8, 실험만 Q3 이하다. 숫자는 1B당 대략 FP16 2GB·Q8 1GB·Q4 0.5GB로 잡으면 된다. 그리고 같은 4비트라도 'K' 글자가 붙은 게 더 좋다: 레거시 Q4_0과 달리 Q4_K_M(K-quant)은 민감한 레이어만 6비트로 둬 같은 비트수에서 5~8% 품질을 회복한다. 그래서 허깅페이스에서 Q4_0과 Q4_K_M이 같이 보이면 항상 Q4_K_M을 고른다. 한 가지 더 — 파일명에 'imat'(importance matrix, 중요도 행렬)이 붙은 버전은 같은 비트에서 측정상 2~4% 더 좋다.

양자화된 모델은 어떻게 받나?#

태그 하나거나 파일 하나 고르면 끝이다. Ollama는 ollama pull 모델이면 대개 Q4_K_M급 기본을 받고, LM Studio·허깅페이스에선 모델.Q4_K_M.gguf 같은 파일명으로 레벨을 직접 고른다. GGUF는 CPU·소비자GPU·애플 실리콘 어디서나 도는 표준이라 초보엔 이게 정답이다. 더 들어가면 포맷이 갈린다: GPU 서버 품질이면 AWQ, NVIDIA 처리량이면 GPTQ, GPT-OSS 같은 모델은 MXFP4(단 H100·Blackwell급에서만 네이티브, 구형 GPU는 BF16으로 풀려 메모리가 되레 는다). 초보는 이 셋을 몰라도 GGUF Q4_K_M이면 충분하다.

초보가 자주 막히는 곳은?#

너무 낮은 비트·KV 캐시·재양자화 세 가지다.

• 너무 낮게: Q4 아래(Q3/Q2)는 품질이 급락한다. 7B Q6가 13B Q2보다 대개 낫다(더 빠르고 문맥 여유도 크다).
• KV 캐시: 모델이 4.4GB라도 추론엔 문맥용 메모리(KV cache)가 1~3GB 더 든다 — VRAM 계산에 꼭 더하라.
• 재양자화 금지: 이미 양자화된 걸 또 줄이면(Q8→Q4) 오차가 누적된다. 항상 FP16 원본에서 양자화하라.

직접 5분 안에 해보려면?#

가장 안전한 기본부터.

• ollama pull 기본(대개 Q4_K_M)으로 8B급을 띄워 체감 품질을 본다.
• 여유가 있으면 같은 모델의 Q5_K_M·Q8_0와 나란히 비교해 차이가 보이는지 확인한다.
• 양자화는 코딩·수학을 더 깎으니, 그 작업엔 한 단계 높은(Q6/Q8) 쪽을 우선한다.

참고 링크#

• llama.cpp(GGUF·양자화)
• GGUF/ggml(포맷)
• AWQ(활성화 인식 양자화 레포)
• GPTQ(레포)
• AWQ(논문)

참고: 크기·품질 손실 수치는 2026년 공개 측정 기준이며 모델·태스크·양자화 구현에 따라 달라진다(양자화는 코딩·STEM을 일반대화보다 더 깎는다). 정확한 품질은 본문 방법으로 내 작업에서 직접 측정하라. 양자화 포맷은 자주 갱신되니 분기별로 다시 본다.