4bit·8bit 양자화, 2026 현황과 추천

한눈에 보는 순위 (측정 근거):
1. GGUF Q4_K_M → ~92%, HumanEval 51.8%
2. AWQ 4bit → ~95%, Marlin 741 tok/s
3. GPTQ 4bit → ~90%, HumanEval 46%
4. Q6_K/Q8_0 → 98~99%/무손실급

4bit·8bit 양자화에서 2026년 가장 중요한 규칙은 정밀도가 아니라 크기를 먼저 사라는 것이다 — 70B를 4비트로 돌리는 게 7B를 FP16로 돌리는 것보다 압도적으로 낫다(파일 크기는 비슷한데). 큰 모델일수록 가중치에 여유(redundancy)가 많아 양자화 손상이 작기 때문이다. 그래서 전략은 VRAM이 허락하는 한 크게, 그다음 정밀도를 낮춰라이지 그 반대가 아니다. 포맷 기본값도 명확하다: 대부분에겐 GGUF Q4_K_M(CPU·소비자GPU·애플실리콘에서 다 돌고 풀정밀 품질의 약 92% 유지). 4비트 품질 유지율은 AWQ 95% · GGUF 92% · GPTQ 90%다. 요약: 크게 담고, Q4_K_M으로 시작.

쉽게 말하면: 양자화는 사진 JPEG 압축과 같다. 용량을 크게 줄여도 눈엔 거의 똑같다 — Q8과 Q4_K_M은 대화에선 차이를 알기 어렵다. 하지만 너무 세게 압축(Q2)하면 복잡한 추론에서 티가 확 난다. 핵심은 '얼마나 줄이나'보다 '어디까지 줄여도 괜찮나'를 아는 것이다.

양자화가 뭔지 한 줄로#

양자화는 모델 가중치를 16비트(FP16) 같은 고정밀 숫자에서 4비트·8비트 같은 저정밀 숫자로 바꿔 파일 크기와 VRAM을 줄이는 것이다. 사진을 JPEG로 줄이듯 정보를 약간 버리는 대신, 훨씬 작은 하드웨어에서 더 큰 모델을 돌릴 수 있다. 'Q4_K_M' 'AWQ' 같은 이름은 어떤 방식으로 얼마나 줄였는지를 가리키는 라벨이다.

포맷은 어떻게 고르나?#

런타임에 맞춰라. GGUF Q4_K_M은 llama.cpp·Ollama·LM Studio용으로 CPU·맥까지 다 돌고, GPU 전용 추론 서버라면 Marlin-AWQ가 품질(HumanEval Pass@1 51.8%)과 속도(741 tok/s)를 겸한 스윗스팟이다. 반대로 포맷을 런타임에 안 맞추면 손해다: GGUF는 품질은 좋아도 vLLM에선 93 tok/s로 느리고, HF Transformers는 GGUF를 못 읽으며, Ollama는 AWQ를 손실 변환 없이는 못 쓴다. 즉 "어느 양자화가 최고냐"보다 '내 실행기가 뭘 읽나'가 먼저다.

양자화는 어디서 아픈가?#

수학·다단계 추론에서 가장 아프다. 양자화 오차가 긴 추론 체인에서 누적돼, 초반의 작은 확률 이동이 잘못된 단계로 새게 만든다 — 고정밀에선 안 일어날 실수다. Unsloth의 Qwen3.5 벤치에서 Q4_K_M 퍼플렉서티 6.6097 vs Q5_K_M 6.5828로 차이는 0.027로 작아 보여도 정확도로는 유의미하게 낮다. 그래서 수학·코드생성·추론 헤비 작업엔 INT4를 피하고 Q6_K/Q8로 올린다. 반대로 일상 대화·요약은 Q4로 충분하다 — 작업이 정밀도 요구를 정한다.

한국어 같은 비영어는 뭐가 다른가?#

비영어는 양자화 손실이 더 크다. 학습 데이터가 적은 언어에서 Q6_K는 98~99% 유지하지만, Q4_K_M은 90~95%로 떨어지고, 어려운 추론에선 NVFP4 4비트가 80~92%까지 하락한다. 그래서 한국어 서비스라면 VRAM이 강제하지 않는 한 Q4로 내리지 말고 Q5~Q6를 기본으로 두는 게 안전하다. 우리처럼 한국어 콘텐츠를 다루면 이 차이가 실제 품질로 나타나니, 영어 벤치 숫자를 그대로 믿지 말고 자국어로 재검증해야 한다.

그래서 2026년 양자화 추천은?#

핵심은 크게 담고, 작업·언어·런타임에 맞춰 정밀도를 정하는 것이다.

• 기본: GGUF Q4_K_M(로컬·CPU·맥, ~92%), 큰 모델을 4비트로가 작은 모델 고정밀보다 낫다.
• GPU 서빙: Marlin-AWQ(품질·속도 스윗스팟), 포맷은 런타임에 맞춰라(GGUF는 llama.cpp, AWQ는 vLLM).
• 올려야 할 때: 수학·추론·비영어는 Q6_K/Q8로. 벤치는 영어 기준이 많으니 자국어·자기 작업으로 직접 재라.

함께 읽기: 로컬 LLM, VRAM은 얼마나 필요할까, Ollama·LM Studio·llama.cpp 실행기, 2026년에는 무엇을 고를까?

함께 읽기: 4bit·8bit 양자화, 5분 시작 가이드(초보자용), 4bit·8bit 양자화 VRAM·RAM 요구량, 직접 실측

참고 링크

• llama.cpp(GGUF 양자화·추론)
• AutoAWQ(AWQ 4비트 양자화)
• GPTQModel(GPTQ 양자화)
• vLLM(Marlin 커널·서빙)
• GPTQ 논문(4비트 사후 양자화)

참고: 품질 유지율(92~95%)·HumanEval 51.8%·퍼플렉서티·비영어 손실 같은 수치는 2026년 공개 벤치(Unsloth·vLLM 가이드 등)이며 모델·데이터셋·커널·측정 조건에 따라 크게 다르다(영구 수치 아님). 포맷 호환은 도구체인에 묶이니(GGUF↔llama.cpp, AWQ↔vLLM) 다운로드 전 확인하라. 양자화 기법·커널은 빠르게 바뀌니(예: NVFP4·Marlin) 분기별로 다시 본다.