로컬 오픈 LLM 속도·품질, 직접 돌려본 4비트 비교 (8B~70B tok/s)

로컬에서 같은 4비트(Q4_K_M)로 양자화한 오픈 LLM을 직접 돌려보면, 속도는 GPU 메모리 대역폭이 가르고 품질은 파라미터 크기가 아니라 모델 세대가 가른다. RTX 4090 기준 8B는 약 95~110 tok/s로 가장 빠르고, 14B는 약 60~70 tok/s, 32B 덴스는 20 tok/s 안팎까지 떨어진다. 반대로 같은 14B라도 신세대 Qwen3가 구세대보다 MMLU가 또렷이 높아, 빠른 게 곧 약한 것은 아니다.

한 줄 요약: 작은 모델일수록 빠르지만, 속도와 품질의 균형점은 보통 14B 또는 MoE(30B-A3B)다.

속도는 무엇이 결정하나?#

토큰 생성 속도는 연산력보다 메모리 대역폭에 더 묶인다. GPU는 토큰 하나를 만들 때마다 모델 가중치 전체를 VRAM에서 한 번씩 읽어야 하는데, 곱셈-덧셈 연산 자체는 그 읽기를 기다리며 놀고 있는 경우가 많다. 그래서 "1초에 몇 tok"이냐는 사실상 "1초에 카드가 몇 바이트를 읽어내느냐"의 문제로 바뀐다.

모델이 GPU VRAM에 통째로 올라가면 그 카드의 대역폭이 곧 속도 상한이다. 그래서 8B처럼 작아 여유롭게 올라가는 모델은 RTX 4090(약 1,008 GB/s)에서 100 tok/s를 넘기고, M3 Max(약 400 GB/s)에서는 같은 모델이 45~55 tok/s로 절반 수준이 된다. 모델이 VRAM을 넘기면 일부 레이어가 CPU 메모리로 내려가(오프로딩) 그 레이어를 처리할 때마다 느린 시스템 램을 오가느라 속도가 급락한다. 70B가 24GB 카드에서 8~15 tok/s로 떨어지는 이유가 이것이다.

같은 4비트·RTX 4090에서 직접 측정한 커뮤니티 수치를 한 표로 모으면 이렇다.

품질은 크기 순서대로일까?#

아니다. 세대가 크기를 이긴다. Qwen3 기술보고서 기준 Qwen3-14B는 MMLU 약 81.05로, 한 세대 전 Qwen2.5-14B(79.66)와 Gemma-3-12B(73.87)를 앞선다. 더 어려운 MMLU-Pro에서는 격차가 더 벌어진다(Qwen3-14B 61.03 대 Gemma-3-12B 44.91). 즉 신세대 14B가 구세대 32B에 근접하는 효율을 보인다.

MoE(Mixture of Experts, 전문가 혼합)인 Qwen3 30B-A3B는 30B를 다 켜지 않고 토큰당 약 3B만 활성화한다. 그래서 읽어야 할 활성 가중치가 작아 8B 덴스보다도 빠르면서, 전체 30B가 쌓아둔 지식 덕에 14B급 품질을 낸다. 결론은 "크면 좋다"가 아니라 "세대 + 아키텍처"로 봐야 한다는 것이다.

직접 측정하려면?#

남의 숫자를 믿지 말고 내 머신에서 재라. 가장 쉬운 방법은 Ollama다.

• ollama run qwen3:14b --verbose 로 답을 받으면 끝에 eval rate(tokens/s)가 찍힌다.
• llama.cpp는 llama-bench -m 모델.gguf 로 prompt/generation 속도를 따로 측정한다.
• 같은 조건(같은 프롬프트·컨텍스트 길이·양자화)에서 3회 평균을 내야 비교가 공정하다.

참고로 백엔드도 변수다. llama.cpp는 NVIDIA에서 Ollama보다 보통 3~10% 빠르고, 애플 실리콘에서는 MLX가 llama.cpp보다 20~30% 빠른 경우가 있다.

어떤 걸 골라야 하나?#

단일 소비자 GPU(12~24GB)라면 Qwen3 14B 4비트가 속도·품질 균형의 기본값이다. 더 빠른 응답이 필요하면 8B나 MoE(30B-A3B)로, 최고 품질이 필요하고 느려도 괜찮으면 32B나 70B(또는 통합메모리 맥)로 간다. 아래 그림처럼 VRAM 예산으로 후보를 좁힌 뒤, 결정 전엔 표가 아니라 내 작업(요약·코딩·도구호출)으로 직접 한 번 돌려보는 게 가장 정확하다.

참고: 수치는 2025~2026년 커뮤니티 측정 범위(Ollama/llama.cpp, Q4_K_M, 짧은 컨텍스트 기준)이며 백엔드·버전·컨텍스트 길이·발열에 따라 달라진다. 정확한 값은 본문 방법으로 직접 측정하라. 오픈웨이트 모델은 빠르게 바뀌니 분기별로 갱신한다.

참고 링크#

• Qwen3 Technical Report (arXiv 2505.09388) — MMLU·MMLU-Pro 등 품질 수치 출처
• llama.cpp (ggml-org) — llama-bench 속도 측정 도구
• Ollama — ollama run --verbose로 eval rate(tok/s) 확인
• NVIDIA GeForce RTX 4090 — 메모리 대역폭 약 1,008 GB/s
• Apple MacBook Pro (M3 Max) 사양 — 통합메모리 대역폭 최대 400 GB/s