로컬 LLM, VRAM은 얼마나 필요할까? (2026 기준)

로컬 LLM에 필요한 VRAM은 대략적인 규칙 하나로 감을 잡을 수 있다. 4비트로 양자화하면 10억(1B) 파라미터당 약 0.5~0.6GB가 든다. 즉 7~8B 모델은 6~8GB, 13B는 약 10GB, 32B는 약 20GB, 70B는 약 40GB가 필요하다. 16비트(FP16)로 돌리면 그 4배쯤이라 7B만 해도 약 16GB를 먹는다. 그래서 로컬 에이전트는 거의 대부분 4비트를 쓴다.

한 줄 요약: 4비트 기준 1B당 약 0.5~0.6GB. 7~8B=6~8GB, 32B=약 20GB, 70B=약 40GB. 긴 컨텍스트는 KV 캐시로 여기에 몇 GB가 더 붙는다.

먼저 VRAM이 뭔지부터 짚자. VRAM은 그래픽카드(GPU)에 붙어 있는 전용 메모리다. 모델을 돌리려면 가중치 전체를 이 VRAM에 올려야 하고, 올릴 자리가 부족하면 아예 실행이 안 되거나 훨씬 느린 경로로 빠진다. 그래서 "이 모델이 내 GPU에서 돌까?"라는 질문은 사실상 "이 모델이 내 VRAM에 들어가나?"라는 질문이다.

우리 comfy-pool GPU에서 실측한 VRAM은?#

Hax 자체 comfy-pool(RTX PRO 6000 ×4)에서 직접 측정한 값입니다(측정 스냅샷, 2026-07-04).

VRAM은 무엇이 결정하나?#

필요 VRAM은 세 항목의 합이다. 첫째, 모델 가중치 — 파라미터 수 × 파라미터당 바이트 수다. 이게 보통 가장 큰 덩어리다. 둘째, KV 캐시(KV cache) — 모델이 지금까지 읽은 토큰의 중간 계산 결과를 저장해 두는 공간으로, 컨텍스트가 길수록 커진다. 셋째, 런타임 오버헤드 — 실행 엔진과 임시 버퍼가 쓰는 자투리 메모리다. 양자화는 이 중 첫 번째 항목의 '파라미터당 바이트'를 직접 깎아 가장 큰 덩어리를 줄인다. FP16이 파라미터당 2바이트라면 4비트는 0.5바이트니, 가중치만 놓고 보면 1/4이 되는 셈이다.

크기·정밀도별 대략적인 가중치 VRAM을 표로 보면 이렇다. (KV 캐시·오버헤드는 뺀, 가중치만의 근사치다.)

컨텍스트가 길면 VRAM을 더 먹나?#

그렇다. 여기서 초보자가 자주 헛디딘다. 위 표의 숫자는 가중치만의 값이라, 그것만 믿고 VRAM을 꽉 채우면 실제로는 터진다. KV 캐시는 컨텍스트 길이에 거의 비례해 커지기 때문이다. 짧은 질문 한두 개만 주고받을 땐 무시할 만하지만, 긴 문서를 통째로 넣거나 도구 정의가 많은 에이전트를 길게 돌리면 가중치 외에 수 GB가 더 필요할 수 있다. 그래서 실무 규칙은 간단하다 — 가중치 크기에 딱 맞는 GPU를 고르지 말고, KV 캐시와 오버헤드를 위한 여유분(보통 2~4GB 이상)을 남겨 둬라.

VRAM이 부족하면 어떻게 하나?#

방법은 세 가지다. 첫째, 더 작은 모델로 내려간다(32B 대신 13B, 13B 대신 7~8B). 둘째, 더 공격적인 양자화를 쓴다(8비트 대신 4비트, 경우에 따라 3비트). 셋째, 일부 레이어를 CPU로 오프로드(offload)한다 — GPU에 다 안 올라가는 부분을 시스템 RAM에 얹어 CPU가 계산하게 하는 방식이다. 오프로드는 동작은 하지만 CPU-GPU 사이를 오가느라 눈에 띄게 느려진다. 그래서 원칙은 하나다 — 모델이 GPU에 온전히 올라갈 때 에이전트 루프가 가장 빠르다. 오프로드는 '되게는 하는' 최후의 수단이지, 성능 최적화가 아니다.

맥(애플 실리콘)은 어떤가?#

일반 PC는 GPU의 VRAM과 시스템 RAM이 물리적으로 분리돼 있지만, 애플 실리콘(M시리즈)은 CPU와 GPU가 하나의 통합 메모리(unified memory) 풀을 공유한다. 그래서 32GB·64GB 맥은 같은 명목 용량의 외장 GPU보다 더 큰 4비트 모델을 돌릴 수 있다 — 예를 들어 64GB 맥은 24GB짜리 RTX 4090으로는 버거운 크기의 모델도 통합 메모리 안에서 소화한다. Ollama·llama.cpp 같은 런타임이 애플의 Metal API로 이 메모리를 직접 써서 가능한 일이다. 다만 통합 메모리 대역폭과 연산 속도는 고성능 외장 GPU보다 낮을 수 있어, '더 큰 모델이 올라간다'와 '더 빠르다'는 별개임을 기억하라.

빠른 기준#

1. 소비자용 단일 GPU라면 4비트 7~8B가 안전한 기본값이다(6~8GB).
2. 24GB 카드(RTX 4090)라면 4비트로 32B까지 올릴 수 있다.
3. 그 이상, 특히 4비트 70B(약 40GB)부터는 다중 GPU나 더 강한 양자화가 필요하다.
4. 어느 경우든 표 숫자에 KV 캐시·오버헤드용 여유분을 더해서 카드를 고른다.

참고: 위 수치는 가중치 기준 근사치이며 런타임·양자화 방식·컨텍스트 길이에 따라 달라진다. 배포 전 실제 사용량을 직접 측정하라. 하드웨어·양자화 기법이 빠르게 바뀌므로 이 표는 분기별로 갱신한다.