오픈웨이트 vs 클로즈드 VRAM·RAM 요구량 실측
요약: 카드당 총 VRAM: 95.6 GB 최대 VRAM 상주(스냅샷): 84.8 GB 최소 여유 VRAM(풀 최저): 10.2 GB 클로즈드 모델의 로컬 self-host VRAM은 0(가중치 비공개) — 오픈은 Hax comfy-pool 실측 카드당 95.6GB, 최대 상주 84.8GB 오픈웨이트 vs 클로즈드의 VRAM 실측은 사실 한 줄로 "누가 메모리 값을 내나"의 문제로, 결정적 사실은 클로즈드(GPT-5·Claude·Gemini)의 로컬 VRAM이 0이라는 것이다 — 가중치가 공개 안 돼 self-host가 아예
클로즈드 모델의 로컬 self-host VRAM은 0(가중치 비공개) — 오픈은 Hax comfy-pool 실측 카드당 95.6GB, 최대 상주 84.8GB
오픈웨이트 vs 클로즈드의 VRAM 실측은 사실 한 줄로 "누가 메모리 값을 내나"의 문제로, 결정적 사실은 클로즈드(GPT-5·Claude·Gemini)의 로컬 VRAM이 0이라는 것이다 — 가중치가 공개 안 돼 self-host가 아예 불가하고 API로 빌려 쓰며 프로바이더가 하드웨어를 낸다(토큰당 과금·데이터 외부); 반대로 오픈은 네가 VRAM을 사는데, 7B는 Q4로 약 5GB지만 프런티어급 DeepSeek 671B는 4비트로도 약 400GB(8×H100)라, VRAM 실측의 질문은 '어느 오픈 모델을 얹을 수 있나'와 '살까 빌릴까'로 바뀐다(정직한 전제: self-host한 오픈이 GPT-5·Claude를 대체하진 않는다 — 에이전트·툴사용은 아직 격차).
쉽게 말하면: 클로즈드는 택시, 오픈은 차 구매다. 택시는 차(VRAM)를 안 사고 요금(토큰)만 낸다 — 대신 최고급 차(프런티어)는 택시로만 탄다. 차를 사면(오픈) 주차장(VRAM)·기름·정비(전기·운영)를 네가 대고, 많이 타야 이득이다.
우리 comfy-pool GPU에서 실측한 VRAM 상주는?#
Hax가 자체 comfy-pool(RTX PRO 6000 ×4, 카드당 95.6 GB)에서 직접 측정한 값입니다(측정 스냅샷, 2026-07-04).
| 데이터 항목 | 실측값 | 출처 |
|---|---|---|
| 카드당 총 VRAM | 95.6 GB | comfy-pool 실측(bc_comfy_gpus) |
| 최대 VRAM 상주(스냅샷) | 84.8 GB | comfy-pool 실측(bc_comfy_gpus) |
| 최소 여유 VRAM(풀 최저) | 10.2 GB | comfy-pool 실측(bc_comfy_gpus) |
- 표본
- 실측 지표 3개 (Hax /data 큐레이션)
- 측정 환경
- bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)
- 수집일
- 2026-07-04
클로즈드엔 왜 VRAM이 0인가?#
가중치가 없어 자체 실행이 불가능하기 때문이다. GPT-5·Claude·Gemini는 오픈 웨이트가 없어 오직 API로만 쓴다 — 로컬 하드웨어가 필요 없고, VRAM·전기·운영은 전부 프로바이더 몫이다. 대신 토큰당 비용과 데이터 외부 전송이 따른다(Claude Opus는 측정상 100만 토큰당 입력 $15·출력 $75, GPT-5.2는 $1.75·$14). 아래 그림이 '택시(빌림) vs 차 구매(자체호스팅)' 비용 구조다.
즉 클로즈드는 '메모리를 안 사는 대신 능력을 시간제로 빌리는' 모델이다. 그래서 self-host·VRAM 논의는 처음부터 오픈 쪽에만 성립한다.
| 구분 | 로컬 VRAM | 비용 |
|---|---|---|
| 클로즈드(GPT-5·Claude) | 0(self-host 불가) | 토큰당 API($15/$75 등) |
| 오픈 7B Q4 | 약 5GB | 8GB GPU |
| 오픈 70B Q4 | 약 42GB | 48GB(듀얼 3090) |
| 오픈 671B AWQ4 | 약 400GB | 8×H100 |
| 손익분기 | — | 하루 50만~1억 토큰 |
오픈은 얼마나 드나?#
모델 등급이 곧 VRAM 등급이다. 실측: 7B Q4 약 5GB(8GB), 70B Q4 약 42GB(48GB 통합·듀얼 3090), 405B Q4 약 243GB(비소비자), DeepSeek 671B는 MoE라도 전체를 올려야 해 4비트 AWQ로 약 400GB(8×H100 640GB)다. 아래가 그 VRAM 사다리다 — 등급이 오를수록 소비자 GPU를 벗어난다.
FP16이면 671B는 무려 약 1,342GB(1.4TB)다. 팁: Llama 3.3 70B가 405B와 대부분 벤치에서 동급이라 43GB로 405B급을 대신한다. MoE는 CPU 오프로드로 24GB에도 얹히지만 속도가 무너진다. 즉 프런티어급 오픈을 로컬로 맞추려면 데이터센터 GPU가 필요하다.
살까 빌릴까?#
물량과 상대 모델이 손익분기를 정한다. 대략 하루 50만 토큰이면 프런티어 API 대비 self-host가 손익분기를 넘고, 예산형 API(Groq·Together의 오픈 호스팅) 상대로는 하루 1억 토큰까지 가야 이긴다(프로바이더가 하드웨어를 거의 만가동하기 때문). 아래가 그 손익분기 교차다.
게다가 숨은 비용이 크다 — GPU 원가는 실제의 30~40%뿐이고(2.5~3배 배수), 엔지니어링 인건비가 지배한다('공짜' 오픈이 연 $500K+). 그래서 대부분 팀엔 풀비용 기준 API가 더 싸다. self-host가 이기는 건 고비용 플래그십을 대량으로 대체하거나, 프라이버시·규제가 API를 불허할 때다.
그래서 뭘 고르나?#
핵심은 하이브리드로, 물량·프라이버시에 맞춰 배치하는 것이다.
- 기본: 탐색·저물량·프런티어 필요는 클로즈드 API(로컬 VRAM 0, 빠른 시작).
- 자체호스팅: 고물량·프라이버시·파인튜닝이면 오픈 — VRAM 예산으로 등급을 정하고(7B 5GB~70B 42GB), 손익분기를 직접 계산.
- 혼합: 예측 가능한 워크로드는 자체 오픈, 유연성·프런티어는 API. 정확한 비용은 내 물량·시나리오로 직접 재라.
함께 읽기: 오픈웨이트 vs 클로즈드, 5분 시작 가이드(초보자용), 에이전트 브라우저 제어 — 우리는 이렇게 운영한다(회고)
함께 읽기: 로컬 음성합성(TTS) 오픈모델 — VRAM·RAM 요구량 실측, Ollama·LM Studio·llama.cpp 실행기 VRAM·RAM 실측
참고 링크
참고: GB·토큰·가격 수치는 2026년 공개 측정·벤더 기준이며 모델·양자화·GPU·API 가격에 따라 달라진다(영구 수치 아님). 손익분기 보고값은 출처마다 하루 50만~1.9억 토큰으로 크게 다르니(GPU 구성·상대 가격·인건비 포함 여부 차이) 내 3개 시나리오로 직접 모델링하라(여기 수치는 출발점). 오픈이 프런티어 클로즈드를 대체하진 않는다. 모델·가격은 빠르게 바뀌니 분기별로 다시 본다.
Responses
No responses yet. Be the first to respond.