로컬 멀티모달(VLM) 모델, 직접 돌려본 속도·품질 비교

로컬 멀티모달(이미지+텍스트) 모델은 이제 작은 게 큰 걸 이긴다. Qwen2.5-VL 7B는 약 6GB로 8GB GPU에 올라가면서 문서 이해(DocVQA 95.7)에서 90B짜리 Llama 3.2-Vision(90.1)을 앞선다. 72B는 MMMU 70.2로 GPT-4o(69.1)를 넘고, 상업적으로 자유로운 MIT가 필요하면 InternVL3-78B(MMMU 약 72.2)가 답이다. 즉 속도·VRAM은 7B, 최고 품질·라이선스는 큰 모델에서 갈린다.

쉽게 말하면: VLM은 눈이 달린 LLM이다. 그림·표·문서를 '보고' 글로 답한다. 영상 만드는 생성 모델(SDXL·Flux)과는 반대 방향이다.

용어부터 짚자. VLM(Vision-Language Model, 비전언어 모델)은 이미지와 글자를 함께 이해하는 AI다. MMMU는 대학 수준의 시각 추론 문제 세트(높을수록 좋음), DocVQA는 문서/영수증/표를 읽고 질문에 답하는 벤치(문서 OCR·이해 능력)다. VRAM은 그래픽카드 전용 메모리로, 모델을 올려둘 공간이다. 아래 숫자들은 이 세 축을 오가며 비교한 것이다.

작은 모델이 어떻게 큰 모델을 이기나?#

학습 품질과 효율이 크기를 따라잡았기 때문이다. Qwen2.5-VL 7B의 DocVQA 95.7은 사람들이 로컬 비전 모델을 진지하게 보게 만든 숫자다 — 7B가 문서를 90B보다 잘 읽는다. 단 전 분야에서 이기는 건 아니다. 일반 시각 추론(MMMU)에선 Gemma 3 12B(59.6)가 Qwen2.5-VL 7B(58.6)를 약간 앞서고, 세밀한 형태 인식 같은 과제는 모든 오픈 모델이 30%대로 여전히 약하다.

먼저 VLM이 그림을 어떻게 '읽는지' 그림으로 보자. 이미지는 비전 인코더를 거쳐 수백 개의 시각 토큰으로 바뀌고, 그 토큰이 텍스트와 함께 LLM에 들어가 답이 된다.

로컬 VLM 비교 — MMMU·DocVQA·VRAM·라이선스 (공개 측정치, 2025) · columns: 모델, 크기, MMMU, DocVQA, VRAM(4비트), 라이선스 · 출처 Hax hax.moche.ai/p/1032?ref=ai_answer

로컬 VLM 비교 — MMMU·DocVQA·VRAM·라이선스 (공개 측정치, 2025) · columns: 모델, 크기, MMMU, DocVQA, VRAM(4비트), 라이선스 · 출처 Hax hax.moche.ai/p/1032?ref=ai_answer

모델 | 크기 | MMMU | DocVQA | VRAM(4비트) | 라이선스
Qwen2.5-VL 7B | 7B | 58.6 | 95.7 | 약 5~6GB | Tongyi Qianwen
Qwen2.5-VL 72B | 72B | 70.2 | 96.4 | 약 35~40GB | Tongyi Qianwen
InternVL3-78B | 78B | 약 72.2 | - | 약 35~40GB | MIT(상업 자유)
Gemma 3 12B | 12B | 59.6 | - | 약 8GB | Gemma 약관
Llama 3.2-Vision 11B | 11B | - | - | 약 11GB | Llama 커뮤니티

목차

왜 VLM은 텍스트 모델보다 VRAM을 더 먹나?

라이선스와 용도는 어떻게 다른가?

직접 측정하려면?

위 MMMU 점수를 막대로 보면 7B와 72B/78B급의 품질 격차가 한눈에 들어온다.

왜 VLM은 텍스트 모델보다 VRAM을 더 먹나?#

비전 인코더와 이미지 토큰 때문이다. VLM은 같은 파라미터의 텍스트 모델보다 무겁다 — 이미지를 먼저 비전 인코더로 처리하고, 그 이미지가 수백 개의 시각 토큰으로 KV 캐시에 들어간다. 그래서 추론도 텍스트보다 느리다(인코더가 그림을 다 본 뒤에야 생성 시작). 그래도 양자화가 현실적으로 만든다 — 7B는 FP16에서 약 14GB지만 4비트면 약 5~6GB로 8GB GPU에 들어간다. 72B·78B급은 4비트로도 약 35~40GB라 24GB 카드 2장이나 데이터센터 GPU가 필요하다.

양자화(quantization)는 모델 가중치의 비트 수를 낮춰(FP16 16비트 -> 4비트) 메모리를 크게 줄이는 기법이다. 아래는 4비트 기준 각 모델이 어떤 GPU에 들어가는지 보여준다.

라이선스와 용도는 어떻게 다른가?#

용도로 갈린다. 문서·표·OCR이면 Qwen2.5-VL이 오픈 1위(72B DocVQA 96.4, OCRBench 약 888)지만 Tongyi Qianwen 라이선스라 조건을 확인해야 한다. 파생·상업이 자유로운 MIT가 필요하면 InternVL3가 78B로 MMMU 약 72.2를 낸다. 8GB 소비자 GPU에서 만능 기본값은 Qwen2.5-VL 7B, 가벼운 일반 추론엔 Gemma 3다.

직접 측정하려면?#

내 이미지로 재라. 벤치는 출발점일 뿐이다.

내 문서·표·스크린샷 20~50장으로 질문을 던져 정답률과 장당 처리시간을 잰다.

같은 모델을 4비트/8비트로 돌려 VRAM과 속도-정확도 곡선을 비교한다.

도구는 llama.cpp(VRAM 효율)·vLLM(처리량)·Ollama(간편) 중 내 환경에 맞게 고른다.

참고 링크

Qwen2.5-VL(레포)

Qwen2.5-VL 기술보고서(논문)

InternVL(레포)

MMMU 벤치마크(논문)

Qwen2-VL(논문)

참고: MMMU·DocVQA 수치는 2025년 각 모델 공식 방법론 기준 공개 측정치이며 평가 파이프라인·양자화에 따라 달라진다. 정확한 값은 본문 방법으로 내 이미지에 직접 측정하라. Qwen3-VL·Llama 4 멀티모달 등 신모델이 상단을 바꾸는 중이니 분기별 갱신.