로컬 멀티모달(VLM) 초보 가이드: 막히면 mmproj 프로젝터부터 의심하라

로컬 멀티모달(VLM)은 그림·표·문서를 '보고' 글로 답하는, 눈이 달린 LLM이다. 5분이면 시작하고, 초보가 100% 막히는 단 하나는 'mmproj 프로젝터'다 — 이게 안 붙으면 모델은 멀쩡히 떠서 글은 답하는데 이미지를 못 본다(조용히 무시). 다행히 Ollama는 지원 모델이면 프로젝터를 자동으로 배선해줘서, ollama run qwen3-vl:8b 한 줄이면 이미지를 던지고 답을 받는다. 함정은 '안 도는 것'이 아니라 '되는 줄 알았는데 눈만 안 뜬 것'이다.

한 줄 요약: VLM은 눈이 달린 비서다. 텍스트 LLM은 귀(글)만, VLM은 눈+귀다. 그림 만드는 생성 모델(SDXL·Flux)과는 반대 방향 — 저쪽은 글→그림, 이쪽은 그림→글이다.

용어부터. VLM은 Vision-Language Model(비전-언어 모델), mmproj는 비전 인코더가 뽑은 그림 특징을 LLM이 아는 토큰으로 옮기는 '프로젝터(투영기)' 파일, OCR은 이미지 속 글자를 텍스트로 읽어내는 것이다.

로컬 VLM은 무엇을 하나?#

문서 OCR·스크린샷 질의·차트 읽기·이미지 설명을 전부 로컬에서, API 키 없이 100% 오프라인으로 한다. 구조는 비전 인코더(CLIP/SigLIP)가 그림을 보고 → 프로젝터가 그 특징을 LLM이 아는 토큰 공간으로 옮기고 → LLM이 글로 답하는 3단이다. 이 중간 '프로젝터'가 mmproj 파일이고, 비전의 핵심이다. 대신 비전 인코더가 얹히는 만큼 같은 크기 텍스트 모델보다 측정·커뮤니티 보고로 약 30~60% 느리다. 즉 '눈'은 공짜가 아니라 속도로 낸다.

내 VRAM별 초보 추천 로컬 VLM (2026 공개 가이드 기준) · columns: VRAM, 추천 모델, 메모 · 출처 Hax hax.moche.ai/p/1069?ref=ai_answer

VRAM | 추천 모델 | 메모
2GB 안팎 | Moondream2(1.9B) | 가장 가벼움, 복잡한 장면은 약함
6~8GB | MiniCPM-V 4.5·LLaVA 1.6 7B | 약 6GB, OCR·스크린샷 OK
8~16GB | Qwen3-VL 8B·Llama 3.2-Vision 11B | 올라운더, 긴 문맥
신모델(3.5/3.6) | llama.cpp·LM Studio | Ollama 미배선, mmproj 수동

목차

초보가 가장 많이 막히는 한 가지는?

내 GPU엔 어떤 모델을 고르나?

직접 5분 안에 해보려면?

참고 링크

초보가 가장 많이 막히는 한 가지는?#

mmproj 프로젝터가 안 붙어 '눈만 안 뜨는' 상황이다. Ollama는 qwen3-vl·MiniCPM-V·LLaVA 같은 지원 모델이면 프로젝터를 자동으로 묶어 그냥 된다. 그런데 비전을 새로 바꾼 Qwen 3.5·3.6 계열은 프로젝터가 별도 GGUF라, Ollama의 기본 흐름이 이를 못 엮어 텍스트는 되는데 이미지는 실패한다(2026년 5월 기준). 이때는 llama.cpp에서 --mmproj로 프로젝터를 직접 지정하거나 LM Studio(애플 실리콘은 MLX-VLM)를 쓴다. 그래서 초보는 "이미지가 무시되면 모델 탓 말고 프로젝터부터 의심"이 1번 체크리스트다.

내 GPU엔 어떤 모델을 고르나?#

VRAM이 모델을 정한다. 8GB 이상이면 Qwen3-VL 8B가 무난한 올라운더(OCR·차트·256K 문맥)다. 6~8GB면 MiniCPM-V 4.5나 LLaVA 1.6 7B(약 6GB)가 표준 출발점, 2GB뿐이면 Moondream2가 사실상 유일하다. 주의: 고해상도 이미지를 넣으면 이미지 토큰이 폭증해 VRAM이 모델 용량만으로 안 끝난다(작게 리사이즈). 또 많이 양자화된 작은 비전 모델은 한국어 텍스트 OCR이 약하니, 한글 문서가 핵심이면 큰 모델로 직접 검증하라.

직접 5분 안에 해보려면?#

가장 쉬운 길부터.

Ollama를 깔고 ollama run qwen3-vl:8b(8GB+) 또는 6~8GB면 MiniCPM-V를 받아 이미지를 던진다.

이미지가 무시되면 모델이 아니라 프로젝터를 의심 — 지원 모델로 바꾸거나 llama.cpp --mmproj로 직접 건다.

고해상도는 리사이즈하고, 한국어 OCR은 내 문서로 직접 측정하라(리더보드는 영어 위주, 출발점일 뿐).

참고 링크#

Ollama(로컬 VLM 런타임)

llama.cpp(mmproj·libmtmd 비전)

Qwen3-VL(올라운더 VLM)

MiniCPM-V(경량 OCR·문서)

moondream(초경량 VLM)

참고: 모델·VRAM·속도 수치는 2026년 공개 가이드·모델카드 기준이며 양자화·해상도·언어에 따라 달라진다. Ollama의 신모델 mmproj 미배선은 2026년 5월 시점 상황이라 갱신될 수 있으니, 이미지가 무시되면 도구 버전을 먼저 확인하라. 정확한 한국어 OCR 품질은 내 문서로 직접 재라(리더보드는 출발점). VLM 생태계는 빠르게 바뀌니 분기별로 다시 본다.