노트북에서 도는 멀티모달 AI, Gemma 4 12B는 뭐가 특별한가?

구글이 2026년 6월 공개한 Gemma 4 12B는 통합메모리·VRAM 16GB짜리 평범한 노트북에서 클라우드 없이 이미지를 '보고' 소리까지 '듣는' 120억 파라미터(12B)급 오픈 멀티모달 모델이다. 온디바이스 멀티모달 자체는 새롭지 않지만(작은 모델은 있었다), 오디오 입력까지 통합한 '중간 크기' 모델이 노트북급으로 내려온 건 이번이 처음이라 특별하다.

한 줄 요약: 16GB 노트북에서 클라우드 없이 이미지와 소리를 이해하는 12B 오픈 모델(Apache-2.0). 프라이버시·비용·오프라인이 한 번에 풀린다.

Gemma 4 12B가 정확히 뭔가?#

Gemma 4 12B는 구글이 Apache-2.0 라이선스로 무료 공개한 오픈 모델이다. 'B'는 billion, 즉 모델을 이루는 값(파라미터)의 개수를 뜻하고 12B는 120억 개라는 말이다. 파라미터는 모델이 학습으로 얻은 '설정 다이얼'이라고 생각하면 된다 — 다이얼이 많을수록 똑똑하지만 메모리를 더 먹는다. 12B는 수백억~수천억짜리 거대 클라우드 모델과 7~8B짜리 초경량 모델 사이의 중간 크기로, 4비트 양자화(값을 촘촘한 소수 대신 16단계로 반올림해 용량을 약 1/4로 줄이는 기법)를 쓰면 대략 8~10GB로 압축돼 16GB 메모리 노트북에 딱 들어간다.

여기서 진짜 새로운 건 '인코더 없는(encoder-free) 멀티모달' 구조다. 보통 멀티모달 모델은 이미지·소리를 AI가 읽을 숫자로 바꿔주는 별도 번역기(인코더)를 앞단에 붙인다. 마치 외국어 손님마다 통역사를 한 명씩 세우는 셈이다. Gemma 4는 이 통역사를 없애고, 이미지는 한 번의 계산으로, 소리는 글자와 같은 표현 공간(임베딩) 으로 곧장 밀어 넣어 하나의 두뇌가 처리하게 만들었다. 그 덕에 중간 크기 Gemma로는 처음으로 소리를 직접 입력받는 모델이 됐다.

여기서 초보자가 흔히 오해하는 지점 하나. '듣는다'는 소리를 이해한다는 뜻이지, 사람처럼 목소리를 낸다는 뜻이 아니다. Gemma 4는 음성 인식이나 화자 구분처럼 오디오를 입력으로 받아들이지만, 출력은 주로 글자다. 말을 합성해 들려주는 건 별도의 TTS 모델(예: Fish Speech, Qwen3-TTS)이 맡는 다른 영역이다.

왜 노트북에서 돌리는 게 중요한가?#

모델을 내 기기 안에서 완전히 로컬로 돌리면 클라우드 API로는 풀기 어려운 세 가지가 한 번에 해결된다.

첫째, 프라이버시다. 내 사진·목소리·문서가 기기 밖으로 한 발짝도 나가지 않는다. 병원 기록이나 계약서처럼 남의 서버에 올리기 꺼려지는 데이터를 다룰 때 결정적이다. 둘째, 비용이다. 클라우드 모델은 쓴 토큰만큼 계속 과금되지만, 로컬은 한 번 받아두면 추가 요금이 없다 — 드는 건 전기값뿐이다. 셋째, 오프라인이다. 비행기 안이나 인터넷이 끊긴 현장에서도 그대로 작동한다.

그리고 이 세 가지가 모이면 '로컬 에이전트' 의 토대가 된다. 로컬 에이전트란 내 기기 안에서 화면을 보고, 소리를 듣고, 실제로 일을 처리하는 비서를 말한다. 데이터가 밖으로 안 나가고, 호출할 때마다 돈이 들지 않아야 에이전트가 하루 종일 부담 없이 돌 수 있는데, 온디바이스 멀티모달이 바로 그 조건을 채워준다.

클라우드 모델과 뭐가 어떻게 다른가?#

핵심 차이는 '내 데이터가 어디에 머무느냐'와 '돈이 언제 드느냐'다. 아래 표로 정리했다.

표에서 놓치지 말아야 할 건 맨 아랫줄이다. 로컬이 만능은 아니다. 12B는 수백억짜리 최신 클라우드 모델보다 정확도가 낮을 수 있고, 노트북에서 돌리면 속도·발열·배터리 부담이 따른다. 긴 영상이나 고해상도 이미지처럼 입력이 커지면 계산량이 급격히 늘어난다. 즉 '민감하거나 반복적인 일상 작업은 로컬, 최고 난도 작업은 클라우드'로 나눠 쓰는 게 현실적인 그림이다.

직접 해보려면 무엇부터 하면 되나?#

가장 쉬운 길은 무료 실행 도구를 쓰는 것이다. Ollama, LM Studio, llama.cpp 셋 중 하나면 충분하다. Ollama·LM Studio는 클릭 몇 번으로 모델을 받아 채팅창처럼 쓸 수 있어 입문에 좋고, llama.cpp는 세밀하게 손보고 싶은 사람에게 맞다. 16GB 메모리(맥은 통합메모리, PC는 GPU VRAM)면 12B 4비트 버전이 무리 없이 돈다.

일단 띄웠으면 이렇게 감을 잡아보자. (1) 사진 한 장을 주고 "여기 뭐라고 적혀 있어?"라고 물어 이미지 이해를 테스트하고, (2) 음성 메모 파일을 넣어 요약을 시켜 오디오 입력을 확인한다. 처음엔 답이 느리거나 어긋날 수 있는데, 양자화 단계(4비트→8비트)를 올리면 정확도가 오르는 대신 메모리를 더 먹는다는 트레이드오프를 직접 체감하게 된다.

큰 그림으로 보면, 2026년 6월은 오픈 모델 풍년이었다 — DeepSeek V4.1, Qwen 3.7, GLM-6이 잇따라 나왔다. 흐름은 분명하다. 가장 앞선 AI 기능이 거대 서버에서 내 손안의 기기로 빠르게 내려오고 있고, Gemma 4 12B는 그 물결의 대표 사례다.

참고: 온디바이스 모델 생태계는 매우 빠르게 갱신된다(신모델·양자화 도구가 수주 단위로 나온다). 파라미터 규모·메모리 요구·양자화 방식과 라이선스는 반드시 구글 공식 ai.google.dev/gemma와 각 실행 도구의 최신 문서로 확인하자. 이 글은 2026년 7월 기준이다.