노트북에서 AI 모델 뭐가 돌아갈까 — VRAM·RAM 실측과 메모리 구조

노트북에서 AI 모델을 돌릴 때 무엇을 돌릴 수 있는지는 GPU가 얼마나 크냐가 아니라 '메모리 구조'가 정한다. 세 갈래다: ==애플 통합 메모리(RAM=VRAM 한 풀), 게이밍 노트북의 전용 VRAM, 얇은 노트북의 iGPU/CPU. 실측 기준 규칙은 같다 — 4비트에서 파라미터 1B당 약 0.5GB에 20~30% 오버헤드. 그런데 노트북에선 반전이 있다: 32GB 맥북은 33B 모델을 돌리는데, 16GB VRAM 게이밍 노트북은 못 돌린다(통합 메모리가 RAM과 VRAM을 한 풀로 합치기 때문). 대신 맥은 대역폭이 낮아(측정상 M4 Max 546GB/s 대 RTX 4090 1008GB/s) 토큰 속도는 느리다==.

쉽게 말하면: 노트북 메모리는 주방 구조다. 맥(통합)은 '넓은 아일랜드 하나'라 큰 요리도 펼치지만 손이 느리고, 게이밍(전용 VRAM)은 '작지만 빠른 전용 조리대'라 올려지는 것만 빨리 하며, 얇은 노트북(CPU)은 '휴대용 버너'라 작은 것만 된다.

세 구조가 메모리를 어떻게 다르게 쓰는지부터 그림으로 보면 이해가 빠르다.

노트북에서 무엇이 무엇을 돌릴지 정하나?#

고속 메모리에 모델이 통째로 들어가느냐다. AI 추론은 모델 전체가 상주해야 하고 메모리 대역폭에 병목된다(연산이 아니라). 사이징 대략치(Q4): 7~8B는 8GB, 32B는 24GB, 70B는 48~64GB. 여기에 KV 캐시가 문맥따라 붙어 8K→32K만 가도 가용 메모리의 40%를 더 먹을 수 있다. 즉 "몇 B니까 되겠지"가 아니라 정밀도·문맥까지 넣어 계산해야 한다.

통합 메모리 맥 vs 전용 VRAM 게이밍, 뭐가 다른가?#

용량이냐 속도냐다. 맥은 CPU·GPU가 한 메모리를 공유해 복사 없이 큰 모델을 적재한다 — $1,799 맥이 소비자 NVIDIA GPU엔 안 들어가는 33B를 돌린다. 단 대역폭 열세로 토큰당 느리고, Ollama는 통합 메모리의 약 70%만 VRAM 예산으로 써 16GB 맥은 11~12GB만 가용이다. 게이밍은 반대다: VRAM에 들어가면 약 3배 빠르지만, 넘치면 PCIe로 시스템 RAM에 스필해 70B가 24GB GPU에서 30+ 대신 3~8tok/s로 붕괴한다. 규칙: 들어가면 NVIDIA, 안 들어가면 통합 메모리.

노트북만의 함정은?#

발열·공유 RAM·비업그레이드 셋이다. 첫째 발열 스로틀링 — 노트북은 지속 디코드에서 성능이 깎이고, 팬리스 맥북 에어는 더 심하다(그래서 AC 전원에서 벤치하고 ±20% 변동을 감안). 둘째 공유 RAM — OS·브라우저가 같은 메모리를 쓰니 여유를 남겨야 한다(16GB는 7B 최소, 32GB가 문맥·멀티태스킹에 편함). 셋째 비업그레이드 — 대부분 노트북 메모리는 납땜이라 나중에 못 늘린다, 살 때 넉넉히 사야 한다. 고급 맥 유저는 통합 메모리 wired 한도를 조절하기도 하지만 초보 영역은 아니다.

내 노트북엔 뭐가 들어가나?#

핵심은 구조를 먼저 보고, 사기 전에 계산하는 것이다.

• 용량·조용·휴대: 고용량 맥(48GB+면 30B급, 128GB면 70B까지). 속도는 감수.
• 속도(들어가는 모델): RTX 4070+ 게이밍이 7~32B에서 빠름. 단 16GB 천장·발열·무게 감수.
• 얇은 노트북: 16GB RAM + 3~7B Q4로 시작(CPU 5~10tok/s). 정확한 속도는 내 기기·AC에서 직접 재라.

참고: GB·tok/s·대역폭 수치는 2026년 공개 측정 기준이며 칩·OS·런타임·문맥·발열에 따라 ±20% 이상 달라진다(영구 수치 아님, 일부는 상업 가이드 출처라 방향값). 노트북 메모리는 납땜이 많아 구매 전 확정해야 하고, 정확한 속도는 AC 전원에서 내 기기로 직접 재라(리더보드는 출발점). 하드웨어·모델은 빠르게 바뀌니 분기별로 다시 본다.

참고 링크#

• Ollama(로컬 런타임)
• llama.cpp(GGUF 추론)
• MLX(애플 실리콘 ML 프레임워크)
• mlx-examples(맥용 LLM 실행 예제)
• Gemma 3 1B(경량 모델, Hugging Face)