노트북에서 돌리는 AI 모델, 흔한 함정과 해결법

핵심 요약

10~15분 뒤 20~40% 감속: 열 스로틀링

VRAM 초과 후 한 자릿수 tok/s: PCIe로 시스템RAM 오프로드

8GB 맥에서 큰 모델 못 뜸: 통합메모리 천장

노트북 지속 생성은 10~15분 뒤 20~40% 감속(열 스로틀링) — M3 Pro 14" Mixtral은 12분 뒤 24→18 t/s

본문 지속생성 실측(M3 Pro 14" Mixtral) · 2026

노트북에서 AI 모델을 돌릴 때 "처음엔 빠른데 몇 분 지나면 뚝 느려진다" 싶다면, 2026년의 진실은 모델 탓이 아니라 '노트북이라서'다. 노트북엔 데스크톱에 없는 3대 제약 — 부족한 열 여유(thermal), 공격적인 전원 관리(power), 그리고 (내장 GPU의 경우) CPU와 나눠 쓰는 공유 메모리 — 이 있다. 그리고 가장 반직관적인 해법: Turbo Boost를 끄면 오히려 지속 속도가 빨라진다. 클럭을 최대로 튀겼다가 과열로 스로틀 당하느니, 기본 클럭으로 꾸준히 도는 게 총 처리량이 높기 때문이다. 이 글은 노트북 고유의 함정을 증상 → 원인 → 해결 순으로 수치와 함께 정리한다.

쉽게 말하면: 노트북 AI는 단거리 스프린터에게 마라톤을 시키는 것과 같다. 초반엔 전력질주(터보)하지만 곧 숨이 차 주저앉는다(스로틀). 완주(지속 추론)하려면 처음부터 일정 페이스(기본 클럭 고정)로 뛰어야 한다. 그리고 배낭(모델)이 너무 무거우면(VRAM 초과) 아예 못 뛴다.

처음엔 빠른데 왜 점점 느려지나?#

열 스로틀링 때문이다 — 지속 생성 10~15분 뒤 속도가 20~40% 떨어진다. 프리미엄 기기도 예외가 아니다: M3 Pro 14"에서 Mixtral 지속 생성은 12분 뒤 24 t/s → 18 t/s로 떨어진다(칩이 100°C 도달·전력 회수). 저가 윈도우는 더 극적이라, 기본값으로 돌리면 47초 만에 CPU 95°C·배터리 72분에 방전된 사례도 있다. 해결은 세 갈래다. (1) 노트북을 2~3cm 띄워라 — 스로틀 시작이 10분→20분+로 늦춰지고, $15 알루미늄 패드가 CPU를 8~12°C 낮춘다. (2) Turbo Boost를 꺼라(반직관) — i5-1135G7을 4.2GHz 대신 2.4GHz로 고정하면 피크 전력 28W→14W로 반감되는데 지속 처리량은 92%를 유지한다. (3) 75°C에서 스로틀만 안 걸리면 충분 — 더 식히려 팬을 과하게 돌리면 소음·전력만 늘 뿐 토큰은 안 빨라진다.

2026 노트북 AI 흔한 함정 — 증상·원인·해결 (실측·커뮤니티 벤치) · columns: 증상, 원인, 해결(측정) · 출처 Hax hax.moche.ai/p/1105?ref=ai_answer

2026 노트북 AI 흔한 함정 — 증상·원인·해결 (실측·커뮤니티 벤치) · columns: 증상, 원인, 해결(측정) · 출처 Hax hax.moche.ai/p/1105?ref=ai_answer

증상 | 원인 | 해결(측정)
10~15분 뒤 20~40% 감속 | 열 스로틀링 | 받침대+Turbo off(92% 유지)
VRAM 초과 후 한 자릿수 tok/s | PCIe로 시스템RAM 오프로드 | 모델·문맥 축소, 헤드룸 확보
8GB 맥에서 큰 모델 못 뜸 | 통합메모리 천장 | 3~4B로, dedicated면 sysctl 상향
데스크톱보다 느림 | 대역폭 한계(614 vs 1008 GB/s) | 코어 아닌 대역폭 보고 선택
저가 GPU가 CPU보다 느림 | MX/저TDP 모바일 GPU | RTX 4070+ 아니면 CPU-only

목차

VRAM이 부족하면 무슨 일이 벌어지나?

왜 데스크톱 GPU만큼 안 빠른가?

그래서 노트북 안전 세팅은?

VRAM이 부족하면 무슨 일이 벌어지나?#

외장 GPU(윈도우)에선 하드월, 애플 실리콘에선 천장이다 — 갈래가 완전히 다르다. 윈도우/dGPU는 VRAM이 물리적으로 분리돼, 모델이 넘치면 로드를 거부하거나 PCIe 버스로 시스템 RAM에 오프로드해 처리량이 80%+ 폭락한다(RTX 4060 8GB에서 13B+긴 문맥 = 스왑, 한 자릿수 tok/s). KV 캐시를 잊지 마라 — 128k 문맥은 모델 외에 4~8GB를 추가로 먹으니, 8GB "요구" 7B도 실제론 12GB+가 필요하다. 반면 애플 실리콘은 RAM이 곧 GPU 메모리라 장점이지만 동시에 천장이다: 8GB 맥은 3~4B 모델 기계(Phi-4 Mini 3.8B·Llama 3.2 3B·Gemma 3 4B Q4). 숨은 해법 하나: macOS는 GPU에 RAM을 다 안 준다(64GB에서 ~51GB만, ~12GB는 OS 예약). 추론 전용 맥이라면 sudo sysctl iogpu.wired_limit_mb=61440(60GB)로 상한을 올릴 수 있다(여유는 남겨라).

왜 데스크톱 GPU만큼 안 빠른가?#

토큰 생성은 연산이 아니라 '메모리 대역폭'에 묶이기 때문이다 — 매 토큰마다 모델 전체를 메모리에서 읽어야 한다. M5 Max 128GB는 614 GB/s, RTX 4090 24GB는 1,008 GB/s — 그래서 4090은 Llama 3 8B에서 ~150 tok/s, M5 Max는 ~75 tok/s로 두 배 차이다. 대신 M5 Max는 70B를 ~18 tok/s로 올리지만 4090은 아예 못 올린다 — "느린 GPU + 거대한 VRAM"인 셈이다. 함정 둘: (1) 코어 수가 아니라 대역폭을 봐라 — M3 Pro(150 GB/s)는 M2 Pro(200 GB/s)보다 토큰당 오히려 느리다. (2) 저가 GPU는 CPU보다 느릴 수 있다 — MX 시리즈(2GB·Tensor 코어 없음)·저TDP RTX 3050에선 CPU-only가 12~18% 더 빠르다. 마지막으로 런타임: 애플 실리콘 14B 미만은 MLX가 llama.cpp보다 20~87% 빠르지만, 긴 문맥·겨우 맞는 모델·크로스플랫폼엔 llama.cpp가 옳다.

그래서 노트북 안전 세팅은?#

핵심은 최대로 밀지 말고, 노트북의 3대 제약(열·전원·메모리)에 맞춰 '꾸준함'을 택하라는 것이다.

열·전원: 받침대로 띄우고 Turbo Boost off로 지속 처리량을 지켜라(92% 유지·열 절반). 긴 세션은 플러그인, 얇은 노트북은 High Performance보다 Balanced가 더 시원하다.

메모리: dGPU는 VRAM 넘기면 80% 폭락하니 KV 캐시(128k=+4~8GB)까지 계산해 헤드룸 확보. 애플은 8GB=3~4B, 전용이면 sysctl로 상한 상향.

속도: 대역폭이 진짜 지표 — 코어 아닌 GB/s로 사고, GPU에 다 올라가면 --n-gpu-layers 99(4070 Ti 40→85 tok/s). 저가 모바일 GPU면 CPU-only가 나을 수 있다. 모든 세팅은 실제 모델·문맥으로 A/B 후 고정.

함께 읽기: 로컬 코딩 보조 모델 2026: 직접 돌려보고 고른 현황과 추천, Ollama·LM Studio·llama.cpp 실행기, 2026년에는 무엇을 고를까?

함께 읽기: 노트북에서 돌리는 AI 모델, 2026 현황과 추천, 노트북에서 돌리는 AI 모델 VRAM·RAM 요구량 실측

참고 링크

llama.cpp(로컬 추론·크로스플랫폼)

MLX(애플 실리콘 프레임워크)

Ollama(로컬 실행기·환경변수)

ThrottleStop 정보(노트북 스로틀 제어)

FlashAttention(메모리 절약 어텐션)

참고: 스로틀 시점(10~15분)·감속폭(20~40%)·전력(28W→14W)·대역폭(614/1008 GB/s)·tok/s(8B 75~150·70B 18)·MLX 이득(20~87%) 같은 수치는 2026년 공개·커뮤니티 실측이며 기기·냉각·드라이버·양자화·부하에 따라 ±10~15% 이상 달라진다(영구 수치 아님, 개별 블로그 벤치 다수). sysctl·전원 설정은 신중히(여유 남기고, OS 버전별 상이). 설정 후 실제 모델·문맥으로 검증하라. 노트북·실행기 관행은 빠르게 바뀌니 분기별로 다시 본다.