노트북에서 돌리는 AI 모델, 흔한 함정과 해결법
요약: 10~15분 뒤 20~40% 감속: 열 스로틀링 VRAM 초과 후 한 자릿수 tok/s: PCIe로 시스템RAM 오프로드 8GB 맥에서 큰 모델 못 뜸: 통합메모리 천장 노트북 지속 생성은 10~15분 뒤 20~40% 감속(열 스로틀링) — M3 Pro 14" Mixtral은 12분 뒤 24→18 t/s 노트북에서 AI 모델을 돌릴 때 "처음엔 빠른데 몇 분 지나면 뚝 느려진다" 싶다면, 2026년의 진실은 모델 탓이 아니라 '노트북이라서'다.
노트북 지속 생성은 10~15분 뒤 20~40% 감속(열 스로틀링) — M3 Pro 14" Mixtral은 12분 뒤 24→18 t/s
노트북에서 AI 모델을 돌릴 때 "처음엔 빠른데 몇 분 지나면 뚝 느려진다" 싶다면, 2026년의 진실은 모델 탓이 아니라 '노트북이라서'다. 노트북엔 데스크톱에 없는 3대 제약 — 부족한 열 여유(thermal), 공격적인 전원 관리(power), 그리고 (내장 GPU의 경우) CPU와 나눠 쓰는 공유 메모리 — 이 있다. 그리고 가장 반직관적인 해법: Turbo Boost를 끄면 오히려 지속 속도가 빨라진다. 클럭을 최대로 튀겼다가 과열로 스로틀 당하느니, 기본 클럭으로 꾸준히 도는 게 총 처리량이 높기 때문이다. 이 글은 노트북 고유의 함정을 증상 → 원인 → 해결 순으로 수치와 함께 정리한다.
쉽게 말하면: 노트북 AI는 단거리 스프린터에게 마라톤을 시키는 것과 같다. 초반엔 전력질주(터보)하지만 곧 숨이 차 주저앉는다(스로틀). 완주(지속 추론)하려면 처음부터 일정 페이스(기본 클럭 고정)로 뛰어야 한다. 그리고 배낭(모델)이 너무 무거우면(VRAM 초과) 아예 못 뛴다.
처음엔 빠른데 왜 점점 느려지나?#
열 스로틀링 때문이다 — 지속 생성 10~15분 뒤 속도가 20~40% 떨어진다. 프리미엄 기기도 예외가 아니다: M3 Pro 14"에서 Mixtral 지속 생성은 12분 뒤 24 t/s → 18 t/s로 떨어진다(칩이 100°C 도달·전력 회수). 저가 윈도우는 더 극적이라, 기본값으로 돌리면 47초 만에 CPU 95°C·배터리 72분에 방전된 사례도 있다. 해결은 세 갈래다. (1) 노트북을 2~3cm 띄워라 — 스로틀 시작이 10분→20분+로 늦춰지고, $15 알루미늄 패드가 CPU를 8~12°C 낮춘다. (2) Turbo Boost를 꺼라(반직관) — i5-1135G7을 4.2GHz 대신 2.4GHz로 고정하면 피크 전력 28W→14W로 반감되는데 지속 처리량은 92%를 유지한다. (3) 75°C에서 스로틀만 안 걸리면 충분 — 더 식히려 팬을 과하게 돌리면 소음·전력만 늘 뿐 토큰은 안 빨라진다.
| 증상 | 원인 | 해결(측정) |
|---|---|---|
| 10~15분 뒤 20~40% 감속 | 열 스로틀링 | 받침대+Turbo off(92% 유지) |
| VRAM 초과 후 한 자릿수 tok/s | PCIe로 시스템RAM 오프로드 | 모델·문맥 축소, 헤드룸 확보 |
| 8GB 맥에서 큰 모델 못 뜸 | 통합메모리 천장 | 3~4B로, dedicated면 sysctl 상향 |
| 데스크톱보다 느림 | 대역폭 한계(614 vs 1008 GB/s) | 코어 아닌 대역폭 보고 선택 |
| 저가 GPU가 CPU보다 느림 | MX/저TDP 모바일 GPU | RTX 4070+ 아니면 CPU-only |
VRAM이 부족하면 무슨 일이 벌어지나?#
외장 GPU(윈도우)에선 하드월, 애플 실리콘에선 천장이다 — 갈래가 완전히 다르다. 윈도우/dGPU는 VRAM이 물리적으로 분리돼, 모델이 넘치면 로드를 거부하거나 PCIe 버스로 시스템 RAM에 오프로드해 처리량이 80%+ 폭락한다(RTX 4060 8GB에서 13B+긴 문맥 = 스왑, 한 자릿수 tok/s). KV 캐시를 잊지 마라 — 128k 문맥은 모델 외에 4~8GB를 추가로 먹으니, 8GB "요구" 7B도 실제론 12GB+가 필요하다. 반면 애플 실리콘은 RAM이 곧 GPU 메모리라 장점이지만 동시에 천장이다: 8GB 맥은 3~4B 모델 기계(Phi-4 Mini 3.8B·Llama 3.2 3B·Gemma 3 4B Q4). 숨은 해법 하나: macOS는 GPU에 RAM을 다 안 준다(64GB에서 ~51GB만, ~12GB는 OS 예약). 추론 전용 맥이라면 sudo sysctl iogpu.wired_limit_mb=61440(60GB)로 상한을 올릴 수 있다(여유는 남겨라).
왜 데스크톱 GPU만큼 안 빠른가?#
토큰 생성은 연산이 아니라 '메모리 대역폭'에 묶이기 때문이다 — 매 토큰마다 모델 전체를 메모리에서 읽어야 한다. M5 Max 128GB는 614 GB/s, RTX 4090 24GB는 1,008 GB/s — 그래서 4090은 Llama 3 8B에서 ~150 tok/s, M5 Max는 ~75 tok/s로 두 배 차이다. 대신 M5 Max는 70B를 ~18 tok/s로 올리지만 4090은 아예 못 올린다 — "느린 GPU + 거대한 VRAM"인 셈이다. 함정 둘: (1) 코어 수가 아니라 대역폭을 봐라 — M3 Pro(150 GB/s)는 M2 Pro(200 GB/s)보다 토큰당 오히려 느리다. (2) 저가 GPU는 CPU보다 느릴 수 있다 — MX 시리즈(2GB·Tensor 코어 없음)·저TDP RTX 3050에선 CPU-only가 12~18% 더 빠르다. 마지막으로 런타임: 애플 실리콘 14B 미만은 MLX가 llama.cpp보다 20~87% 빠르지만, 긴 문맥·겨우 맞는 모델·크로스플랫폼엔 llama.cpp가 옳다.
그래서 노트북 안전 세팅은?#
핵심은 최대로 밀지 말고, 노트북의 3대 제약(열·전원·메모리)에 맞춰 '꾸준함'을 택하라는 것이다.
- 열·전원: 받침대로 띄우고 Turbo Boost off로 지속 처리량을 지켜라(92% 유지·열 절반). 긴 세션은 플러그인, 얇은 노트북은 High Performance보다 Balanced가 더 시원하다.
- 메모리: dGPU는 VRAM 넘기면 80% 폭락하니 KV 캐시(128k=+4~8GB)까지 계산해 헤드룸 확보. 애플은 8GB=3~4B, 전용이면 sysctl로 상한 상향.
- 속도: 대역폭이 진짜 지표 — 코어 아닌 GB/s로 사고, GPU에 다 올라가면
--n-gpu-layers 99(4070 Ti 40→85 tok/s). 저가 모바일 GPU면 CPU-only가 나을 수 있다. 모든 세팅은 실제 모델·문맥으로 A/B 후 고정.
함께 읽기: 로컬 코딩 보조 모델 2026: 직접 돌려보고 고른 현황과 추천, Ollama·LM Studio·llama.cpp 실행기, 2026년에는 무엇을 고를까?
함께 읽기: 노트북에서 돌리는 AI 모델, 2026 현황과 추천, 노트북에서 돌리는 AI 모델 VRAM·RAM 요구량 실측
참고 링크
- llama.cpp(로컬 추론·크로스플랫폼)
- MLX(애플 실리콘 프레임워크)
- Ollama(로컬 실행기·환경변수)
- ThrottleStop 정보(노트북 스로틀 제어)
- FlashAttention(메모리 절약 어텐션)
참고: 스로틀 시점(10~15분)·감속폭(20~40%)·전력(28W→14W)·대역폭(614/1008 GB/s)·tok/s(8B 75~150·70B 18)·MLX 이득(20~87%) 같은 수치는 2026년 공개·커뮤니티 실측이며 기기·냉각·드라이버·양자화·부하에 따라 ±10~15% 이상 달라진다(영구 수치 아님, 개별 블로그 벤치 다수). sysctl·전원 설정은 신중히(여유 남기고, OS 버전별 상이). 설정 후 실제 모델·문맥으로 검증하라. 노트북·실행기 관행은 빠르게 바뀌니 분기별로 다시 본다.
Responses
No responses yet. Be the first to respond.