노트북에서 돌리는 AI 모델, 2026 현황과 추천

한눈에 보는 순위 (측정 근거):
1. 맥북에어 M5 → ~153 GB/s, 통합메모리
2. 맥북프로 M5 Pro 48GB → 273 GB/s
3. 맥북프로 M5 Max 64GB+ → 546~614 GB/s
4. Copilot+ AI PC → NPU 40~85 TOPS
5. Ryzen AI Max+ 395 → 96GB iGPU, ~14 tok/s

노트북에서 AI 모델을 돌릴 때 2026년 가장 중요한 사실은 속도는 NPU TOPS가 아니라 메모리 대역폭이 정한다는 것이다 — LLM 디코드는 토큰마다 모델 전체를 메모리에서 다시 읽어, 초당 토큰은 대충 대역폭 ÷ 모델 크기다. 그래서 "40 TOPS NPU" 같은 홍보 숫자는 로컬 LLM 속도를 거의 못 알려준다. 노트북은 데스크톱 GPU와 판이 다르다: 애플 실리콘의 통합 메모리는 CPU·GPU·뉴럴엔진이 한 메모리 풀을 공유해 32GB 맥이 28GB 모델을 복사 없이 올린다 — 외장 GPU가 아예 못 얹는 모델을 굴린다. 반대로 윈도우 AI PC의 NPU는 작은 온디바이스 기능엔 좋아도 대형 LLM엔 부적합하다. 요약: 대형 로컬은 맥의 통합메모리, 배터리·AI기능은 Copilot+ NPU.

쉽게 말하면: 노트북 로컬 AI는 수도관과 물탱크다. TOPS(펌프 힘)보다 관 굵기(대역폭)와 탱크 크기(메모리)가 물이 얼마나 빨리·많이 나오는지를 정한다. 펌프만 큰 NPU를 사면 관이 가늘어 물이 찔끔 나온다 — 노트북에선 대역폭과 메모리를 먼저 봐라.

노트북에서 실제로 뭘 돌릴 수 있나?#

메모리 용량이 모델 크기를 정한다. 4비트 양자화 기준 7B는 약 5GB(+macOS 4~6GB라 여유 10~11GB 필요), 70B는 약 40GB라 48GB+ 맥이 필요하다. 애플은 통합메모리라 VRAM이 아니라 전체 RAM 풀에 올린다 — M5 Pro 64GB면 30~35B를 4비트로 여유롭게 돌린다. 윈도우 공유메모리는 16GB가 실사용 하한, 32GB가 쾌적, 64GB가 개발자용이다. 즉 "몇 B를 돌리나"는 결국 네 노트북 RAM이 답이다.

왜 대역폭이 그렇게 중요한지 짚자. LLM이 한 토큰을 만들 때마다 GPU는 모델 가중치 전체를 메모리에서 한 번 읽어와야 한다. 계산은 순식간이지만 수십 GB를 실어 나르는 데 시간이 걸린다. 그래서 초당 토큰 ≈ 대역폭 ÷ 모델 크기라는 간단한 어림이 성립한다 — 예컨대 273 GB/s에 5GB 모델이면 이론상 초당 약 50토큰 근처다(실제는 오버헤드로 더 낮다).

애플 M5와 MLX가 왜 도약인가?#

통합메모리 전용 설계 + 뉴럴 가속기다. 애플 자체 프레임워크 MLX는 통합메모리에 맞춰 처음부터 짜여 불필요한 복사를 피하고, M5의 새 뉴럴 가속기를 자동 활용한다. 애플 MLX 연구 기준 M5는 첫 토큰까지 시간(TTFT)이 M4 대비 3.5~4배 빠르고(1.7B~30B), 토큰 생성은 대역폭 한계로 19~27% 빠르다. 다만 애플은 M5부터 뉴럴엔진 TOPS 표기를 중단하고 상대 속도로 바꿨으니 "M5=N TOPS"는 추정치로 봐라. 도구는 생태계는 Ollama, 최고 속도는 MLX로 나눠 쓴다(70B급에선 대역폭이 지배해 둘이 수렴).

통합메모리가 왜 특별한지 한 번 더. 보통 노트북·데스크톱은 시스템 RAM과 GPU VRAM이 따로라, 모델을 GPU로 보내려면 복사가 필요하고 VRAM 용량이 상한이 된다. 애플은 CPU·GPU·뉴럴엔진이 하나의 RAM 풀을 공유해 복사가 없고, 그 풀 전체(예: 64GB)가 곧 모델 상한이다. 그래서 외장 GPU가 못 얹는 큰 모델을 노트북이 굴리는 역전이 일어난다.

NPU와 긴 프롬프트는 어떤가?#

NPU는 대형 LLM용이 아니고, 긴 입력은 NVIDIA가 유리다. Copilot+ 인증은 40 TOPS·16GB·256GB가 바닥이고, 2026년 Snapdragon X2 Elite가 80~85 TOPS로 선두(전년 45~48 대비 78%↑)지만, NPU로 70B를 돌리는 길은 아니다 — 작은 지속 온디바이스 모델·윈도우 AI 기능용이다. 그리고 긴 프롬프트 처리(프리필)는 연산 바운드라, 12.8만 토큰 입력이 M5 Max에선 수 분, 고TOPS NVIDIA에선 수 초다. 즉 대역폭은 '답을 읽는 속도', 연산은 '질문을 읽는 속도'를 정한다.

그래서 2026년 노트북 AI 추천은?#

핵심은 노트북 타입부터 정하고, TOPS가 아니라 대역폭·메모리로 고르는 것이다.

• 대형 로컬: 맥의 통합메모리(M5 Pro 48GB=30B급, M5 Max 64GB+=유일한 70B 노트북), MLX로 속도.
• 배터리·AI기능: Copilot+ AI PC(온디바이스 기능·올데이 배터리), 미래대비 50+ TOPS·32GB.
• 검증: 네 워크로드로 직접 재라 — 벤치 TOPS 말고 tok/s·TTFT로. DRAM 공급난으로 고용량 티어가 줄었으니(2026) 구매 전 현 사양 확인.

함께 읽기: ComfyUI로 이미지·영상 만들기: 우리가 직접 굴리며 잰 운영 회고, 오픈 음성 클로닝 파이프라인 — 우리는 이렇게 운영한다

함께 읽기: 노트북에서 돌리는 AI 모델 VRAM·RAM 요구량 실측, 노트북에서 돌리는 AI, 5분 시작 가이드(초보자용)

참고 링크

• MLX(애플 실리콘 ML 프레임워크)
• llama.cpp(맥·CPU 로컬 추론)
• Ollama(로컬 모델 실행기)
• Apple ML Research(MLX·온디바이스)
• Microsoft Copilot+ PC(요구사양)

참고: M5 대역폭(120/273/546~614 GB/s)·TTFT 3.5~4x·NPU 80~85 TOPS 같은 수치는 2026년 공개 자료·제조사 발표이며 구성·측정 조건에 따라 다르다(영구 수치 아님, 예: M5 Max는 546과 614가 함께 인용됨). 애플은 M5부터 NPU TOPS를 안 밝히니 그 숫자는 추정이다. DRAM 공급난으로 메모리 상한·가격이 2026년 바뀌었으니 구매 전 현재 사양을 확인하라. 노트북 실리콘은 빠르게 바뀌니 분기별로 다시 본다.