노트북에서 AI, 무엇을 NPU로 GPU로 돌려야 하나?

노트북에서 AI는 5분이면 시작하지만 데스크톱과 규칙이 다르다 — 발열·배터리·NPU가 좌우한다, 그래서 핵심은 작은·상시 작업은 NPU로 종일, 무거운 작업은 GPU/통합메모리로다. 받아쓰기(Whisper base/small)·실시간 캡션·임베딩·1~4B 소형 LLM은 NPU에서 측정상 5~10W로 조용히 종일 돌지만, 7B+ 대화형 LLM·이미지생성(SDXL)·Whisper large는 외장 GPU나 통합메모리가 필요하다. 그리고 광고의 TOPS 숫자보다 RAM·메모리 대역폭이 진짜 병목이다.

한 줄 요약: 작고 늘 켜두는 AI는 NPU로 저전력 종일, 무거운 모델은 GPU/통합메모리로 짧게 돌린다. 스펙표의 TOPS가 아니라 RAM·대역폭과 발열이 실제 속도를 정한다.

쉽게 말하면: 노트북 AI는 연비 좋은 시내 주행이다. NPU는 작은 짐을 적은 연료로 종일 나르고(배터리), 큰 짐(대형 모델)은 연료를 많이 먹어 충전기(벽 전원)와 큰 엔진(GPU)이 필요하다.

내 노트북으로 무엇이 되나? (등급별)#

NPU 노트북은 작은 AI 종일, GPU 노트북은 큰 모델 단거리, 맥북은 통합메모리만큼이다. Copilot+ PC 기준은 40+ TOPS NPU·16GB RAM이고, 받아쓰기·캡션·Windows Studio Effects·소형 LLM을 로컬에서 돌린다. 게이밍/외장GPU 노트북은 7~13B LLM과 이미지생성을 측정상 빠르게 내지만 30~40W를 먹어 배터리론 짧다. 맥북(애플 실리콘)은 통합메모리를 통째로 써서 16GB는 7B 안팎까지, 128GB는 70B급까지 — 다만 팬리스는 10~15분 지속 추론에서 발열 throttling이 온다. 여기서 NPU(신경망 처리 장치)는 AI 행렬연산만 저전력으로 전담하는 작은 칩이고, 통합메모리는 CPU·GPU가 같은 RAM을 나눠 써 큰 모델도 통째로 올릴 수 있게 하는 구조다.

노트북 등급별로 어떤 AI가 잘 되나 (2026 공개 실측 기준) · columns: 노트북 등급, 대표 사양, 잘 되는 AI, 약한 곳, 배터리 · 출처 Hax hax.moche.ai/p/1025?ref=ai_answer

노트북 등급 | 대표 사양 | 잘 되는 AI | 약한 곳 | 배터리
씬앤라이트(NPU/Copilot+) | 40+ TOPS·16GB | Whisper base/small·캡션·임베딩·1~4B LLM | 7B+·이미지생성 | 길다(NPU 5~10W)
게이밍/외장GPU | RTX 8~16GB | 7~13B LLM·SDXL·Whisper large | 배터리(30~40W) | 짧다·플러그 필수
맥북(통합메모리) | M계열 16~128GB | 메모리만큼(prompt 빠름) | 팬리스 발열 throttle | 균형 좋음

목차

NPU와 GPU는 뭐가 다른가?

초보가 자주 막히는 곳은?

직접 5분 안에 해보려면?

NPU와 GPU는 뭐가 다른가?#

NPU는 적은 전력으로 '꾸준히', GPU는 많은 전력으로 '세게'다. NPU는 INT8 같은 저정밀 행렬연산에 특화돼 같은 배경흐림을 GPU 30~40W 대비 5~10W로 처리해, 측정상 배터리에서 피크의 약 92%를 유지한다(외장 동글은 발열로 약 63% 급락). 대신 큰 LLM은 아직 NPU로 안 간다: 2026년 기준 Ollama·llama.cpp는 NPU 라우팅을 안 해 Metal·CUDA 같은 GPU 가속을 쓴다. NPU의 스윗스폿은 Whisper 변형·Phi 계열 소형 모델·임베딩·상시 에이전트다. 즉 "종일 켜두고 조용히 도는 작은 AI"는 NPU, "잠깐 세게 돌리는 큰 AI"는 GPU라고 나눠 생각하면 쉽다.

초보가 자주 막히는 곳은?#

발열·RAM·NPU 기대치 세 가지다.

발열: 벤치는 10분이 아니라 실사용이다. 얇은 노트북은 지속 추론에서 throttling이 와 측정상 24→18 t/s로 떨어진다(큰 작업은 충전기 연결·받침대).

RAM: 무엇보다 RAM을 아끼지 마라 — 모델 로딩의 진짜 병목은 TOPS가 아니라 RAM·대역폭이다.

NPU 기대치: "NPU=대형 LLM 가속"은 오해다. 작은·상시 모델용이지 70B용이 아니다.

직접 5분 안에 해보려면?#

작은 작업부터, 노트북 한계를 존중해서.

받아쓰기면 Whisper base/small을, 채팅이면 1~4B 소형 LLM을 먼저 띄운다(둘 다 노트북 친화적).

배터리/충전기 두 상태에서 같은 작업을 재 보고 속도 차(throttling)를 확인한다.

무거운 모델(7B+·이미지생성)은 충전기 연결 후 돌리고, 길어지면 받침대로 발열을 빼라.

참고 링크

Whisper(받아쓰기 모델)

ONNX Runtime(NPU 런타임)

Core ML Tools(애플 온디바이스)

llama.cpp(GPU 가속 추론)

Copilot+ PC NPU 개발 문서

참고: TOPS·전력·tok/s·대역폭 수치는 2026년 공개 실측·문서 기준이며 칩·냉각·전원·소프트웨어에 따라 달라진다. 정확한 속도는 본문 방법으로 내 노트북에서 배터리/충전 두 상태로 직접 측정하라. 노트북 AI 칩·런타임은 빠르게 바뀌니 분기별 갱신.