미니PC·라즈베리파이 AI, 2026 현황과 추천

한눈에 보는 순위 (측정 근거):
1. Raspberry Pi 5 8GB (CPU) → ~34GB/s · Gemma 2B 8~15, 3B 2~5, 7B <2 tok/s
2. Pi 5 + AI HAT+ 2 (Hailo-10H) → Llama 3.2 1B 30~50 tok/s (≤1.5B만)
3. Jetson Orin Nano Super → 67 TOPS · 2B 40~80, 8B Q4 두 자릿수 tok/s
4. Strix Halo 미니PC 128GB → ~256GB/s · 70B ~5, gpt-oss-120B MoE 31~40 tok/s

미니PC·라즈베리파이로 AI를 돌릴 때 2026년 가장 중요한 사실은 속도를 결정하는 건 TOPS 숫자가 아니라 '메모리 대역폭(GB/s)'이라는 것이다. 마케팅은 "67 TOPS!" "40 TOPS NPU!"를 외치지만, LLM의 토큰 생성 속도는 매 토큰마다 모델 파라미터를 메모리에서 읽어내는 대역폭에 묶인다. 그래서 반직관적 결론이 나온다: NPU HAT를 달아도 LLM은 대개 안 빨라지고, 오히려 더 느려지기도 한다(NPU는 비전용). 그리고 이 시장의 세 계층 — 라즈베리파이(엣지)·Jetson(GPU 엣지)·Strix Halo 미니PC(용량왕) — 은 서로 경쟁자가 아니라 다른 도구다. 요약: 네가 실제로 돌릴 가장 큰 모델로 계층을 고르되, TOPS가 아니라 GB/s와 실측 tok/s를 봐라.

쉽게 말하면: LLM 추론은 물을 양동이로 퍼 나르는 일과 같다. 연산기(TOPS)는 '삽질하는 팔 힘'이지만, 진짜 병목은 호스의 굵기(메모리 대역폭)다. 팔이 아무리 세도 호스가 얇으면(34GB/s) 물은 찔끔 나온다. Strix Halo는 호스를 7~8배 굵게(256GB/s) 만든 것이고, NPU HAT는 '더 센 팔'을 붙이는 격이라 호스가 그대로면 LLM엔 효과가 없다.

NPU HAT를 달면 LLM이 정말 빨라지나?

대부분은 아니다 — NPU HAT는 원래 비전(카메라·객체탐지)용이다. 실측 비교에서 맨 Pi 5가 $130짜리 Hailo AI HAT+보다 LLM tok/s가 오히려 빨랐고, x86 N100 미니PC는 맨 Pi보다 1.5배 이상 빨랐다. NPU가 LLM을 못 살리는 이유는 위와 같다 — 대역폭이 안 늘기 때문이다. 단 하나의 예외가 2026년 등장했다: AI HAT+ 2(Hailo-10H)는 전용 8GB LPDDR4X와 PCIe 3.0을 얹어, Llama 3.2 1B에서 30~50 tok/s, Qwen2 1.5B에서 ~9 tok/s를 내는 $100 미만 유일한 LLM 가속 보드다. 전체 시스템이 10W 미만(가속기 3.4W)으로 돈다. 단 1.5B급까지만 지원하고, 그보다 크면 Pi CPU로 폴백한다.

그래서 무엇이 속도를 결정하나?

메모리 대역폭이 토큰 생성 속도의 상한을 정한다 — 이게 엣지 AI의 핵심 물리다. Pi 5는 약 34GB/s라 3B만 돼도 2~5 tok/s로 느리고 7B는 <2 tok/s로 사실상 불가다. Strix Halo(Ryzen AI Max+ 395)는 128GB 통합메모리를 ~256GB/s로 굴려 70B를 단일 전원으로 올린다 — 그런데도 70B 밀집 모델은 약 5 tok/s에 그친다. 여기서 MoE가 스윗스팟인 이유가 나온다: gpt-oss-120B 같은 희소 전문가 모델은 토큰당 일부 파라미터만 발화해 같은 박스에서 31~40 tok/s를 낸다. 즉 대역폭이 한정된 기기에선 밀집 70B보다 희소 120B가 더 빠른 역설이 성립한다. Jetson이 Pi를 4~6배 앞서는 것도 TOPS가 아니라 CUDA GPU + 대역폭 덕이다.

직접 측정하기 — 대역폭과 tok/s

스펙시트의 TOPS 대신, 여러분 기기에서 이 두 숫자를 직접 재면 계층 선택이 명확해진다. 첫째는 속도의 물리적 상한을 정하는 메모리 대역폭이다.

sudo apt install -y mbw
mbw -n 5 256 | tail -n 3        # 256MiB 배열 5회 — MEMCPY/DUMB/MCBLOCK 대역폭
# 눈금: Pi 5 ~34GB/s · N100 미니PC ~40GB/s · Strix Halo ~256GB/s

둘째는 실제 생성 속도(tok/s)다 — 마케팅 TOPS가 아니라 이 값이 체감 속도다.

ollama run llama3.2:1b --verbose "로컬 AI를 한 문단으로 설명해줘." 2>&1 | grep "eval rate"
# eval rate = 생성 tok/s. 같은 모델을 계층별로 돌려 비교하면 대역폭 차이가 그대로 드러난다.

대역폭 숫자와 tok/s가 거의 비례하는 걸 보면, 왜 NPU HAT(연산기)를 달아도 LLM이 안 빨라지는지가 손에 잡힌다.

세 계층 중 뭘 사야 하나?

실제로 돌릴 가장 큰 모델이 계층을 정한다 — 스펙시트 숫자가 아니라. (1) 항상 켜두는 작고 사적인 작업(스마트홈 명령·메모 요약·번역)이면 Pi 5($80~150, <10W)가 정답이고, 1~1.5B 대화 속도가 필요하면 AI HAT+ 2를 더한다. (2) AI가 유일한 목적이고 7B급을 실시간으로 원하면 Jetson Orin Nano Super($249~299)가 Pi보다 압도적이다(CUDA·TensorRT). (3) 32B~70B·120B를 로컬 풀품질로 돌리려면 Strix Halo 128GB 미니PC다 — 네트워크 추론 서버는 Beelink GTR9 Pro(듀얼 10GbE·ROCm), 가성비는 GMKtec EVO-X2, 확장(PCIe x16)은 Minisforum MS-S1 MAX. 단 DRAM 값이 2026년 1분기 약 90% 급등해 128GB 박스 가격이 출렁인다.

그래서 2026년 미니PC·엣지 AI 추천은?

핵심은 TOPS 숫자가 아니라 대역폭과 실측 tok/s로 고르라는 것이다.

• 항상 켜두는 엣지·소형: Pi 5(<10W·$80~150). 1B 대화 속도가 필요하면 AI HAT+ 2(Hailo-10H, ≤1.5B). NPU HAT를 "만능 AI 가속"으로 오해하지 마라.
• AI 전용·7B 실시간: Jetson Orin Nano Super($249~299, CUDA). 셋업 난이도·팬 소음은 감안.
• 대형 모델 로컬 풀품질: Strix Halo 128GB 미니PC(~256GB/s). MoE(gpt-oss-120B)가 밀집 70B보다 빠른 스윗스팟. DRAM 시세 변동 유의.

함께 읽기: 로컬 코딩 보조 모델 2026: 직접 돌려보고 고른 현황과 추천, Ollama·LM Studio·llama.cpp 실행기, 2026년에는 무엇을 고를까?

함께 읽기: 미니PC·라즈베리파이 AI, 직접 돌려본 속도·품질 비교, 미니PC·라즈베리파이 AI, 5분 시작 가이드(초보자용)

참고 링크

• Raspberry Pi 공식 문서(GitHub)
• NVIDIA Jetson Orin Nano(개발자 킷)
• llama.cpp(엣지 CPU/GPU 추론)
• AMD ROCm(Strix Halo GPU 백엔드)
• SBC LLM 추론 평가(arXiv 2025)

참고: 대역폭(34~256GB/s)·tok/s(1B 30~50 / 70B ~5 / 120B MoE 31~40)·TOPS(67)·전력(3.4W~150W)·가격($80~3300) 같은 수치는 2026년 공개·커뮤니티 실측이며 모델·양자화·JetPack/ROCm 버전·냉각에 따라 달라진다(영구 수치 아님). NPU HAT의 LLM 성능은 펌웨어·지원 모델에 크게 좌우되고, DRAM 시세는 분기마다 급변한다. 구매 전 제조사 벤치 페이지와 최신 tok/s를 교차 확인하라. 엣지 AI 하드웨어·가격은 빠르게 바뀌니 분기별로 다시 본다.