미니PC·라즈베리파이 AI, 5분 시작 가이드(초보자용)

미니PC·라즈베리파이로 AI는 5분이면 돌지만, 핵심은 '작은 모델'을 고르는 것이다. 라즈베리파이 5에서 Gemma 3 1B는 측정상 약 18~22 tok/s로 쾌적한데, 같은 보드에 7B를 올리면 약 1~2 tok/s라 대화가 불가능해 '엣지 AI는 안 된다'는 오해를 부른다. 그리고 두 번째 함정: AI HAT(NPU)을 달아도 Ollama가 저절로 빨라지지 않는다 — 대부분의 NPU는 비전·전용 컴파일 모델용이라 아무 LLM이나 못 올린다. 즉 성패는 값비싼 가속기가 아니라 모델을 박스에 맞추는 것이 먼저다.

한 줄 요약: 미니PC·라즈베리파이 AI의 성패는 값비싼 가속기가 아니라 '작은 양자화 모델을 박스에 맞추는 것'이며, Pi 5에서 Gemma 3 1B는 약 18~22 tok/s로 쾌적하지만 7B는 약 1~2 tok/s로 못 쓰고, NPU HAT은 대개 비전용이라 LLM을 자동으로 빠르게 해주지 않는다.

쉽게 말하면: 작은 박스는 경차다. 경차로도 장은 잘 보지만, 트럭 짐(7B)을 실으면 못 움직인다. 짐을 박스에 맞추면(1~4B) 매일 잘 굴러가는 '상시 조수'가 된다.

작은 박스에서 AI가 되나?#

된다, 단 작고 양자화된 모델이면. 2026년엔 공격적 양자화(Q4_K_M 기본)와 소형 모델 덕에 Pi 5(8GB)에서 챗봇·홈오토메이션·오프라인 비서가 실용적이다. 측정 기준 Gemma 3 1B 약 18~22 tok/s(약 0.8GB), Gemma 3 4B 약 8~11, Llama 3.2 3B 약 5 tok/s다. 다만 Pi는 8GB 모델이 최소(4GB는 부족)이고, 4코어를 계속 쓰니 능동 쿨링과 NVMe(모델 2~5GB 로딩)가 사실상 필수다. ollama run --verbose로 tok/s를 실시간 확인하라.

아래 막대가 Pi 5에서 모델 크기별 실측 속도다. 작을수록 급격히 빨라지고, 7B는 대화 불가 영역으로 떨어진다.

초보가 가장 많이 틀리는 한 가지는?#

모델을 박스보다 크게 잡는 것, 그리고 NPU를 만능으로 오해하는 것 둘이다. 첫째, 7B는 Pi에서 '되긴 되지만' 스왑을 쓰며 1~2 tok/s라 쓸모없다 — Pi는 입문점이지 끝이 아니다. 둘째가 진짜 함정이다: 흔한 AI HAT+(Hailo-8L, 13 TOPS)는 '비전' 가속기라 LLM을 못 올린다("Llama를 못 얹는다"). LLM은 신형 AI HAT+2(Hailo-10H, 40 TOPS)만 되는데, 그마저 Hailo 모델주(zoo)의 컴파일본만 돌고 1~1.5B로 제한된다. 결론: LLM이 목적이면 대개 CPU Ollama가 더 편하고, NPU는 실시간 비전에서 빛난다.

같은 'AI HAT'이라도 세대에 따라 되는 일이 다르다. 아래로 무엇이 되고 안 되는지 갈린다.

내 목적엔 어떤 보드를 고르나?#

예산·목적·속도 셋을 맞춘다. ① 가장 싸고 확실하게 배우려면 Pi 5 8GB + Ollama + Gemma 3 1B. ② 3~7B를 편하게 쓰고 싶으면 Jetson Orin Nano Super($249)가 CUDA라 llama.cpp·Ollama·vLLM이 '그냥' 돌고, 1~3B 약 28~55 tok/s, 7B도 약 14~15 tok/s(약 15W)다. ③ 물체감지 같은 실시간 비전이 진짜 목적일 때만 Hailo HAT를 정당화하라(경량 LLM은 덤). 미니PC(NPU·iGPU 내장)는 상시 전원이 장점이지만, LLM 속도는 결국 양자화·모델 크기가 좌우한다.

직접 5분 안에 해보려면?#

가장 쉬운 길부터.

• Pi 5(8GB)+능동쿨러+NVMe에 Ollama 공식 스크립트를 깔고(ARM64·systemd 자동), ollama run gemma3:1b로 시작한다.
• 느리면 모델을 7B가 아니라 1~4B로 줄이고, --verbose로 tok/s를 보며 목적(상시 비서·자동화)에 맞춘다.
• 가속기는 비전이 목적일 때만 사고, LLM만이면 CPU로 충분한지 먼저 재라(리더보드보다 내 작업으로).

참고 링크

• Ollama(엣지 LLM 런타임)
• llama.cpp(경량 추론 엔진)
• Hailo Model Zoo(NPU 전용 컴파일 모델)
• RPI-Hailo-Hat-Ollama(Pi+NPU 실전 예제)
• Gemma 3 1B(경량 모델, Hugging Face)

참고: tok/s·전력·용량 수치는 2026년 공개 측정(커뮤니티·벤더 벤치) 기준이며 양자화·쿨링·전원·버전에 따라 달라진다. 특히 NPU 지원 모델은 벤더 모델주에 종속되니 구매 전 최신 스레드를 확인하라. 정확한 속도는 내 보드·모델로 직접 재라(리더보드는 출발점). 엣지 하드웨어·모델은 빠르게 바뀌니 분기별로 다시 본다.