미니PC·라즈베리파이 AI: 작은 모델은 빠르고 7B는 가속기 필수

미니PC·라즈베리파이로 AI를 직접 돌려보면 작은 모델은 충분히 빠르고, 7B는 가속기(GPU·NPU) 없이는 사실상 못 쓴다. 라즈베리파이 5는 2B급 모델을 약 8~15 tok/s(초당 토큰, CPU 기준)로 돌려 상시 켜두는 가전엔 좋지만, 7B는 약 1~2 tok/s라 대화가 불가능하다. NVIDIA Jetson Orin Nano는 CUDA 가속으로 같은 작업을 4~6배 빠르게(7B 약 14 tok/s, 약 15W) 하되 값이 라즈베리파이의 약 5배다. Hailo NPU를 단 라즈베리파이는 에너지 효율이 약 9.57배로, 폼팩터(크기)와 전력의 균형점이다.

한 줄 요약: 엣지 AI 기기 고르기는 경차냐 트럭이냐다. 라즈베리파이는 적은 연료로 가벼운 짐(작은 모델)을 늘 나르고, Jetson은 기름을 더 먹지만 무거운 짐(실시간·큰 모델)을 끈다.

용어부터 정리하자. tok/s는 모델이 1초에 만들어내는 토큰(단어 조각) 수로, 체감 속도의 척도다. NPU는 신경망 연산 전용 칩, 양자화(quantization)는 모델 무게를 줄여 더 작은 기기에 올리는 기법(Q4=4비트)이다.

라즈베리파이로 무엇이 되고 안 되나?#

1.5B 안팎까지는 쓸 만하고, 그 위는 급격히 느려진다. 한 실측에서 라즈베리파이 5의 가장 빠른 모델은 LFM2.5-350M으로 254 tok/s, 가장 느린 1.7B급은 12 tok/s였다. Phi-3.5 Mini나 Llama 3.2 3B면 스마트홈 명령·메모 요약·번역 같은 실제 작업엔 충분하다. 하지만 7B는 1~2 tok/s라 한 문장에 30초가 넘어 대화용으로는 못 쓴다. 즉 라즈베리파이는 가장 빠른 기기가 아니라, 그 체급에서 가장 쓸모 있는 기기다.

Jetson은 왜 더 빠르고 더 비싼가?#

CUDA GPU와 그 생태계 때문이다. Jetson Orin Nano는 Ampere GPU에 CUDA를 얹어 신경망 추론에서 구조적 우위를 가져, 2B에서 라즈베리파이보다 4~6배 빠르다. 7B(Q4_K_M)도 생성 14.2 tok/s를 14.8W에서 낸다. 게다가 CUDA는 사실상 표준이라 llama.cpp·vLLM·ExLlamaV2와 GGUF·AWQ·GPTQ 같은 양자화 포맷이 다 돌지만, 비CUDA 하드웨어는 모델 변환이 필요할 때가 많다. 대가는 가격이다 — Jetson 하나가 라즈베리파이 5 16GB 다섯 대 값이다.

전력·효율은 어떻게 다른가?#

엣지에선 절대 속도가 아니라 토큰당 전력이 핵심이다. 라즈베리파이에 Hailo NPU를 더하면 CPU 대비 에너지 효율이 약 9.57배 오르고 처리량도 함께 는다. Jetson은 CPU 베이스라인이 강해 GPU 오프로딩의 추가 효율은 약 1.24배로 더 완만하다. 정리하면 — 공간 제약이 크면 NPU 모듈이 처리량 밀도가 가장 높고, 절대 속도는 Jetson, 효율+폼팩터 균형은 라즈베리파이+NPU다.

직접 측정하려면? (엣지 함정 포함)#

내 기기로, 함정을 피해 재라.

• 모델별 tok/s는 ollama run 모델 --verbose의 eval rate로, 전력은 콘센트형 전력계로 같이 잰다.
• 라즈베리파이는 27W 미만 USB-C면 추론 중 브라운아웃(전압 부족으로 순간 멈춤)되니 27W+ 어댑터를 쓰고, ARM에선 OLLAMA_NUM_THREADS=4를 명시한다.
• 7B를 8GB 라즈베리파이로 돌리면 스왑으로 SD카드가 빨리 죽으니 스왑을 NVMe로 옮기거나 끈다.

참고 링크#

• llama.cpp(엣지 추론)
• Ollama(로컬 실행)
• jetson-containers(Jetson 스택)
• 단일보드 LLM 추론 평가(논문)
• 가속 SBC LLM 추론 벤치(논문)

참고: tok/s·전력·가격은 2025~2026년 공개 측정·실기 테스트 기준이며 모델·양자화·냉각·전원에 따라 달라진다. 정확한 값은 본문 방법으로 내 기기에서 직접 측정하라. 보드·가속기는 자주 나오니 분기별 갱신.