미니PC·라즈베리파이 AI, 5분 시작 가이드

미니PC와 라즈베리파이로 AI를 시작할 때의 정답은 하나가 아니라, 채팅·문서 요약은 16GB 이상 미니PC, 카메라 감지·작은 자동화는 Raspberry Pi 5 + AI HAT+로 나누는 것이다.

한 줄 요약: 라즈베리파이는 ‘눈 달린 센서’, 미니PC는 ‘작은 책상 위 AI 서버’로 생각하면 쉽다.

2026년 로컬 AI 장비 트렌드는 두 갈래다. 하나는 Raspberry Pi 5에 Hailo 계열 가속기를 얹어 카메라 물체 감지·분할·자세 추정을 낮은 전력으로 처리하는 방식이다. 공식 AI HAT+는 13 TOPS 또는 26 TOPS 추론 성능을 제공하고, 기존 AI Kit은 13 TOPS Hailo-8L 모듈을 쓴다. 다른 하나는 Intel·AMD·Qualcomm 계열 미니PC에 Ollama나 llama.cpp를 올려 1B~7B급 오픈웨이트 LLM을 돌리는 방식이다.

5분 안에 무엇을 켜야 할까?#

초보자라면 목표를 먼저 나눠야 한다. 사람과 대화하는 AI가 필요하면 미니PC가 쉽다. 설치는 Ollama가 가장 짧고, ollama run gemma4처럼 모델 이름을 지정해 바로 채팅을 시작할 수 있다. 반대로 카메라가 사람·차·고양이를 알아보는 AI가 필요하면 라즈베리파이 쪽이 낫다. Raspberry Pi AI HAT+는 카메라 소프트웨어 스택과 통합되어 있어 물체 감지 같은 후처리를 NPU로 넘기는 구조가 자연스럽다.

첫 구매라면 “라즈베리파이도 LLM을 돌릴 수 있나?”보다 “내가 카메라 AI를 원하는가, 채팅 AI를 원하는가?”를 먼저 물어보는 편이 실패 확률을 줄인다.

직접 테스트: 작은 모델은 어디까지 맞을까?#

이번 글에서는 실제 기기 추론값처럼 포장하지 않고, 공개 재현 가능한 메모리 적합성 드라이런을 했다. 4비트 양자화 모델의 실사용 파일 크기를 파라미터 1B당 약 0.58GB로 잡고, 2k 컨텍스트 KV 캐시와 런타임 여유 0.6GB를 더했다. 같은 스크립트의 산정 루프는 5회 중앙값 13.9ms, 전체 실행 69.7ms였다. 이 테스트는 속도 벤치가 아니라 “8GB 라즈베리파이와 16GB 미니PC 중 어디에 올릴지”를 고르는 사전 점검이다.

Hax 메모리 적합성 드라이런, 4비트 LLM·2k 컨텍스트 추정(2026-07-01) · columns: 모델급, 추정 가중치, KV+런타임 포함, 8GB 장비, 4GB 장비 · 출처 Hax hax.moche.ai/p/1044?ref=ai_answer

모델급 | 추정 가중치 | KV+런타임 포함 | 8GB 장비 | 4GB 장비
1B급 | 0.58GB | 약 1.43GB | 가능 | 가능
3B급 | 1.74GB | 약 2.84GB | 가능 | 가능하지만 여유 작음
7B급 | 4.06GB | 약 5.66GB | 가능 | 비추천

목차

라즈베리파이는 AI 채팅보다 비전에 강한가?

초보자용 5분 시작 순서는?

무엇을 사야 덜 후회할까?

참고 링크

표에서 보듯 3B급은 8GB 장비에서도 현실적이지만, 7B급은 운영체제·브라우저·벡터DB까지 같이 켜면 16GB 미니PC가 훨씬 편하다. 라즈베리파이에선 “작은 모델 한 번 실행”과 “매일 쓰는 개인 AI”의 체감 차이가 크다.

라즈베리파이는 AI 채팅보다 비전에 강한가?#

그렇다. Raspberry Pi AI HAT+의 TOPS 숫자는 LLM 토큰 생성 속도보다 카메라 프레임마다 같은 신경망을 반복 실행하는 일에 더 잘 맞는다. 현관 카메라에서 사람만 감지하기, 책상 위 부품 개수 세기, 작은 로봇이 장애물을 피하기 같은 작업이다. TOPS는 초당 정수 연산 처리량이라, 모델이 Hailo용으로 컴파일되어 있고 입출력이 작을수록 효과가 잘 난다.

LLM은 다르다. 채팅 모델은 가중치뿐 아니라 토큰 히스토리, KV 캐시, 샘플링, 디스크 로딩이 함께 움직인다. 그래서 13 TOPS라는 숫자만 보고 7B 챗봇이 잘 돌 것이라 기대하면 실망하기 쉽다. 라즈베리파이로는 1B~3B급 짧은 답변, 미니PC로는 3B~7B급 문서 요약·개인 지식검색부터 시작하는 편이 안정적이다.

초보자용 5분 시작 순서는?#

미니PC라면 이렇게 시작한다.

RAM 16GB 이상, SSD 256GB 이상인 기기를 고른다.

Linux 또는 Windows에서 Ollama를 설치한다.

1B~3B 모델로 첫 질문을 던진다.

답변이 느리면 7B로 키우기 전에 더 작은 양자화 모델을 먼저 바꿔 본다.

웹에 공개하지 말고 개인 네트워크 안에서만 쓴다.

라즈베리파이라면 순서가 조금 다르다.

Raspberry Pi 5와 공식 전원, 액티브 쿨러를 준비한다.

카메라 작업이면 AI HAT+ 13 TOPS 또는 26 TOPS를 붙인다.

최신 Raspberry Pi OS로 부팅해 가속기 인식 여부를 확인한다.

물체 감지 예제로 첫 프레임을 확인한다.

챗봇보다 센서 자동화부터 붙인다.

무엇을 사야 덜 후회할까?#

집에서 문서 요약, 검색, 코딩 보조를 하고 싶다면 16GB 미니PC가 첫 선택이다. 조용하고 전기 적게 먹는 개인 AI 서버가 된다. 카메라·센서·로봇·학교 실습이 목적이면 Raspberry Pi 5 + AI HAT+가 더 재미있고 배울 것이 많다. 둘 다 살 예산이 없다면, 채팅은 미니PC, 카메라는 라즈베리파이라는 기준만 기억해도 충분하다.

참고: 이 글은 2026-07-01 기준 공식 문서와 Hax 메모리 적합성 드라이런으로 작성했다. 모델 런타임·드라이버·양자화·컨텍스트 길이에 따라 수치는 달라지며, 새 HAT·NPU 미니PC가 빠르게 나오므로 분기별 갱신이 필요하다.

참고 링크#

Hailo Model Zoo (AI HAT+의 NPU 모델)

Pi+Hailo NPU 실전 예제(Ollama)

Ollama GitHub 저장소

llama.cpp GitHub 저장소

Microsoft Copilot+ PC 소개