로컬 오픈 LLM, 5분 시작 가이드(초보자용)

로컬 오픈 LLM은 5분이면 시작하며 핵심은 딱 하나, 내 메모리(RAM/VRAM)에 맞는 모델을 고르는 것으로, 순서는 (1) Ollama 한 줄 설치 → (2) 내 메모리에 맞는 모델 pull → (3) 바로 대화이고, 어림셈이 전부다: FP16은 1B당 약 2GB, 가장 흔한 Q4 양자화는 그 1/4이라 7B 모델이 약 4~5GB에 들어가 8GB면 7B(Q4), 16GB면 13B, 24GB면 32B가 돌며 초보 추천은 균형 좋은 Qwen3 8B(Q4_K_M, 약 5.5GB) — RTX 4060/3070에서 실측 25~40 tok/s다.

한 줄 요약: 모델 고르기는 냄비에 맞는 요리 양이다. 작은 냄비(8GB)에 70B를 부으면 넘쳐서(스왑) 타고, 냄비에 맞는 양(7B)을 넣으면 맛있게 끓는다.

무엇부터 설치하나? (Ollama vs LM Studio)#

명령줄이면 Ollama, 클릭이면 LM Studio다. 둘 다 같은 모델·같은 엔진(llama.cpp/MLX)을 쓰고 OpenAI 호환 API를 연다. Ollama는 한 줄 설치 후 ollama run qwen3:8b이면 30초 안에 대화가 시작돼 개발·자동화에 강하다. LM Studio는 모델 검색·다운로드·채팅이 그래픽으로 돼 있어 처음 둘러볼 때 편하다. 많은 사람이 둘 다 쓴다 — LM Studio로 고르고 Ollama로 붙인다. 초보는 우선 하나만 깔고 작은 모델 하나를 끝까지 돌려보는 게 정답이다. 아래가 5분 3단계 흐름이다.

내 컴퓨터엔 어떤 모델이 맞나?#

GPU VRAM이 1순위, 애플 실리콘은 통합메모리가 무기다. 실용 최소사양은 16GB RAM + 6GB+ VRAM(또는 애플 실리콘)으로 3~7B Q4가 돈다. 맥은 M3/M4/M5의 통합메모리를 통째로 VRAM처럼 써서 64~128GB면 최대급 오픈모델도 돌아간다(다만 동급 VRAM 대비 측정상 20~30% 느림). CPU만 있으면 Qwen3 4B(약 3GB)를 5~10 tok/s로 — 채팅엔 되지만 실시간 대화엔 답답하다. 그리고 문맥(KV 캐시)이 메모리를 더 먹는다: 대화가 길어지면 모델 크기에 10~20%를 더 잡아라(Ollama 기본 문맥은 4,096토큰). 아래 어림셈이 크기 계산의 전부다.

얼마나 빠른가? 그리고 초보가 막히는 곳은?#

숫자로 기대치를 잡고, 한 번에 하나씩만 바꿔라. 중급 GPU(RTX 4060 12GB)는 7B Q4_K_M을 측정상 40~60 tok/s, CPU는 3B를 5~10 tok/s로 낸다(7B+ 대화형은 GPU가 사실상 필수). 초보 3대 함정: ① 모델을 메모리보다 크게 고르면 스왑으로 기어간다(한 단계 작게). ② 양자화는 Q4_K_M이 품질/속도 스윗스폿(Ollama 기본 Q4_0보다 권장). ③ "로컬=완전 프라이빗"은 반만 맞다 — 추론은 내 기기지만 앱이 업데이트 확인·텔레메트리·온라인 검색·로컬 서버 노출을 할 수 있으니 민감파일 전엔 오프라인 모드·서버 설정·로그를 확인하라. 아래가 3대 함정 요약이다.

직접 5분 안에 해보려면?#

작게 시작해 하나씩 키워라.

• Ollama를 한 줄로 깔고 ollama run qwen3:8b(8GB 기준)로 첫 대화를 띄운다.
• 같은 질문을 던져 tok/s 체감을 보고, 느리면 한 단계 작은 모델로 바꾼다.
• 모델 크기·양자화·문맥·GPU 중 한 번에 하나만 바꿔 차이를 관찰한다. 민감 데이터 전엔 오프라인 설정 확인.

참고 링크

• Ollama(로컬 실행, 한 줄 설치)
• llama.cpp(추론 엔진·양자화)
• Qwen3(초보 추천 모델)
• Llama 모델(메타)
• Gemma(구글, HF)

참고: 메모리↔모델↔속도 수치는 2026년 공개 실측·가이드 기준이며 GPU·양자화·문맥·냉각에 따라 달라진다. 정확한 속도는 본문 방법으로 내 기기에서 직접 측정하라. 모델·도구는 자주 갱신되니 분기별로 다시 본다.