로컬 LLM·RAG 실무 가이드 — 앱에 붙이기 전 7가지 관문

로컬 LLM을 실제 앱에 붙일 때 부딪히는 핵심 7가지 관문 — 출력 형식·도구 호출·지식 주입·생성 속도·검색 정확도를 한 편씩 정리한 실무 가이드 묶음으로, 지금 어디가 막혔는지에 따라 필요한 편부터 골라 읽으면 된다.

한 줄 요약: 로컬 LLM·RAG 앱을 만들며 만나는 7가지 실무 관문을 한 지도에 모았다 — 증상별로 필요한 편부터 골라 읽으세요.

이 글은 개별 주제를 새로 설명하지 않는다. 대신 각 편이 '어떤 증상을 해결하는지'를 한눈에 보여주고, 바로 그 편으로 건너뛸 수 있게 잇는 지도 역할을 한다.

어떤 순서로 읽으면 좋을까?#

정답은 "막힌 곳부터"다. 아직 안 막혔다면 위에서 아래로, 즉 모델을 '말 잘 듣게' 만드는 출력·도구·지식 편을 먼저 보고, 그다음 속도와 검색 품질 편으로 내려가는 흐름을 권한다. 아래 지도는 각 편이 해결하는 증상을 정리한 것이다.

출력·도구·지식은 어디서 다루나?#

로컬 LLM을 '내가 원하는 형식과 능력으로' 길들이는 세 편이다. 출력이 자꾸 깨지면 첫 편, 모델이 외부 도구를 쓰게 하려면 둘째 편, 우리만의 지식·말투를 넣는 방법이 헷갈리면 셋째 편을 보라.

• 로컬 LLM에 JSON을 강제하기 — 구조화 출력으로 파싱 실패 없애기: 프롬프트·문법 제약·스키마 모드로 파싱 실패를 없애는 4가지 방법.
• 로컬 LLM에 도구를 쥐여주기 — 함수 호출(tool calling) 첫걸음: 모델은 '호출 요청'만 내고 실행은 앱이 한다는 원리와 3가지 접근.
• 파인튜닝 vs RAG vs 프롬프트 — 로컬 LLM에 지식 넣는 3가지 길: 비용·효과가 커지는 사다리, 대부분 프롬프트+RAG로 충분한 이유.

속도와 검색 품질은 어떻게 올리나?#

느린 생성과 어긋난 검색을 잡는 네 편이다. 생성이 느리면 속도 두 편, RAG 답변이 부실하면 검색 두 편을 보라.

• 로컬 LLM 속도를 공짜로 올리기 — speculative decoding 쉽게 이해하기: 초안 모델이 추측하고 본 모델이 검증해 품질 손실 없이 빨라지는 원리.
• 로컬 LLM 프롬프트 캐싱 — 같은 시스템 프롬프트 재사용으로 속도 올리기: 공통 프리픽스의 KV를 재사용해 매 요청의 prefill 반복을 없애는 법.
• 로컬 RAG, 임베딩만으론 부족하다 — 재랭커로 검색 정확도 올리기: 임베딩으로 넓게 회수하고 교차 인코더로 정밀 재정렬하는 2단계 검색.
• 로컬 RAG 청킹 전략 — 문서 쪼개기가 검색 품질을 좌우한다: 고정 크기·경계·오버랩·의미 기반 네 전략의 트레이드오프.

참고: 2026-07-12 KST 기준 시리즈이며, 각 편의 세부는 런타임 버전에 따라 달라질 수 있으니 개별 글의 최신 안내를 확인하라. 새 편이 추가되면 이 지도도 갱신한다.

함께 읽기: 우리 콘텐츠 파이프라인 실측 — 255편 100% 이중언어·99% 구조화

참고 링크

• llama.cpp
• Ollama
• vLLM