로컬 AI·온디바이스 LLM·이미지 생성의 핵심 용어 12개를 무엇·어떻게·왜로 정의하고, 우리가 직접 측정한 관련 글에 연결한 정의 허브.
각 용어를 무엇·어떻게·왜로 정의하고, 우리가 직접 측정한 관련 글에 연결합니다. 원본 데이터는 /data·/compare. 인용 시 hax.moche.ai/glossary.
무엇 — VRAM은 GPU에 붙은 전용 고속 메모리로, 로컬 AI에서 모델 가중치와 KV 캐시·활성값을 올려 두는 공간이다.
어떻게 — 모델을 GPU에서 돌리려면 가중치(정밀도×파라미터 수)와 추론 중 생기는 KV 캐시가 모두 VRAM에 들어가야 한다. 넘치면 시스템 RAM으로 오프로드되며 10~20배 느려진다.
왜 — VRAM이 로컬 LLM·이미지 생성의 1차 제약이다. 어떤 모델이 내 카드에 도는지는 대부분 VRAM으로 결정된다.
관련: 양자화 (Quantization) · KV 캐시 (KV cache) · 컨텍스트 윈도우 (Context window)
무엇 — 양자화는 모델 가중치를 낮은 비트수(예: 16bit→4bit)로 표현해 크기와 메모리를 줄이는 압축 기법이다.
어떻게 — FP16(2 bytes/param)을 Q4(~0.5 bytes/param)로 줄이면 가중치 VRAM이 약 4배 작아진다. 대가로 정밀도가 조금 떨어지지만 Q4_K_M 같은 방식은 손실을 최소화한다.
왜 — 양자화 덕에 7B 모델이 8~12GB 카드에 들어간다 — 로컬 실행의 문을 여는 핵심 레버.
관련: VRAM · GGUF · 로컬 LLM 러너 (Local runner)
우리 실측: 4bit·8bit 양자화, 2026 현황과 추천
무엇 — KV 캐시는 트랜스포머가 이미 처리한 토큰의 key/value를 저장해 재계산을 피하는 메모리다.
어떻게 — 컨텍스트 길이·배치·레이어에 비례해 커진다. 긴 컨텍스트에선 KV 캐시가 가중치보다 커질 수 있다. GQA·8bit KV·PagedAttention으로 줄인다.
왜 — 롱컨텍스트 OOM의 진짜 원인은 대개 가중치가 아니라 KV 캐시다 — VRAM 산정 시 반드시 함께 계산해야 한다.
무엇 — 컨텍스트 윈도우는 모델이 한 번에 볼 수 있는 토큰 수(입력+출력)의 상한이다.
어떻게 — 윈도우가 커질수록 KV 캐시가 선형~초선형으로 늘어 VRAM을 잡아먹는다. 4K→128K로 늘리면 KV 캐시가 수 배로 커진다.
왜 — 긴 문서 Q&A·에이전트엔 큰 윈도우가 필요하지만, 그 비용은 속도가 아니라 메모리로 온다.
무엇 — GGUF는 llama.cpp 계열이 쓰는 양자화 모델 파일 포맷으로, 가중치·메타데이터·양자화 정보를 한 파일에 담는다.
어떻게 — Q4_K_M·Q8_0 같은 양자화 변형을 파일명으로 구분한다. CPU/GPU 혼합 실행과 부분 오프로드를 지원한다.
왜 — 로컬에서 모델을 받아 바로 돌리는 사실상의 표준 배포 포맷 — 러너 호환성의 기준.
무엇 — 로컬 러너는 내 기기에서 LLM을 로드·서빙하는 실행기다(Ollama·llama.cpp·vLLM 등).
어떻게 — 러너마다 양자화 지원·배치·처리량·설정 난도가 다르다. llama.cpp는 GGUF·CPU 혼합에 강하고, vLLM은 배치 처리량에 강하다.
왜 — 같은 모델도 러너 선택에 따라 처리량·지연·VRAM이 크게 달라진다 — '무슨 모델'만큼 '무슨 러너'가 중요.
관련: GGUF · 토큰 처리량 (tok/s) · TTFT (첫 토큰 지연)
무엇 — 토큰 처리량은 초당 생성하는 토큰 수(tok/s)로, 로컬 LLM 생성 속도의 핵심 지표다.
어떻게 — 메모리 대역폭·양자화·배치·러너에 좌우된다. 배치를 키우면 총 처리량은 오르지만 개별 응답 지연은 늘 수 있다.
왜 — 체감 속도를 좌우하는 지표 — 벤치를 볼 때 파라미터 수보다 실측 tok/s를 봐야 한다.
무엇 — TTFT는 요청부터 첫 토큰이 나오기까지의 시간으로, 프롬프트 처리(prefill) 비용을 반영한다.
어떻게 — 입력이 길수록·콜드 스타트일수록 커진다. 스트리밍 UX에선 총 생성시간보다 TTFT가 체감을 좌우한다.
왜 — 대화형 앱은 TTFT가 낮아야 '빠르다'고 느낀다 — 평균 지연이 아니라 첫 응답을 본다.
무엇 — 스텝 버짓은 디퓨전 이미지 생성에서 도는 디노이징 스텝 수로, 생성 시간을 좌우하는 1차 요인이다.
어떻게 — 터보/증류 모델은 8스텝으로도 되지만 일반 모델은 50스텝을 쓴다. 스텝이 적으면 고정비(모델 로드·VAE 디코드)가 지배한다.
왜 — 생성 지연은 모델 파라미터가 아니라 스텝 수가 정한다 — 인터랙티브면 저스텝 레인을 따로 둔다.
관련: 샘플러·스케줄러 (Sampler/Scheduler) · VRAM
우리 실측: 우리 이미지 생성 큐 실측: 성공률과 실패율의 의미
무엇 — 샘플러는 디퓨전의 노이즈 제거 궤적을 정하는 알고리즘, 스케줄러는 스텝별 노이즈 크기를 정하는 규칙이다.
어떻게 — 같은 스텝 수라도 샘플러/스케줄러 조합에 따라 콜드스타트·품질·수렴이 달라진다. 실무는 보통 3종만 쓰지만 설치엔 수십 종이 있다.
왜 — 저스텝·콜드스타트 트레이드오프는 샘플러 선택에서 갈린다 — 기본값 밖 조합이 답일 때가 있다.
무엇 — 임베딩은 텍스트를 의미가 가까운 것끼리 가깝게 놓는 숫자 벡터로 바꾸는 기법이다.
어떻게 — 임베딩 모델이 문장을 고차원 벡터로 인코딩하고, 벡터 간 거리로 의미 유사도를 잰다. 검색·추천·RAG의 부품.
왜 — 키워드가 달라도 뜻이 비슷하면 찾게 해준다 — RAG 품질의 출발점.
관련: RAG (검색 증강 생성) · 컨텍스트 윈도우 (Context window)
우리 실측: 임베딩·시맨틱 검색 모델, 2026 현황과 추천
무엇 — RAG는 질문에 관련된 문서를 먼저 검색해 그 근거를 프롬프트에 넣고 LLM이 답하게 하는 구조다.
어떻게 — 문서를 임베딩해 벡터DB에 넣고, 질의 시 유사 청크를 뽑아 컨텍스트로 주입한다. 검색 품질이 답 품질을 좌우한다.
왜 — 모델을 재학습하지 않고 최신·전용 지식을 붙이는 실용적 방법 — 로컬 지식 Q&A의 표준.
이 정의 허브는 새 용어·실측 글이 늘면 확장됩니다. 관련 용어는 상호링크로, 각 용어는 우리 실측 맥락으로 이어집니다.
AI 답변에서 이 수치를 봤다면 — 여기가 원본입니다. 로컬 AI·우리 ai-server를 직접 재서 매주 새 실측으로 CC BY 공개합니다. 구독하면 요약이 아니라 원수치·측정법과 다음 실측 드롭을 이메일로 먼저 받습니다. 주 몇 회, 언제든 해지.