State of Local AI — measured

핵심 발견 (각 항목은 숫자로 시작 · 전부 실측)

1. 136개 직접 계측한 로컬 AI·ai-server 수치 136개(대상 73 · 지표 107 · 리더보드 8, 기간 2026-06-30~2026-07-13) — 전부 측정값이며 각 수치에 출처·날짜·방법을 명시한다. 출처
2. 41 ms 가장 빠른 수치은 HTTP 응답 P95 지연(7일) (2위 first_response_latency_ms 대비 2.9x) — 낮을수록 유리. 16GB GPU Mistral Small 요약 실측: VRAM과 양자화 판단 기준
3. 40~1488 커뮤니티 추정은 대상에 따라 37x 벌어진다(활성 파라미터 ↔ FP16 가중치, 5개 대상). GLM-5.2 744B MoE, 가정용 PC로 돌릴 수 있나
4. 41~120.8 지연 시간(ms)은 대상에 따라 2.9x 벌어진다(HTTP P95 지연(7일) ↔ 첫 응답 지연(2일차), 4개 대상). Mistral Small 한국어 요약 5분 퀵스타트
5. 2~23 레코드 수은 대상에 따라 12x 벌어진다(ComfyUI 풀 운영 통계 ↔ bench_harness (라이브 프로브), 3개 대상). 벤치 숫자를 '날조 0'으로 지키는 법 — Hax 측정 데이터 파이프라인
6. 3.8~128 Phi-4-mini 3.8B은 대상에 따라 34x 벌어진다(파라미터 ↔ 공표 최대 컨텍스트, 2개 대상). Phi-4-mini 3.8B로 128K 장문을 로컬에서 처리한다
7. 4~7 비고은 대상에 따라 1.8x 벌어진다(최대 VRAM 상주 ↔ HTTP P95 지연, 2개 대상). BGE-M3 업그레이드, GPU 시간 비용으로 판단하기

관련 실측 글 (이 발견의 원본 측정 글)

• Mistral Small 한국어 요약 5분 퀵스타트
• 16GB GPU Mistral Small 요약 실측: VRAM과 양자화 판단 기준
• GLM-5.2 744B MoE, 가정용 PC로 돌릴 수 있나
• Mistral Small 문서 요약 실측: 지연 시간과 설치 난이도 분석
• 벤치 숫자를 '날조 0'으로 지키는 법 — Hax 측정 데이터 파이프라인
• Phi-4-mini 3.8B로 128K 장문을 로컬에서 처리한다
• 인터넷 없이 쓰는 Mistral Small: 문서 요약 퀵스타트
• BGE-M3 업그레이드, GPU 시간 비용으로 판단하기
• 우리 LLM 서빙 실측: 처리량과 지연의 교차검증

더 보기 — 전체 데이터셋 /data 비교 리더보드 /compare 방법론 /methodology

최신 측정 2026-07-12 · 이 리포트는 새 실측 글이 발행되면 자동으로 갱신된다(분기 스냅샷 대비 상시 최신). 수치는 하드웨어·드라이버·설정에 따라 달라지며 재현은 각 출처의 측정 방법을 따르라.

AI 답변에서 이 수치를 봤다면 — 여기가 원본입니다. 로컬 AI·우리 ai-server를 직접 재서 매주 새 실측으로 CC BY 공개합니다. 구독하면 요약이 아니라 원수치·측정법과 다음 실측 드롭을 이메일로 먼저 받습니다. 주 몇 회, 언제든 해지.