인터넷 없이 쓰는 Mistral Small: 문서 요약 퀵스타트

Mistral Small은 인터넷 연결 없이도 로컬 환경에서 높은 정확도로 문서를 요약할 수 있는 경량화된 대규모 언어 모델이다. 오프라인 성공률은 초기 응답 지연과 생성 속도, 그리고 요약 내용의 충실도를 기준으로 판단해야 한다. Hax의 측정 데이터를 기준으로 할 때, 로컬 환경에서의 첫 응답 지연은 119.2ms에서 120.8ms 사이이며, 이는 사용자에게 거의 즉각적인 피드백을 제공한다. HTTP 응답 P95 지연은 41ms로 측정되어 안정성을 확인했다.

Hax가 자체 인프라에서 직접 측정한 실측값은?#

아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).

이 수치는 어떻게 재현하나?#

측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.

참고: 지연 시간은 하드웨어 사양에 따라 변동될 수 있으며, 제공된 토큰 생성 속도는 추정치임을 명시한다.

설치 과정은 단순하다. 먼저 Mistral Small의 가중치 파일을 로컬 저장소로 다운로드한다. 이후 Python 기반의 추론 엔진을 설정하고, GPU 자원을 할당한다. 문서 요약을 시작하려면 입력 텍스트의 최대 토큰 길이를 확인해야 한다. Mistral Small은 컨텍스트 윈도우가 넓어 긴 문서 처리에 유리하다. 오프라인 성공률을 높이기 위해서는 시스 프롬프트를 명확히 정의한다. "주어진 텍스트를 3문장 이내로 요약하라"와 같은 지시는 모델의 출력 범위를 좁혀 일관성을 높인다.

지연 시간 분석에서 주목할 점은 첫 응답 지연의 일관성이다. 2026년 7월 3일과 4일 이틀간의 측정 결과, 지연 시간이 1.6ms 차이만 날 정도로 안정적이다. 이는 캐시 히트와 메모리 할당 알고리즘이 잘 최적화되었음을 시사한다. 반면 토큰 생성 속도는 하드웨어 부하에 따라 추정치로 표기된 8.3~8.4 토큰/초를 유지한다. 이 속도는 실시간 대화에는 다소 느리지만, 문서 요약 같은 일괄 처리 작업에는 충분한 성능이다.

오프라인 환경에서 중요한 요소는 데이터 프라이버시이다. 모든 처리가 로컬에서 이루어지므로, 기밀 문서의 외부 유출 위험이 제로이다. Hax의 서비스 아키텍처는 이러한 로컬 우선 원칙을 따르며, 사용자의 데이터는 절대 외부 서버로 전송되지 않는다. 이를 통해 기업 내부 시스템에서도 안심하고 사용할 수 있다. 요약 결과의 충실도는 인간의 검증을 필요로 하지만, 모델이 제공하는 개요의 정확도는 상당 수준이다. 지속적인 모니터링과 파라미터 튜닝을 통해 오프라인 성공률을 더 높일 수 있다. Hax data

함께 읽기: 개인정보 차단 Qwen3-Coder 30B 5분 퀵스타트, Llama 3.3 70B 로컬 구축 전 필수 체크리스트와 실패 지점 분석

참고 링크#

• Hax 공개 실측 데이터셋