Mistral Small 문서 요약 실측: 벤치마크 점수 vs 실제 지연 시간

Mistral Small은 Mistral AI에서 개발한 중규모 파라미터 언어 모델로, 복잡한 문서 요약 및 논리적 추론 작업에서 높은 신뢰성(Faithfulness)과 낮은 할루시네이션율을 제공하는 데 최적화되어 있는 로컬 및 클라우드 기반 AI 솔루션이다. 기존 벤치마크에서 높은 점수를 받았다는 사실과 실제 업무 환경에서의 성능 사이에 존재하는 괴리를 파악하는 것은 효율적인 AI 도입을 위해 필수적이다. 특히 문서 요약 작업에서는 정답률(Lab Score)뿐만 아니라 응답 속도 및 일관성(Task Score)이 실제 사용자 경험에 결정적인 영향을 미친다. 다음 표는 Hax 운영 환경에서 측정된 최신 데이터와 일반적인 벤치마크 추산치를 비교한 것이다.

Hax가 자체 인프라에서 직접 측정한 실측값은?#

아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).

이 수치는 어떻게 재현하나?#

측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.

참고: 위 측정값은 2026년 7월 기준 Hax 인프라 환경에서의 결과이며, 하드웨어 구성 및 네트워크 상태에 따라 변동될 수 있다. TPS 값은 직접 측정이 아닌 지연시간 데이터로부터 유추된 추정치임을 명시한다.

Lab Score와 Task Score의 차이를 이해하는 것은 모델 선택의 핵심이다. Lab Score는 MMLU나 HumanEval과 같은 표준화된 벤치마크 테스트셋에서 얻는 점수로, 모델이 훈련 데이터에 대해 얼마나 잘 기억하고 패턴을 재생산하는지를 보여준다. Mistral Small은 이러한 정적 벤치마크에서 우수한 성과를 거두어 왔으나, 이는 실제 문서 요약 작업의 복잡성을 완전히 반영하지는 못한다. 반면 Task Score는 실제 업무 시나리오, 즉 길고 구조화된 문서를 요약할 때 원문의 의미를 얼마나 정확하게 전달하고(충실도), 불필요한 정보를 얼마나 잘 걸러내는지 평가하는 지표이다. 문서 요약 작업에서 Faithfulness가 낮으면 모델은 사실과 다른 내용을 생성하거나 원문의 뉘앙스를 왜곡할 위험이 있다. Mistral Small은 이러한 Task Score에서도 높은 신뢰성을 유지하며, 단순 지식 재생산을 넘어 맥락 이해 능력을 입증하고 있다.

지연 시간의 중요성은 실시간 상호작용 환경에서 더욱 부각된다. 첫 응답 지연시간(First Response Latency)이 120.8 ms로 측정된 것은 사용자가 프롬프트를 입력한 후 첫 번째 토큰을 받기까지 걸린 시간이다. 이는 인간의 인지 한계인 200 ms 미만을 상회하지 않아 매우 즉각적인 반응으로 인식된다. HTTP 응답 P95 지연이 41 ms로 측정된 것은 전체 응답의 95%가 이 시간 내에 처리되었음을 의미하며, 서버의 처리 일관성이 높음을 시사한다. 이러한 빠른 지연 시간은 긴 문서 처리 작업 중 사용자가 기다리는 피로도를 줄이고, 인터랙티브한 요약 피드백이 가능한 환경을 제공한다. 추정된 토크인 생성 속도는 초당 8.3개 수준으로, 이는 짧은 답변보다는 긴 논증이나 상세 요약을 생성할 때 체감 속도에 영향을 미칠 수 있으나, 첫 응답의 신속함은 전반적인 사용자 만족도를 높이는 요인으로 작용한다. 이러한 실측 데이터는 벤치마크 점수만으로 모델을 판단하는 것의 한계를 보여준다. 실제 운영 환경에서의 안정성과 지연 시간 특성을 종합적으로 고려할 때, Mistral Small은 문서 요약 및 분석 작업에 적합한 균형 잡힌 선택지임을 확인할 수 있다.

함께 읽기: Gemma 4 MoE 가정용 GPU 추론 벤치마크 분석, Gemma 4 MoE 가정용 GPU 체크리스트

참고 링크#

• Hax 공개 실측 데이터셋