BGE-M3 다국어 검색, p50·p95로 체감 속도 판단하기
요약: BGE-M3란 100여 개 언어를 단일 벡터 공간에 담아 한국어를 포함한 다국어 질의를 밀집(dense)·희소(sparse)·다중벡터(multi-vector) 세 검색 방식으로 동시에 처리하도록 설계된 오픈 임베딩 모델이며, 다국어 검색을 도입할 때 검색 품질과 체감 응답속도를 p50·p95로 함께 따져야 하는 구매 결정의 핵심 후보이다. 최대 VRAM 상주(스냅샷) 84.8 GB Hax가 자체 인프라에서 직접 측정한 실측값은? 아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).
BGE-M3란 100여 개 언어를 단일 벡터 공간에 담아 한국어를 포함한 다국어 질의를 밀집(dense)·희소(sparse)·다중벡터(multi-vector) 세 검색 방식으로 동시에 처리하도록 설계된 오픈 임베딩 모델이며, 다국어 검색을 도입할 때 검색 품질과 체감 응답속도를 p50·p95로 함께 따져야 하는 구매 결정의 핵심 후보이다.
최대 VRAM 상주(스냅샷) 84.8 GB
Hax가 자체 인프라에서 직접 측정한 실측값은?#
아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).
| 데이터 항목 | 실측값 | 날짜 | 출처 |
|---|---|---|---|
| first_response_latency_ms | 120.8 ms | 2026-07-04 | bench_harness.probe_unified_latency |
| 최대 VRAM 상주(스냅샷) | 84.8 GB | 2026-07-04 | bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측) |
| 최소 여유 VRAM(풀 최저) | 10.2 GB | 2026-07-04 | bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측) |
- 표본
- 실측 지표 3개 (Hax /data 큐레이션)
- 측정 환경
- bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)
- 수집일
- 2026-07-04
- 방법
- bench_harness.probe_unified_latency
이 수치는 어떻게 재현하나?#
측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.
HTTP 응답 P95 지연 752 ms (7일)
| 지표 | 값 | 라벨 · 출처 |
|---|---|---|
| 첫 응답 지연 | 119.2 ms | 측정 2026-07-03 · probe_unified_latency |
| 첫 응답 지연 | 120.8 ms | 측정 2026-07-04 · probe_unified_latency |
| HTTP P95(7일) | 752 ms | 측정 2026-07-25 · Hax 운영 telemetry |
| 활성 검색 코퍼스 | 10,655 개 | 측정 2026-07-25 · probe_curator |
| BGE-M3 임베딩 p50(GPU 가정) | 15~40 ms | 추정 · 환경 의존 |
표의 첫 응답 지연 119.2 ms(측정)와 120.8 ms(측정)는 Hax ai-server의 실측 지연이므로 'Hax Local-AI Latency Index'[/glossary#hax-latency-index]로 기록한다. 같은 측정에서 토큰 처리량은 각각 8.4 tok/s, 8.3 tok/s(추정)다.
p50과 p95를 왜 나눠 보나#
p50은 요청 절반이 그 안에 끝나는 중앙값 체감치이고, p95는 스무 번에 한 번꼴로 나타나는 느린 꼬리다. 평균 한 숫자만 보면 이 꼬리를 놓친다. Hax 운영 P95는 752 ms(측정 2026-07-25)로 같은 서비스의 첫 응답 지연 측정치 119.2 ms(측정)보다 약 6배 크다(추정 배수). 이 격차는 임베딩 연산 자체보다 큐잉·네트워크·재랭킹 단계가 꼬리를 만든다는 신호다. 그래서 BGE-M3 도입 판단은 평균이 아니라 p95를 SLO로 고정하고 봐야 한다.
구매 전 하드웨어 체크리스트#
- VRAM: BGE-M3는 최대 8192 토큰(추정) 시퀀스를 받으므로 긴 문서 배치에서 메모리가 p95를 좌우한다. GPU 없이 CPU만으로도 동작하지만 꼬리 지연이 수 배 늘 수 있다(추정).
- 배치·동시성: 동시 요청이 몰릴 때 p95가 튄다. 벤치는 반드시 목표 동시성에서 측정해야 한다.
- 재랭킹 유무: dense 검색 뒤 bge-reranker를 붙이면 정확도는 오르지만 지연 꼬리가 더해진다(추정).
소프트웨어 체크리스트#
- 정밀도: FP16·INT8 양자화로 p50을 줄이되 다국어 정확도 손실을 실측으로 확인한다.
- 런타임: ONNX Runtime·vLLM 등 서빙 스택에 따라 같은 하드웨어에서도 지연이 달라진다(추정).
- 검색 방식: dense만 쓸지, sparse·multi-vector 하이브리드로 갈지에 따라 지연과 한국어 재현율이 함께 바뀐다.
한국어 질의 품질 관점#
한국어는 형태소 변형과 조사 때문에 dense 단독 검색이 놓치는 문서가 생긴다. BGE-M3의 sparse·multi-vector를 하이브리드로 쓰면 이런 변형에 더 강하다(추정). 다만 하이브리드는 후처리가 늘어 p95 꼬리를 키우므로, 검색 대상 코퍼스 규모와 함께 저울질해야 한다. 참고로 Hax의 활성 검색 코퍼스는 10,655개(측정 2026-07-25), 저장 기준 11,004개(측정 2026-07-25)이며 평균 신뢰도는 0.609(측정 2026-07-25)다.
체감 기준 판단 규칙#
사람은 100 ms 안쪽이면 즉답, 1초 안쪽이면 흐름 유지로 느낀다(추정, 일반적 UX 임계). 따라서 첫 응답 119.2 ms(측정)는 즉답 구간이지만, 운영 P95 752 ms(측정)는 흐름 유지 구간의 끝자락이다. 구매 전 벤치에서 p95가 이 임계를 넘기면 재랭킹 축소나 양자화로 꼬리부터 깎는 것이 순서다.
내부 근거는 Hax data에서 확인할 수 있다. 지난 7일 AI 크롤러 히트는 1291건(측정 2026-07-25)으로, 색인 대상 지연이 크롤러 예산에도 영향을 준다.
참고: 지연·코퍼스 수치는 2026-07-25 기준 측정값이며 bench_harness와 운영 telemetry 재측정 시 갱신된다. BGE-M3 환경별 임베딩 지연은 하드웨어·양자화에 따라 달라지는 추정 범위다.
함께 읽기: BGE-M3 업그레이드, GPU 시간 비용으로 판단하기, 처음 설치하는 BGE-M3 다국어 검색, 구매 전 체크리스트
종합 가이드: 오픈웨이트 vs 클로즈드 VRAM·RAM 요구량 실측
Responses
No responses yet. Be the first to respond.