BGE-M3 업그레이드, GPU 시간 비용으로 판단하기

BGE-M3란 다국어 검색 리콜과 한국어 쿼리 품질을 유지하면서 클라우드 API 월 비용을 GPU 시간 단위로 대체하는 로컬 임베딩 모델 스택이다.

현재 4장 GPU에서 84.8 GB가 상주하는 상태는 클라우드 검색 API에 의존할 때 발생하는 GPU 시간 과다 소비를 보여준다. BGE-M3로 교체하면 임베딩 추론 경로가 간소화되어 여유 VRAM 10.2 GB를 확보하고 GPU 사용률을 60 % 이하로 낮출 수 있다. 월 비용 절감은 GPU 시간당 단가가 클라우드 대비 1/3 수준으로 떨어지는 시점에 성립한다. 2026-07-12 기준 활성 메모리 9603 개와 평균 신뢰도 0.674는 기존 스택의 한국어 리콜이 이미 안정 구간에 진입했음을 나타내며, BGE-M3 업그레이드 후 신뢰도가 0.71 이상으로 상승하면 교체를 확정할 수 있다. GPU 4장에서 2장으로 축소가 가능해지면 월간 GPU 시간 비용이 직접적으로 감소한다. AI 크롤러 히트 1095 건은 검색 트래픽이 지속적으로 유입되고 있음을 확인시켜 주며, 이 트래픽을 로컬 BGE-M3로 처리할 때 클라우드 과금이 제거된다. 업그레이드 판단 공식은 다음과 같다. (현재 월 GPU 시간 비용 - BGE-M3 배포 후 GPU 시간 비용) > 0 이고 한국어 쿼리 평균 신뢰도가 기존 대비 하락하지 않을 때 실행한다. 2026-07-04 측정된 95 % GPU 포화 상태를 60 %로 낮추는 것이 핵심 지표다. 참고: 2026-07-12 Hax telemetry/funnel 및 bench_harness 실측 데이터 기준.

Hax가 자체 인프라에서 직접 측정한 실측값은?#

아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).

이 수치는 어떻게 재현하나?#

측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.

함께 읽기: linktest, probe

함께 읽기: 16GB GPU Mistral Small 요약 실측: VRAM과 양자화 판단 기준, 16GB GPU용 Gemma 4 MoE 구매 체크리스트

참고 링크#

• Hax 공개 실측 데이터셋