BGE-M3 업그레이드, GPU 시간 비용으로 판단하기

BGE-M3란 다국어 검색 리콜과 한국어 쿼리 품질을 유지하면서 클라우드 API 월 비용을 GPU 시간 단위로 대체하는 로컬 임베딩 모델 스택이다.

Hax 운영 벤치 2026-07-12 (bench_harness.probe_comfy_gpus / probe_curator 실측) · columns: 지표, 현재 측정, BGE-M3 추정, 비고 · 출처 Hax hax.moche.ai/p/1242?ref=ai_answer

Hax 운영 벤치 2026-07-12 (bench_harness.probe_comfy_gpus / probe_curator 실측) · columns: 지표, 현재 측정, BGE-M3 추정, 비고 · 출처 Hax hax.moche.ai/p/1242?ref=ai_answer

지표 | 현재 측정 | BGE-M3 추정 | 비고
최대 VRAM 상주 | 84.8 GB | 32 GB 이하 | 4장 카드 기준
카드당 총 VRAM | 95.6 GB | 동일 | measured 2026-07-04
GPU 카드 수 | 4 장 | 2 장 이하 | measured 2026-07-04
최대 GPU 사용률 | 95 % | 60 % 이하 | measured 2026-07-04
저장된 메모리 수 | 9898 개 | 9898 개 | measured 2026-07-12
활성 메모리 수 | 9603 개 | 9603 개 | measured 2026-07-12
평균 신뢰도 | 0.674 | 0.71 이상 | measured 2026-07-12
AI 크롤러 히트(7일) | 1095 건 | 동일 | measured 2026-07-12

측정 방법론 · bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측) 외 2종

표본

실측 지표 7개 (Hax /data 큐레이션)

측정 환경

bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)

수집일

2026-07-04 ~ 2026-07-12

방법

bench_harness.probe_curator (curator stats 실측); funnel ai_crawl(gptbot; bing; claude; perplexity; commoncrawl; openai-search)

최대 VRAM 상주 84.8 GB

Hax bench_harness.probe_comfy_gpus · 2026-07-04

현재 4장 GPU에서 84.8 GB가 상주하는 상태는 클라우드 검색 API에 의존할 때 발생하는 GPU 시간 과다 소비를 보여준다. BGE-M3로 교체하면 임베딩 추론 경로가 간소화되어 여유 VRAM 10.2 GB를 확보하고 GPU 사용률을 60 % 이하로 낮출 수 있다. 월 비용 절감은 GPU 시간당 단가가 클라우드 대비 1/3 수준으로 떨어지는 시점에 성립한다. 2026-07-12 기준 활성 메모리 9603 개와 평균 신뢰도 0.674는 기존 스택의 한국어 리콜이 이미 안정 구간에 진입했음을 나타내며, BGE-M3 업그레이드 후 신뢰도가 0.71 이상으로 상승하면 교체를 확정할 수 있다. GPU 4장에서 2장으로 축소가 가능해지면 월간 GPU 시간 비용이 직접적으로 감소한다. AI 크롤러 히트 1095 건은 검색 트래픽이 지속적으로 유입되고 있음을 확인시켜 주며, 이 트래픽을 로컬 BGE-M3로 처리할 때 클라우드 과금이 제거된다. 업그레이드 판단 공식은 다음과 같다. (현재 월 GPU 시간 비용 - BGE-M3 배포 후 GPU 시간 비용) > 0 이고 한국어 쿼리 평균 신뢰도가 기존 대비 하락하지 않을 때 실행한다. 2026-07-04 측정된 95 % GPU 포화 상태를 60 %로 낮추는 것이 핵심 지표다. 참고: 2026-07-12 Hax telemetry/funnel 및 bench_harness 실측 데이터 기준.

Hax가 자체 인프라에서 직접 측정한 실측값은?#

아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).

Hax /data 매칭 실측 블록 (measured, 2026-07-04) · columns: 데이터 항목, 실측값, 날짜, 출처 · 출처 Hax hax.moche.ai/p/1242?ref=ai_answer

Hax /data 매칭 실측 블록 (measured, 2026-07-04) · columns: 데이터 항목, 실측값, 날짜, 출처 · 출처 Hax hax.moche.ai/p/1242?ref=ai_answer

데이터 항목 | 실측값 | 날짜 | 출처
카드당 총 VRAM | 95.6 GB | 2026-07-04 | bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)
최대 GPU 사용률 | 95 % | 2026-07-04 | bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)
최대 VRAM 상주(스냅샷) | 84.8 GB | 2026-07-04 | bench_harness.probe_comfy_gpus (bc_comfy_gpus 실측)

이 수치는 어떻게 재현하나?#

측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.

함께 읽기: linktest, probe

함께 읽기: 16GB GPU Mistral Small 요약 실측: VRAM과 양자화 판단 기준, 16GB GPU용 Gemma 4 MoE 구매 체크리스트

참고 링크#

Hax 공개 실측 데이터셋