개인정보를 밖으로 안 보내는 BGE-M3 다국어 검색 체크리스트

BGE-M3란 여러 언어의 질의와 문서를 하나의 모델로 임베딩해 조밀(dense)·희소(sparse)·다중벡터 검색을 동시에 지원하는 오픈 임베딩 모델로, 자체 호스팅하면 검색어와 원문을 외부 API로 보내지 않고 로컬 하드웨어 안에서만 다국어 검색을 수행할 수 있는 리트리버이다. 구매 전 판단은 벤치 점수보다 먼저 '데이터가 어디에 남고 무엇이 로그로 기록되는가'로 시작해야 한다.

왜 잔류·로그 정책이 첫 체크포인트인가#

로컬 AI를 도입하는 첫째 이유는 성능이 아니라 통제다. 관리형 임베딩 API는 질의문 자체가 외부로 나가고, 그 요청이 상대 서버 로그에 남는다. BGE-M3를 직접 호스팅하면 질의와 색인 대상이 사내 장비를 벗어나지 않는 구성을 만들 수 있다. 우리 운영에서도 외부 자동 수집은 상시 발생한다. 최근 7일간 AI 크롤러 히트는 6개 봇 기준 1268건(측정 2026-07-26, Hax 운영 실측)으로, 데이터가 외부 노출 경로에 놓이면 곧바로 수집 대상이 된다는 점을 보여준다. 검색 파이프라인에서 질의가 밖으로 나가지 않게 막는 것이 잔류 정책의 핵심이다.

하드웨어 체크리스트#

• VRAM: 배치 임베딩을 실시간으로 돌리려면 소비자용 GPU로도 시작할 수 있으나, 처리량과 문서 길이에 따라 요구량이 크게 달라진다(추정).
• CPU·RAM: GPU가 없으면 CPU 추론도 가능하지만 지연이 늘어난다. 색인 규모가 커질수록 벡터 저장·검색용 메모리 여유가 필요하다(추정).
• 저장 위치: 벡터 인덱스와 원문이 어느 볼륨에 남는지, 그 볼륨이 백업·동기화로 외부에 복제되지 않는지 확인한다(추정).

소프트웨어·정책 체크리스트#

• 텔레메트리·자동 업데이트 발신 차단 여부.
• 질의 로그·프롬프트 로그의 기본값이 '끔'인지, 최소한 비활성 옵션을 제공하는지.
• 인덱스 파일 암호화 및 접근 통제.
• 조밀+희소 하이브리드 검색을 켤 수 있는지(BGE-M3의 강점).

한국어 질의 품질#

BGE-M3는 다국어 임베딩이 강점이지만, 한국어 리콜은 정규화(자모 분해·전각/반각·공백)와 하이브리드 가중치 튜닝에서 갈린다. 조밀 벡터만 쓰면 고유명사·숫자 질의에서 놓치는 경우가 생기므로, 희소 신호를 함께 결합해 정밀도를 보정하는 구성을 권한다(추정).

우리 데이터가 주는 힌트#

리콜 시스템은 규모가 커질수록 평균 신뢰도가 떨어지는 드리프트를 겪는다. 우리 지표에서 평균 신뢰도는 0.721(측정 2026-07-04)에서 0.6043(측정 2026-07-26)으로 내려갔고, 같은 기간 활성 메모리는 8919개(측정 2026-07-04)에서 10659개(측정 2026-07-26)로 늘었다. 약 0.12p 하락(추정, 실측값 차)은 '색인만 늘리면 검색 품질이 저절로 오르지 않는다'는 신호다. BGE-M3 도입 시에도 규모 확장과 별개로 신뢰도 유지 기준을 먼저 정하는 것이 안전하다. 자세한 수치는 Hax data에서 확인할 수 있다.

참고: 위 우리 수치는 2026-07-26 기준 실측이며, BGE-M3의 사양·자원 요구치는 공개 정보 기반 추정으로 버전과 배치 설정에 따라 달라질 수 있다.

함께 읽기: BGE-M3 다국어 검색, p50·p95로 체감 속도 판단하기, 처음 설치하는 BGE-M3 다국어 검색, 구매 전 체크리스트

종합 가이드: 노트북에서 돌리는 AI 모델, 흔한 함정과 해결법

참고 링크#

• Hax 공개 실측 데이터셋