Fish Speech 음성 합성 품질 하락, 숫자로 확인하는 실측 벤치마크

Fish Speech 실측 벤치마크란 음성 합성 모델의 품질 하락을 화자 유사도, 발음 정답률, 응답 지연 같은 재현 가능한 숫자로 측정하여 귀로만 느끼던 저하를 근거 있는 수치로 확인하는 평가 절차이다. 품질이 나빠졌다는 인상은 강해도 숫자가 없으면 실제 회귀인지 청취 착각인지 가릴 수 없으므로, 같은 문장 세트와 같은 하드웨어에서 반복 측정한 값을 기준선으로 삼아 이후 값과 비교하는 것이 핵심이다.

Hax가 자체 인프라에서 직접 측정한 실측값은?#

아래는 Hax가 자체 인프라에서 직접 계측·공개한 참고 수치입니다(측정값, 출처 표기).

이 수치는 어떻게 재현하나?#

측정 방법은 표의 출처와 우리 공개 데이터셋(/data)에서 확인할 수 있습니다.

무엇을 숫자로 볼 것인가#

측정은 세 축으로 나눈다. 첫째는 화자 유사도로, 참조 음성과 합성 음성을 같은 화자 임베딩 모델에 넣어 코사인 유사도를 구한다. 둘째는 발음 정답률로, 합성 결과를 ASR로 다시 전사한 뒤 원문과 대조해 문자 오류율(CER)이나 단어 오류율(WER)을 계산하고, 오독이 없는 문장의 비율을 정답률로 본다. 셋째는 지연으로, 요청부터 첫 오디오가 나오기까지의 첫 응답 지연과 전체 처리 시간을 함께 기록한다. Hax는 지연 축을 우선 계측했다. 두 날의 첫 응답 지연 119.2 ms, 120.8 ms(측정)와 7일 HTTP P95 265 ms(측정)는 Hax Local-AI Latency Index[/glossary#hax-latency-index]로 추적한다. 반면 화자 유사도와 발음 정답률은 아직 미측정(측정대기) 상태이므로, 위 표에서 추정과 측정을 섞지 않고 분리해 표기했다.

오류 예시로 판단하기#

정답률이 떨어졌을 때는 숫자만 보지 말고 오류 유형을 함께 라벨링해야 원인을 좁힐 수 있다. 자주 나오는 유형은 다음과 같다. 숫자 오독: 연도나 금액을 엉뚱한 읽기로 발화하는 경우. 음절 생략: 문장 끝 어미가 잘리거나 조사 하나가 사라지는 경우. 톤 붕괴: 중간부터 억양이 무너지거나 다른 화자처럼 들리는 경우. 반복·삽입: 같은 단어를 두 번 발화하거나 없던 소리가 끼는 경우. 각 오류를 문장 단위로 카운트하면 정답률 하락이 특정 유형에 몰려 있는지, 전 구간에 퍼져 있는지가 보인다. 예를 들어 정답률이 떨어졌는데 오류가 대부분 숫자 오독이라면 전처리(정규화) 문제일 가능성이 크고, 톤 붕괴가 늘었다면 모델 가중치나 샘플링 파라미터 회귀를 먼저 의심한다.

측정 파이프라인#

고정된 텍스트 세트를 입력해 합성하고, 같은 세트를 ASR로 되돌려 정답률을 구하며, 참조 음성과 유사도를 비교하고, 각 단계의 지연을 로그로 남긴다. 세트와 하드웨어를 고정해야 날짜 간 비교가 성립한다.

해석 주의#

지연은 안정적이어도(119.2 ms와 120.8 ms의 차이는 약 1.6 ms로 추정) 음질이 나빠질 수 있으므로, 지연 지표만으로 품질을 결론짓지 않는다. 유사도와 정답률이 채워지기 전까지 이 벤치마크의 품질 판정은 제한적이며, 표의 미측정 항목이 다음 계측 우선순위다.

참고: 위 측정값은 2026-07-03~07-13 로컬 환경 기준이며, 모델 버전·하드웨어·문장 세트가 바뀌면 반드시 재측정해야 한다. 원자료는 Hax data에서 확인한다.

함께 읽기: linktest, probe

함께 읽기: 로컬 LLM·RAG 실무 가이드 — 앱에 붙이기 전 7가지 관문, 로컬 RAG 청킹 전략 — 문서 쪼개기가 검색 품질을 좌우한다

참고 링크#

• Hax 공개 실측 데이터셋