음성 클로닝 오픈모델은 무엇으로 고르나 — 직접 측정 비교

한눈에 보는 순위 (측정 근거):
1. Chatterbox → 약 10초
2. CosyVoice 3 → 수초
3. XTTS v2 → 약 6초
4. F5-TTS → 약 3초
5. OpenVoice → 수초

음성 클로닝 오픈모델은 이제 3~10초 참조 음성만으로 목소리를 복제하므로, 선택은 속도·품질뿐 아니라 워터마크와 라이선스가 가른다. 상업·실시간·안전이면 Chatterbox(MIT, PerTh 워터마크 기본 내장, 약 10초)가, 다국어·교차언어면 CosyVoice 3가, 기술적 기준점은 XTTS v2(6초·17개 언어)지만 비상업 라이선스다. 우리가 운영하는 오픈 TTS 스택(Fish Speech·MOSS-TTS·Higgs Audio·Qwen3-TTS)도 같은 잣대 — 유사도·자연스러움·지연·워터마크·라이선스 — 로 고른다.

한 줄 요약: 음성 클로닝은 짧은 샘플로 성대를 본뜨는 것이다. 몇 초만 들어도 그 사람 목소리로 새 문장을 말한다 — 그래서 강력하고, 그래서 위험하다.

클로닝은 무엇으로 품질이 갈리나?#

세 가지다 — 참조 길이, 화자 유사도, 자연스러움. 현대 제로샷 모델은 VALL-E 계열이 연 길을 따라 약 3초 참조로도 그 사람 목소리·억양을 살린다. XTTS v2는 6초로 17개 언어를, Chatterbox 다국어판은 23개 언어 교차언어 복제를(한 번 녹음해 다른 언어로도) 지원한다. CosyVoice 3는 지도형 의미 토큰으로 내용 일치·화자 유사도·운율에서 최고 수준을 낸다. 품질 핵심은 '얼마나 닮았나(화자 유사도)'와 '얼마나 사람 같나'다.

참조가 길수록 유사도가 오르지만 무한정은 아니다 — 아래처럼 대개 10초 근처에서 이득이 완만해진다(포화).

워터마크와 동의는 왜 핵심인가?#

오용을 막는 마지막 방어선이기 때문이다. 자체호스팅 오픈 도구는 대개 워터마크·동의 검증·감사 로그가 없어 "누구에게도 추적되지 않는다". 예외가 Chatterbox로, 모든 출력에 PerTh 워터마크를 기본 삽입한다 — 사람 귀엔 안 들리고 MP3·Opus·전화 코덱·편집을 견디게 설계됐다(단 "Chatterbox가 만들었다"는 이진 신호일 뿐 버전·테넌트 귀속은 아니다). 상업 도구는 동의 클립으로 화자 동의를 검증하지만, 한 2025년 조사에선 6개 중 4개가 체크박스 자기신고뿐이었다.

라이선스·워터마크 두 축으로 모델을 놓으면, 상업 배포에 안전한 칸은 생각보다 좁다.

규제는 어떻게 바뀌나?#

2026년에 의무가 된다. EU AI Act 50조는 2026년 8월부터 AI 생성 오디오를 기계가 읽을 수 있게 표시하도록 요구하고, 미국 TAKE IT DOWN Act도 합성 미디어 추적 의무를 만든다. 위협은 실제다 — 2025년 AI 생성 음성이 미국 고위 인사를 사칭해 관료들에게 접촉한 사건이 있었다. 그래서 워터마크 기본 내장이 점점 '있으면 좋은 것'에서 '필수'로 옮겨간다.

직접 측정하려면? (그리고 책임 있게)#

내 목소리로, 동의 하에 재라. 고르기 전, 아래 한 갈래 질문만 따라가도 후보가 좁혀진다.

• 내 동의된 음성 10~30초로 모델별 화자 유사도(닮음)와 자연스러움을 블라인드로 비교한다.
• 교차언어가 필요하면 한 언어로 녹음해 다른 언어 출력의 억양 유지를 본다.
• 동의 없는 타인 목소리 복제는 하지 말 것. 출력엔 워터마크를 남기고, 상업 배포 전 라이선스·지역 규제를 확인하라.

참고 링크

• CosyVoice(레포)
• Chatterbox(레포)
• F5-TTS(레포)
• OpenVoice(레포)
• Coqui TTS / XTTS v2(레포)

참고: 모델·참조초·언어 수치는 2025~2026년 각 프로젝트 공개 자료 기준이며 버전에 따라 달라진다. 정확한 품질은 본문 방법으로 동의된 내 음성에 직접 측정하라. 음성 클로닝은 사기·사칭 위험이 크니 동의·워터마크·지역 규제를 반드시 지켜라. 분기별 갱신.