음성 클로닝 오픈모델, 2026 현황과 추천

음성 클로닝에서 2026년 가장 큰 변화는 품질 경쟁이 사실상 끝났다는 것이다. 오픈웨이트 모델(F5-TTS·XTTS v2·Fish Speech)이 원음 충실도에서 ElevenLabs·OpenAI TTS를 거의 따라잡았고, 자가호스팅은 단가를 50~200배 낮춘다. 그래서 이제 진짜 관문은 "얼마나 닮게 만드나"가 아니라 안전·동의·워터마크를 누가 책임지나다 — 그리고 오픈모델엔 이게 기본 탑재가 안 돼 있어, 배포자가 직접 쌓아야 한다. 요약: 충실도는 참조 길이가 결정하고, 배포 가능 여부는 네가 붙이는 안전장치가 결정한다.

한눈에 보는 순위 (측정 근거):
1. F5-TTS → 3초 제로샷, 최상급 충실도
2. XTTS v2 → 6초 · 17개 언어 · 검증됨
3. OpenVoice v2 → 10~30초 · 스타일전이 · 한국어 지원
4. Chatterbox 0.5B → 5~10초 · 감정 과장 · 영어
5. Fish Speech V1.5 → 다국어 · ELO 1339 · WER 3.5%

쉽게 말하면: 오픈 클로닝 모델은 엔진만 파는 것과 같다. 성능(품질)은 이미 명차급이지만 안전벨트·번호판·보험(동의·워터마크·감사로그)이 안 달려 나온다. 그걸 안 붙이고 도로에 나가면(상업 배포) 사고는 운전자(배포자) 책임이다.

몇 초 참조로 얼마나 닮게 복제되나?

충실도는 참조 오디오 길이에 정비례한다 — 이게 클로닝의 첫 번째 상식이다. 커뮤니티 관측을 티어로 정리하면, 즉석 클론(instant)은 10~30초 참조로 70~80% 충실도를 낸다(OpenVoice·ElevenLabs Instant 급). 반면 프로 클론(professional)은 30분 이상의 깨끗한 스튜디오 녹음으로 파인튜닝해야 95%+ 충실도에 도달한다(F5-TTS 파인튜닝 급). 제로샷 최소 참조는 모델마다 다른데, F5-TTS는 3초, XTTS v2는 6초면 "같은 목소리"가 그럴듯하게 나온다. 핵심은 3초 데모가 곧 제품 품질은 아니라는 것 — 잡음·리버브·감정 없는 밋밋한 참조를 넣으면 즉석 클론은 금세 로봇처럼 무너진다.

상업이냐 개인이냐 — 뭘 골라야 하나?

라이선스가 사실상 첫 번째 필터다 — 품질이 아니라. 가장 잘 들리는 축(F5-TTS·XTTS v2·Fish Speech)이 모두 비상업 라이선스라, 돈 받는 제품에는 못 쓴다. F5-TTS 가중치는 CC-BY-NC, XTTS v2는 CPML(별도 협의 필요), Fish Speech V1.5는 CC-BY-NC-SA다. 상업 클로닝을 제약 없이 하려면 Chatterbox(Apache/MIT)가 사실상 유일한 강자다 — Resemble 자체 블라인드에서 ElevenLabs 대비 63.75% 선호를 보고했고(자체 벤치임에 유의), 출력에 PerTh 워터마크가 들어간다. 다국어 스타일 전이가 필요하면 OpenVoice v2(한국어 포함)가 가볍고 유연하다. 정리: ==상업=Chatterbox/OpenVoice, 개인·연구=F5-TTS/XTTS v2==.

'오픈모델은 안전장치가 없다'는 게 무슨 뜻인가?

대부분의 오픈 클로닝 모델은 동의·워터마크·탐지 기능을 기본 탑재하지 않는다는 뜻이다. 즉 목소리를 복제하는 능력만 주고, 오용을 막는 장치는 배포자 몫으로 남긴다. 업계에서 반복되는 기준선 정책은 enrollment(등록)에서 동의, generation(생성)에서 워터마크, complaint(신고) 시 탐지다. 실무 체크리스트는 이렇다: (1) 참조 오디오에 묶인 문서화된 시간표시 동의, (2) 생성물에만 워터마크(사용자 원본 녹음엔 찍지 않음), (3) speaker_id·텍스트·출력 오디오 해시를 남기는 감사 로그, (4) 공인 사칭·음성 인증 거래를 막는 레이트리밋·2차 확인(SMS OTP). 법도 조여온다 — 미국 FCC 2024는 AI 복제 음성 로보콜을 불법(TCPA)으로 규정했고, EU AI Act는 합성 음성에 고지 의무를, GDPR는 음성을 생체정보로 보아 명시적 동의를 요구한다. 워터마크 도구로는 AudioSeal·Audio-WM, 출처 표준으로 C2PA가 사실상 베이스라인이다.

그래서 2026년 음성 클로닝 추천은?

핵심은 모델은 품질로 고르지 말고, 라이선스와 안전으로 고르라는 것이다.

• 상업·제약 없음: Chatterbox(Apache/MIT·워터마크 내장·영어 강함). 다국어 스타일 전이는 OpenVoice v2(한국어 지원).
• 개인·연구·최상 충실도: F5-TTS(3초 참조) 또는 XTTS v2(6초·17개 언어). 단 비상업 라이선스.
• 무엇을 쓰든 안전은 직접 조립: 등록 동의 → 생성 워터마크 → 신고 탐지 + 감사 로그. 벤치 %는 자체가 많으니 자국어·자기 목소리로 직접 A/B.

함께 읽기: 오픈 음성 클로닝 파이프라인 — 우리는 이렇게 운영한다, 오픈 음성 클로닝, 우리는 이렇게 운영한다 — 파이프라인 회고

함께 읽기: Ollama·LM Studio·llama.cpp 실행기, 2026 현황과 추천, 음성 클로닝 오픈모델 VRAM·RAM 요구량 실측

참고 링크

• F5-TTS(3초 제로샷 클로닝·연구용)
• Coqui XTTS(다국어 제로샷·검증판)
• OpenVoice(MyShell·스타일 전이)
• Chatterbox(Resemble AI·MIT·워터마크)
• AudioSeal(Meta·오디오 워터마킹)

참고: 충실도 티어(70~80% / 95%+), 참조 길이(3~30초), 선호율(63.75%), ELO(1339)·WER(3.5%) 같은 수치는 2026년 공개·제작사 벤치이며 하드웨어·텍스트·언어·참조 품질에 따라 달라진다(영구 수치 아님, 자체 벤치 다수). 라이선스는 변형별로 다르고(예: Fish Speech·F5-TTS 가중치), 법은 관할권마다 다르니 상업 전 모델 카드와 현지 규정을 확인하라. 동의 없는 클로닝은 다수 관할권에서 최소 민사, 일부는 형사 대상이다. 클로닝 모델·법·워터마크 표준은 빠르게 바뀌니 분기별로 다시 본다.