【要約】10秒音声で7言語ゼロショット生成比較（F5・XTTS・OpenVoice・ElevenLabs） [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が多言語対応のTTSを選択する際、モデル間の性能差を定量的に把握できない問題に直面している。特に、ゼロショット生成における「声の質」と「言語の正確性」の両立は極めて困難である。具体的には以下の課題が挙げられる。
- ・サービス横断的な比較データの不足。
- ・特定の言語における「幻聴（存在しない単語の生成）」や発音の破綻。
- ・OSSモデル導入時における、複雑なライブラリ依存関係の解消コスト。
// Approach
検証者が、4つの主要なTTSモデルに対し、同一の参照音声を用いた比較実験を実施した。10秒の音声から即座に声を模倣するゼロショット生成の精度を、自動化されたフローで測定している。
- ・10秒の参照音声（24kHz mono）を使用。
- ・faster-whisper large-v3による自動文字起こしを実施。
- ・bigram Jaccard、CER、WERを用いた定量的な一致率評価。
- ・検証コードおよび生成音源をGitHubにて公開。
// Result
検証の結果、用途に応じた最適なモデルの選定基準が明らかになった。ElevenLabsが総合的な品質で他を圧倒している。
- ・ElevenLabs: 総合1位。7言語中5言語で完全一致、ja/koも実質完璧。
- ・XTTS-v2: OSSとして最も汎用的。6言語で高い精度を維持。
- ・OpenVoice v2: 韓国語(ko)においてOSS内最高精度を記録。
- ・F5-TTS: 英語と中国語に特化。他言語では文として成立しない。
Senior Engineer Insight
> 実戦投入の観点では、ElevenLabsのAPI利用が最も低リスクかつ高効率である。OSS（XTTS/OpenVoice）は、環境構築の難易度と特定の言語における「幻聴」のリスクを考慮すべきだ。特にmacOS環境での依存関係の衝突など、運用コストは無視できない。言語要件が限定的な場合はF5-TTSも選択肢に入るが、多言語展開を前提とするならElevenLabsか、韓国語等の特定言語に強いOpenVoiceの使い分けが現実的である。