IndexTTS-2

IndexTTS-2は、Bilibiliの音声チームが開発した産業グレードのゼロショット音声合成システムで、感情表現と正確な長さ制御において大きなブレークスルーを達成しています。正確な長さ制御に対応した初の自己回帰型TTSモデルとして、ミリ秒レベルで発話の長さを制御できるほか、自然な抑揚による生成モードにも対応しています。

主な特徴

• ゼロショット音声クローン: 数秒の音声サンプルだけで、任意の話者の声質をクローンできます
• 感情と声質の分離制御: 感情表現と話者の声質を独立して制御でき、8種類の感情モード（喜び、怒り、悲しみ、恐怖、嫌悪、憂鬱、驚き、穏やか）を搭載
• 正確な長さ制御: 生成トークン数を明示的に指定して発話の長さを精密に制御でき、映像と音声の同期が必要な動画吹き替えなどのシーンに最適
• 自然言語による感情指示: Qwen3モデルで実装されたソフト命令メカニズムにより、テキスト記述から感情表現を制御
• ピンイン発音制御: ピンインに基づく中国語の発音の精密な制御に対応
• 多言語対応: 55,000時間の多言語コーパスで学習し、中国語・英語・日本語に対応

活用シーン 動画制作や吹き替えでは、IndexTTS-2を使って映像と音声の正確な同期を実現できます。コンテンツ制作者は感情制御によって表現力豊かなオーディオブックやポッドキャストを生成でき、開発者は音声合成アプリケーションに組み込んで高品質な音声インタラクションシステムを構築できます。コミュニティでは「これで吹き替えられた映画やドラマを丸ごと観られるほどの音質」と評価されています。

技術的な強み IndexTTS-2は3段階の学習パラダイムによって生成の安定性を高め、GPT潜在表現を統合することで、高い感情表現下での音声の明瞭さを向上させています。実験では、単語誤り率、話者類似度、感情の忠実度など複数の指標で業界最高水準に達しています。FP16推論とDeepSpeedアクセラレーションに対応し、完全なオープンソース（Apache 2.0ライセンス）としてローカル展開して商用利用も可能です。