MultiTalk

MultiTalkは、中山大学深圳キャンパス、Meituan、香港科技大学が共同開発したオープンソースのAIフレームワークで、音声駆動による複数人の会話動画生成に特化しています。Wan2.1-I2V-14b拡散モデルを基盤とし、マルチストリームの音声、参照画像、テキストプロンプトから、精密なリップシンクを備えた複数人の会話動画を生成します。NeurIPS 2025に採択されました。

主な機能

• 複数人の会話生成: 1人シーンと複数人シーンの両方に対応し、異なる音声ストリームを対応するキャラクターに精密に結び付けて、自然な複数人のインタラクティブ動画を実現します
• インタラクティブなキャラクター制御: 自然言語のプロンプトで、バーチャルキャラクターの振る舞いやシーン設定を直接制御できます
• マルチシーン対応: 会話、歌唱、カートゥーンキャラクターのアニメーションなど多様な応用シーンをカバーします
• 高解像度出力: 任意のアスペクト比で480pと720pの出力に対応し、動画は最長15秒まで作れます
• パフォーマンス最適化: TeaCache加速（2〜3倍の高速化）、INT8量子化、マルチGPU推論を統合し、RTX 4090 1枚で480p動画を生成できます

活用シーン

コンテンツ制作では、MultiTalkを使って静止画からリップシンクの精密な対話動画を素早く生成でき、動画のアフレコやキャラクターアニメーションの制作に向いています。映画やゲームのプリプロダクションでは、対話シーンや複数キャラクターのインタラクションのプロトタイプを素早くビジュアル化できます。教育・研修では、多言語の教学コンテンツ向けにバーチャルな講師を作れます。

独自の強み

MultiTalkが提案するLabel Rotary Position Embedding（L-RoPE）手法は、マルチストリームの音声を人物に結び付ける技術的課題を効果的に解決した、この分野での重要なブレークスルーです。プロジェクトはApache 2.0のオープンソースライセンスを採用し、完全なコード、重み、ドキュメントを提供するほか、ComfyUI統合にも対応しており、利用のハードルを大きく下げています。類似手法と比べ、MultiTalkは複数のデータセット（talking head、talking body、複数人）で優れた性能を示しています。