InfiniteTalk

InfiniteTalkは、Meituanのビジュアルインテリジェンス部門（MeiGen-AI）が開発したオープンソースのAI動画生成ツールで、音声駆動のデジタルヒューマントーク動画制作に特化しています。革新的なスパースフレーム動画ダビング技術を採用し、入力した音声と画像または動画から、正確なリップシンクを持つ無制限の長さの動画コンテンツを生成します。

主な特徴

• 全身モーション同期: 口の形だけでなく、頭の動き・体の姿勢・表情を音声に合わせて連動させます
• 無制限の長さの生成: 任意の長さの動画に対応し、一貫した人物の同一性と動きの連続性を維持します
• デュアルモード対応: 画像から動画（I2V）と動画から動画（V2V）の両方の生成モードを提供します
• 高品質出力: 480Pと720Pの解像度出力に対応し、TeaCacheアクセラレーションとint8量子化のオプションを用意しています
• 多言語音声: 中国語音声処理に対応します（chinese-wav2vec2-baseエンコーダーを使用）

活用シーン

動画コンテンツ制作では、InfiniteTalkを使って静止したポートレート写真を生き生きとしたトーク動画に変換でき、教育向け動画制作、ショートコンテンツの生成、多言語動画の吹き替え、社内研修教材などに適しています。類似ツールと比較して、InfiniteTalkはリップシンクの精度と手や体の崩れの抑制で優れたパフォーマンスを発揮します。

独自の強み

サードパーティの評価によると、InfiniteTalkはHDTF、CelebV-HQ、EMTDの各データセットでのテストにおいて業界最高水準のパフォーマンスを示しています。ユーザーのフィードバックでは、長い音声ファイルでもクラッシュせず処理でき、機械的にならない自然で滑らかなキャラクターの動きを生成できると評価されています。プロジェクトはGitHubで1.6Kスター、Hugging Faceで月間64.8Kダウンロードを獲得しており、コミュニティからの高い評価を示しています。