AIが数秒の動画を生成するのはもう珍しくありません。しかし、同じキャラクターを数分間ずっと一貫させ続けること——顔が変わらない、服がぶれない、声色が揺れない——これこそAI動画生成が本気で取り組むべき難題です。

今日、2つのオープンソースフレームワークがそれぞれの解法を同時に示しました。哈爾浜工業大学がAlibabaと共同発表したVideoClaw、そしてJDが発表したJoyAI-Echoです。どちらも長尺動画の一貫性を狙っていますが、技術の路線は全く異なります。

問題：なぜ長尺動画はこんなに難しいのか

長尺動画生成は本質的に「時間を引き伸ばす」問題ではなく、ショットをまたぎ、シーンをまたぎ、動作をまたぐ連続したナラティブの問題です。

• キャラクタードリフト：ショット切り替えを重ねるうちに顔が変わり、服が変わる
• 声色ドリフト：断片ごとに話者の声色が前後で一致しない
• ナラティブの断裂：シーンをつなぐ論理が混乱する
• エラーの蓄積：長い時系列の生成でモデルのズレがどんどん大きくなる

VideoClaw：マルチエージェント協調の「デジタル撮影チーム」

VideoClawは哈爾浜工業大学の張民教授チームとAlibabaの協力によるもので、核心の考え方は長尺動画生成をマルチエージェント協調のパイプラインに分解することです。

• GitHub: https://github.com/HITsz-TMG/VideoClaw
• Star数: 1.3K+
• 関連プロジェクト: ComfyUI-Copilot (5.2K Star), Pixelle-Video (20.8K Star)

コアアーキテクチャ

ユーザーはひらめきの一文かストーリーのあらすじを入力するだけで、システムが大規模モデルで駆動される「デジタル撮影チーム」を指揮し、順番に次をこなします。

1. 脚本の拡張
2. キャラクターとシーンの設定
3. 絵コンテの計画
4. キーフレームの構図
5. 動画の分割生成
6. 音声合成とポストプロダクションでのつなぎ合わせ

ブラックボックス式の動画生成とは異なり、VideoClawは脚本、キャラクターとシーン、絵コンテなどの段階が完了すると一時停止して中間成果物を見せ、クリエイターが重要なチェックポイントで修正に介入できるようにします。

場記ライブラリ：長期一貫性を実現する鍵

VideoClawは「場記」のような状態ライブラリを導入し、キャラクター関係、空間位置、シーンの絵コンテ、バージョン情報を構造化された資産として蓄積します。後続の生成では、状態ライブラリから参照制約を引き出します。

これはVideoClawがストーリーの無限の書き足しを支えることを意味します。動画は断片から断片へと延び、ストーリー上の対立が自然にエスカレートし、人物同士のやり取りは既存の情節に基づいて進んでいきます。

VLMによるクローズドループ品質チェック

VideoClawは視覚言語モデル（VLM）を生成フローに組み込み、画像、キーフレーム、動画断片の生成後にレビューを起動します。画面の内容が脚本の設定に合致しているかを照合し、人物、シーン、ナラティブの論理にズレが生じていないかを検査します。候補バージョンが品質しきい値に達しない場合、診断レポートを出力し、遡りと再生成をトリガーします。

インストール方法

VideoClawはLinux / Mac / Windowsのマルチプラットフォームに対応したクイックインストールを提供し、WebUIインターフェースを備えるほか、WeChatやFeishuなどのコミュニケーションツールに統合して呼び出すこともできます。

JoyAI-Echo：クロスモーダル記憶で駆動する長尺動画生成

JoyAI-EchoはJDからの発表で、核心の考え方はモデルに「記憶ライブラリ」を持たせ、長尺動画を生成するときにキャラクターの顔や声を忘れないようにすることです。

コア技術

クロスモーダルな音声・動画記憶ライブラリ

システムが記録するのは人物の顔立ちだけでなく、話者の声色も同時に記録して両者を紐付けます。キャラクターが初登場したときに視覚特徴と声の特徴を抽出して記憶ライブラリに書き込み、以降はショットを生成するたびに記憶ライブラリから参照を引き出します。

記憶ライブラリは無制限に広がるわけではなく、物語の冒頭の重要ショットと直近に生成したショットを保持して、効率と一貫性を両立させます。

記憶駆動のポストトレーニング：推論速度7.5倍向上

ポストトレーニングのフローは3ステップに分かれます。

1. SFT（教師ありファインチューニング）：高品質な音声・動画生成能力を学習
2. RLHF（人間フィードバックによる強化学習）：人物の一貫性、画面品質、音声と映像の同期を最適化
3. DMD（Distribution Matching Distillation）：大規模モデルの能力を効率的な推論モデルへ圧縮

DMDの最適化だけで約7.5倍の推論速度向上をもたらします。

軽量なリアルタイム超解像度

生成効率を保証しながら高精細な画面を出力し、デジタルヒューマンやブランドマーケティングなど画質が求められるシーンに適しています。

評価データ

• 音声正解率：0.8646
• ユーザー選好：59.4% ~ 81.7%
• ショット間一貫性：業界を全面的にリード

両者の比較

実際の応用例

VideoClawの事例

• 映像の二次創作：『おばあちゃんへのラブレター』の結末を書き換える——木生が故郷に帰り、淑柔と生涯を共にする
• リアル系短編ドラマ：プログラマーがリストラされた後に起業して立ち上がる物語を6話の短編ドラマに。追加の書き足しにも対応
• SFアニメドラマ：劉慈欣『郷村教師』をベースに5話のアニメドラマを生成

どう選ぶか

• 完全な動画制作フローの制御が必要（脚本、絵コンテ、キャラクター設定すべてに人が介入可能）：VideoClawを選ぶ
• 高一貫性の音声・動画コンテンツが必要（キャラクターの顔が変わらない、声が破綻しない）：JoyAI-Echoを選ぶ
• 両方試してみる：どちらもオープンソースなので、自分のシーンで比較テストできる