拡散モデルのエコシステムが繁栄する裏で、ずっと頭の痛い問題がありました。モデルエコシステムがあまりに「断片化」しているのです。ようやく新しいモデルを動かせるようになっても、制御機能を追加しようとするとコード構造がまるで互換性がなく、複数の制御条件を重ねようとするとプラグイン同士が低レイヤーで衝突してしまいます。Diffusion Templates は、この混乱を統一するために登場しました。

これは拡散モデル専用に設計されたプラグインフレームワークで、ControlNet、LoRA、IP-Adapter といったツールを積み木のように自由に組み合わせられ、しかも互いに衝突しません。

Diffusion Templates とは

Diffusion Templates は完成度の高い拡散モデル向けプラグインフレームワークです。各プラグインは Template（テンプレート）と呼ばれ、ベースモデルに特定の画面内容を生成させるよう導くことができます。フレームワークの中核設計は Template Cache -- モデル能力を媒介するフォーマット（KV-Cache など）で、Template はこれを通じて制御情報をベースモデルに伝えます。

現在、コードは DiffSynth-Studio プロジェクトの下で完全にオープンソース化されており、あわせて FLUX.2-klein-base-4B をベースに訓練された 11 個の Template モデルも公開されています。

プロジェクトURL：https://github.com/modelscope/DiffSynth-Studio

フレームワーク構成

フレームワークは 4 つのモジュールで構成されています：

• Template Input：モデルへの入力。フィールドは各 Template 自身が決定し、開発者に最大限の自由度を与えます
• Template Model：テンプレートモデル。ModelScope のモデルライブラリまたはローカルパスから読み込めます
• Template Cache：モデルの出力であり、ベースモデル Pipeline の入力パラメータのサブセットでもあります
• Template Pipeline：複数の Template モデルをスケジュールするモジュールで、読み込みと出力の統合を担当します

11 個のオープンソーステンプレート一覧

以下のテンプレートは FLUX.2-klein-base-4B で訓練されており、このモデルの LoRA およびファインチューニング版と互換性があります：

テンプレート重ね合わせの効果

Template の最大の強みは、積み木のように自由に重ねられることです。たとえば同じ猫の写真に対して：

• Template 1（画像編集）：画面のスタイルを二次元アニメ風に変更
• Template 2（部分インペイント）：周囲の環境は変えずに維持
• Template 3（明るさ調節）：明るさをやや上げる

もう一つの例として、ぼやけた猫の写真に超解像度とシャープネス強化の 2 つの Template を重ねると：

異なる目標で訓練された 2 つのモデルが協調してレンダリングし、画面品質を大幅に向上させます。

関連リソース

• プロジェクトページ：https://modelscope.github.io/diffusion-templates-web/
• ソースコード：https://github.com/modelscope/DiffSynth-Studio
• 技術レポート：https://arxiv.org/abs/2604.24351
• モデルコレクション（11 モデル）：https://modelscope.cn/collections/DiffSynth-Studio/KleinBase4B-Templates
• データセット（17 データセット）：https://modelscope.cn/collections/DiffSynth-Studio/ImagePulseV2

向いている人

• AI 画像クリエイター：プラグインの衝突に悩むことなく、制御条件を自由に組み合わせられます
• モデル開発者：フレームワークが制御可能な生成モデルの訓練ハードルを下げ、新しい Template を迅速に開発できます
• プロダクトチーム：標準化されたプラグイン機構により、モデル統合がシンプルかつ確実になります