扩散模型生态繁荣的背后，一个头疼的问题一直存在：模型生态太"碎"了。好不容易跑通一个新模型，想加个控制功能，代码结构完全不兼容；想叠加多个控制条件，插件之间在底层打架。Diffusion Templates 就是来统一这个乱局的。

它是一个专为扩散模型设计的插件框架，让 ControlNet、LoRA、IP-Adapter 这些工具能像搭积木一样自由组合，而且互不冲突。

Diffusion Templates 是什么

Diffusion Templates 是一套完善的扩散模型插件框架。每一个插件被称为 Template（模板），它可以引导基础模型生成特定的画面内容。框架的核心设计是 Template Cache -- 模型能力的媒介格式（如 KV-Cache），Template 通过它将控制信息传递给基础模型。

目前代码已在 DiffSynth-Studio 项目下完全开源，同时开源了 11 个基于 FLUX.2-klein-base-4B 训练的 Template 模型。

项目地址：https://github.com/modelscope/DiffSynth-Studio

框架结构

框架包含四个模块：

• Template Input：模型的输入，字段由每个 Template 自身决定，给开发者最大自由度
• Template Model：模板模型，可从魔搭模型库或本地路径加载
• Template Cache：模型输出，也是基础模型 Pipeline 的输入参数子集
• Template Pipeline：调度多个 Template 模型的模块，负责加载和整合输出

11 个开源模板一览

以下模板基于 FLUX.2-klein-base-4B 训练，与该模型的 LoRA 和微调版本兼容：

模板叠加效果展示

Template 最大的优势是可以像搭积木一样自由叠加。比如对同一张猫的照片：

• Template 1（图像编辑）：把画面风格改为二次元动漫
• Template 2（局部重绘）：保持周围环境不变
• Template 3（亮度调节）：适当调高亮度

再比如一张模糊的猫，叠加超分辨率和锐利激发两个 Template：

两个以不同目标训练的模型协同渲染，显著提升画面质量。

相关资源

• 项目主页：https://modelscope.github.io/diffusion-templates-web/
• 开源代码：https://github.com/modelscope/DiffSynth-Studio
• 技术报告：https://arxiv.org/abs/2604.24351
• 模型集（11 个模型）：https://modelscope.cn/collections/DiffSynth-Studio/KleinBase4B-Templates
• 数据集（17 个数据集）：https://modelscope.cn/collections/DiffSynth-Studio/ImagePulseV2

适用人群

• AI 图像创作者：不用再为插件冲突发愁，自由组合控制条件
• 模型开发者：框架降低了可控生成模型的训练门槛，可以快速开发新的 Template
• 产品团队：标准化的插件机制让模型集成变得简单可靠