toolin.ai logo
toolin.ai
首页
AI工具
AI技能包
AI资讯
精选推文
AI提示词
提交AI工具提交
toolin.ai logo
toolin.ai

百万AI玩家的创作利器库,发现最佳AI工具组合,提升您的创作效率

AI工具1,238个
技能包11个
产品功能
  • AI工具
  • AI技能包
  • AI资讯
  • 精选推文
关于我们
  • 关于Toolin
  • 联系我们
  • 合作洽谈
  • 更新日志
关注我们
© 2025 toolin.ai. All rights reserved.
服务条款隐私政策

JoyAI-Echo: 京东开源5分钟长视频生成框架

2026/06/05
·toolin小编

京东首次开源长音视频生成框架JoyAI-Echo,直击角色一致性、声音稳定性和生成速度三大难题,多项指标领先。

JoyAI-Echo: 京东开源5分钟长视频生成框架
JoyAI-Echo: 京东开源5分钟长视频生成框架
2026/06/05

JoyAI-Echo: 京东开源5分钟长视频生成框架

京东首次开源长音视频生成框架JoyAI-Echo,直击角色一致性、声音稳定性和生成速度三大难题,多项指标领先。

JoyAI-Echo 是什么核心技术突破1. 跨模态音视频记忆库:解决"变脸"问题2. 记忆驱动后训练:速度提升 7.5 倍3. Director Agent 导演智能体:对话式编辑4. 轻量化实时超分:720p 到高清评测数据应用场景获取方式
AI产品

AI长视频生成一直有个"不可能三角":长时长、高一致性、快速度,三者似乎无法兼得。同一个角色上一个镜头和下一个镜头长得不一样,说话人音色忽高忽低,渲染还要等半天。京东最新开源的 JoyAI-Echo 就是来逐一击破这些痛点的。

JoyAI-Echo 在 Hugging Face 的页面截图

JoyAI-Echo 是什么

JoyAI-Echo 是京东首次开源的长音视频生成框架,支持分钟级叙事视频生成,角色外貌、音色在多镜头间保持一致。代码和模型权重全部开放,开发者可以基于此进行二次开发和微调。

  • GitHub 地址:https://github.com/jd-opensource/JoyAI-Echo
  • Hugging Face:https://huggingface.co/jdopensource/JoyAI-Echo
  • 项目主页:https://echo-team-joy-future-academy-jd.github.io/Echo-LongVideo-Page/

核心技术突破

1. 跨模态音视频记忆库:解决"变脸"问题

传统模型在逐镜生成时缺乏对历史内容的记忆,每次都像"失忆"一样重新开始。JoyAI-Echo 内置了一个专门的记忆库,持续保存并精准调用角色的视觉特征和听觉特征。在5分钟的多镜头生成中,这个记忆库就像导演手中的"角色档案",每次调用都保证输出一致性。

跨模态音视频记忆库机制

2. 记忆驱动后训练:速度提升 7.5 倍

JoyAI-Echo 设计了三段式后训练流水线:SFT -> 跨模态 RLHF -> 分布匹配蒸馏(DMD)。DMD 技术将多步扩散师生蒸馏压缩为 8 步快速推理,带来约 7.5 倍的推理速度提升,让长视频从"等半天"变成"秒出片"。

3. Director Agent 导演智能体:对话式编辑

你可以用自然语言告诉它你的需求,比如"把第三场戏的咖啡馆背景换成图书馆"。它会自动拆解需求、生成视频、检查结果。不满意的地方只重新生成局部镜头,整条视频不用重来。

4. 轻量化实时超分:720p 到高清

配套的实时超分模块在几乎不增加延迟的情况下,将原生 720p 视频提升至最高 1472x2560 分辨率。

评测数据

在 100 个独立故事剧本、总计 3000 个分镜的严苛评测中:

指标表现
语音准确率0.8646(行业领先)
音频质量偏好81.7%
提示词遵循偏好80.6%
IP角色一致性偏好59.4%

应用场景

  • 虚拟动漫与故事创作:用自然语言指挥AI生成连贯的动漫剧集
  • 数字人直播与短剧:长时间保持音色、口型、表情一致
  • 品牌营销内容:修改台词或局部镜头即可生成多版本视频
  • 影视分镜预演:快速生成预览视频,验证镜头语言
  • 教育课件与游戏动画:动态生成连贯剧情动画

获取方式

代码和模型权重全部开源,前往 GitHub 仓库 jd-opensource/JoyAI-Echo 即可获取。

所有文章

作者

avatar for toolin小编
toolin小编

分类

  • AI产品
JoyAI-Echo 是什么核心技术突破1. 跨模态音视频记忆库:解决"变脸"问题2. 记忆驱动后训练:速度提升 7.5 倍3. Director Agent 导演智能体:对话式编辑4. 轻量化实时超分:720p 到高清评测数据应用场景获取方式

相关文章

Higress:AI辅助的K8s网关迁移工具
AI产品

Higress:AI辅助的K8s网关迁移工具

CNCF展示的AI辅助迁移方案,30分钟内将60个ingress-nginx资源自动转换为Higress配置,大幅降低K8s网关迁移成本。

avatar for toolin小编
toolin小编
2天前
Cloudflare集成Claude托管代理:开发者实战指南
AI产品

Cloudflare集成Claude托管代理:开发者实战指南

Cloudflare新增对Claude Managed Agents的支持,开发者可以在Cloudflare平台上运行Claude代理,连接私有系统,实现安全的AI代理部署。

avatar for toolin小编
toolin小编
23小时前
用AI员工找海外达人:AhaCreator实操指南
AI教程

用AI员工找海外达人:AhaCreator实操指南

手把手教你用AhaCreator完成从达人筛选、内容审核到跨境打款的完整海外达人营销流程,适合独立开发者和出海团队。

avatar for toolin小编
toolin小编
23小时前