生数科技 Vidu S1 实现实时语音驱动的视频生成，540P/25FPS，消费级显卡可跑，一张图秒变可对话数字人。
生数科技 Vidu S1 实现实时语音驱动的视频生成，540P/25FPS，消费级显卡可跑，一张图秒变可对话数字人。
视频生成模型的竞争正在从"谁生成得更好看"转向"谁能实时互动"。过去你输入一段提示词，等几十秒拿到一段固定长度的成片；而现在生数科技发布的 Vidu S1 把视频生成推进到了"视频通话"模式——你说一句，它边听边生成对应的画面，可以随时打断、改指令，甚至连续聊几小时不掉线。如果你在做数字人、虚拟陪伴、互动直播或 AI Character，Vidu S1 值得上手试玩。
Vidu S1 是生数科技（由清华朱军教授团队创立）在 2026 全球数字经济大会上发布的实时交互式视频生成模型。你可以把它理解成"AI 版的视频通话"——但它对面坐着的不是真人，而是一个由模型逐帧生成的角色。
和传统数字人方案（先建模、再训练、最后驱动口型）不同，Vidu S1 走的是纯生成式路线：上传一张首帧图，模型立刻理解角色身份、外观和风格，然后在交互过程中实时生成表情、口型、手势和肢体动作，不需要离线建模和角色训练环节。
大多数数字人产品还停留在"音频驱动口型"阶段——动作数量有限、组合痕迹明显。Vidu S1 采用实时视频生成架构，不仅能听清语音内容，还能听懂语义和情绪，实时生成匹配的表情、手势和完整肢体动作。
你让它"比赞""摸鼻子""眨眼睛"，它都能在画面里实时做出对应动作。语音在这里延伸成了角色行为的控制信号。
从"语音驱动口型"迈向"语音驱动行为"，让角色听得懂、动得准、反馈更自然。
Vidu S1 首次实现了无限时长的实时视频生成——即使连续生成数小时，画面仍能保持稳定，不会快速漂移或崩坏。模型在长时间运行中同时保持角色身份稳定、动作自然连贯，并能持续接收用户指令、实时作出响应。
在实时交互场景下，分辨率和帧率直接决定体验是否流畅。Vidu S1 给出的参数：
这套能力在消费级显卡上就能跑起来。背后依赖生数科技自研的 TurboDiffusion 推理加速框架（少步生成、SageAttention 低比特注意力、SLA/SpargeAttention 稀疏注意力）和 TurboServe 推理部署引擎（动态资源调度）。
540P + 25FPS（最高 42FPS）让实时视频生成具备了进入视频通话、直播、实时陪伴、互动游戏乃至 XR 场景的基础门槛。
用户上传图片即可创建角色——真人、动漫、萌宠、游戏角色、品牌 IP 都可以作为初始角色。声音层面既可选择系统音色，也可录制自己的声音进行定制。
官方实测中，上传一张《蒙娜丽莎》图片，进入通话后蒙娜丽莎能根据语音输入开口说话，并生成口型、表情和动作反馈，抬手、生气时的表情和语气都比较自然。
Vidu S1 完全公开试玩，有三种体验方式：
进入体验页面后，可以直接选择预置角色开启通话，或上传图片创建自己的角色。选定角色后通过麦克风发出语音指令，角色会在画面中实时回应。
💡 提示：上传图片并完成基础设置后，新角色几乎可以立即进入对话状态，无需等待训练。
Vidu S1 基于**自回归扩散模型（AR + Diffusion）**路线。模型并非一次性产出完整片段，而是基于已生成的历史画面，结合用户当前的语音、指令等上下文，实时预测并生成下一帧内容。这种逐帧生成方式天然具备可被实时打断和改写的特性。
技术报告地址：jt-zhang.github.io/files/Vidu_S1.pdf
官方在体验中坦言，模型对物理世界的理解还在优化阶段。长时间生成中角色身份和风格可能缓慢漂移，复杂动作的物理一致性（如手部与物体接触的真实感）仍有提升空间。这些都是整个实时交互视频赛道需要共同迈过的坎。
清华/上交/北邮联合开源 MemSlides，记忆驱动的 PPT 生成 Agent，支持个性化风格与多轮局部修改，登顶 HuggingFace 榜单。
快手联合浙大开源 MobileForge，通过 MobileGym + HiFPO 让手机 GUI Agent 在真实 App 中自探索、自反馈、自优化，附完整代码与模型。
中科院软件所开源 Mandol，用 SemanticMap + SemanticGraph 统一 KV/向量/图存储，检索阶段零 LLM 调用、5.4 倍检索提速，LoCoMo/LongMemEval 双榜最优。
