生数科技 Vidu S1 实现实时语音驱动的视频生成，540P/25FPS，消费级显卡可跑，一张图秒变可对话数字人。
生数科技 Vidu S1 实现实时语音驱动的视频生成，540P/25FPS，消费级显卡可跑，一张图秒变可对话数字人。
国产 AI 音乐平台 Mureka V8/V9 在人声和器乐双项评测全球第一，8000+ 企业客户正在从 Suno 迁移过来。
视频生成模型的竞争正在从"谁生成得更好看"转向"谁能实时互动"。过去你输入一段提示词，等几十秒拿到一段固定长度的成片；而现在生数科技发布的 Vidu S1 把视频生成推进到了"视频通话"模式——你说一句，它边听边生成对应的画面，可以随时打断、改指令，甚至连续聊几小时不掉线。如果你在做数字人、虚拟陪伴、互动直播或 AI Character，Vidu S1 值得上手试玩。
Vidu S1 是生数科技（由清华朱军教授团队创立）在 2026 全球数字经济大会上发布的实时交互式视频生成模型。你可以把它理解成"AI 版的视频通话"——但它对面坐着的不是真人，而是一个由模型逐帧生成的角色。
和传统数字人方案（先建模、再训练、最后驱动口型）不同，Vidu S1 走的是纯生成式路线：上传一张首帧图，模型立刻理解角色身份、外观和风格，然后在交互过程中实时生成表情、口型、手势和肢体动作，不需要离线建模和角色训练环节。
大多数数字人产品还停留在"音频驱动口型"阶段——动作数量有限、组合痕迹明显。Vidu S1 采用实时视频生成架构，不仅能听清语音内容，还能听懂语义和情绪，实时生成匹配的表情、手势和完整肢体动作。
你让它"比赞""摸鼻子""眨眼睛"，它都能在画面里实时做出对应动作。语音在这里延伸成了角色行为的控制信号。
从"语音驱动口型"迈向"语音驱动行为"，让角色听得懂、动得准、反馈更自然。
Vidu S1 首次实现了无限时长的实时视频生成——即使连续生成数小时，画面仍能保持稳定，不会快速漂移或崩坏。模型在长时间运行中同时保持角色身份稳定、动作自然连贯，并能持续接收用户指令、实时作出响应。
在实时交互场景下，分辨率和帧率直接决定体验是否流畅。Vidu S1 给出的参数：
这套能力在消费级显卡上就能跑起来。背后依赖生数科技自研的 TurboDiffusion 推理加速框架（少步生成、SageAttention 低比特注意力、SLA/SpargeAttention 稀疏注意力）和 TurboServe 推理部署引擎（动态资源调度）。
540P + 25FPS（最高 42FPS）让实时视频生成具备了进入视频通话、直播、实时陪伴、互动游戏乃至 XR 场景的基础门槛。
用户上传图片即可创建角色——真人、动漫、萌宠、游戏角色、品牌 IP 都可以作为初始角色。声音层面既可选择系统音色，也可录制自己的声音进行定制。
官方实测中，上传一张《蒙娜丽莎》图片，进入通话后蒙娜丽莎能根据语音输入开口说话，并生成口型、表情和动作反馈，抬手、生气时的表情和语气都比较自然。
Vidu S1 完全公开试玩，有三种体验方式：
进入体验页面后，可以直接选择预置角色开启通话，或上传图片创建自己的角色。选定角色后通过麦克风发出语音指令，角色会在画面中实时回应。
💡 提示：上传图片并完成基础设置后，新角色几乎可以立即进入对话状态，无需等待训练。
Vidu S1 基于**自回归扩散模型（AR + Diffusion）**路线。模型并非一次性产出完整片段，而是基于已生成的历史画面，结合用户当前的语音、指令等上下文，实时预测并生成下一帧内容。这种逐帧生成方式天然具备可被实时打断和改写的特性。
技术报告地址：jt-zhang.github.io/files/Vidu_S1.pdf
官方在体验中坦言，模型对物理世界的理解还在优化阶段。长时间生成中角色身份和风格可能缓慢漂移，复杂动作的物理一致性（如手部与物体接触的真实感）仍有提升空间。这些都是整个实时交互视频赛道需要共同迈过的坎。
