MultiTalk

MultiTalk是一个由中山大学深圳校区、美团和香港科技大学联合开发的开源AI框架，专注于音频驱动的多人对话视频生成。该框架基于Wan2.1-I2V-14B扩散模型，通过输入多流音频、参考图像和文本提示，能够生成具有精准唇形同步的多人对话视频，并已被NeurIPS 2025会议接收。

主要功能

• 多人对话生成：支持单人和多人场景，可根据不同音频流精确绑定到对应角色，实现自然的多人交互视频
• 交互式角色控制：通过自然语言提示词直接控制虚拟角色的行为和场景设置
• 多场景支持：支持对话、唱歌、卡通角色动画等多种应用场景
• 高分辨率输出：提供480p和720p任意宽高比输出，支持生成长达15秒的视频
• 性能优化：集成TeaCache加速（2-3倍提速）、INT8量化和多GPU推理，在单张RTX 4090上即可生成480p视频

应用场景

在内容创作领域，创作者可使用MultiTalk从静态照片快速生成具有精准口型同步的对话视频，适用于视频配音、角色动画制作等场景。在影视和游戏预制作中，该工具可用于快速可视化对话场景和多角色交互原型。教育培训方面，可创建虚拟讲师进行多语言教学内容制作。

独特优势

MultiTalk提出的Label Rotary Position Embedding (L-RoPE)方法有效解决了多流音频与人物绑定的技术难题，这是该领域的重要突破。项目采用Apache 2.0开源协议，提供完整的代码、权重和文档，并支持ComfyUI集成，大幅降低了使用门槛。相比同类方法，MultiTalk在多个数据集（talking head、talking body、multi-person）上都展现出优越的性能表现。