SceneMaker: 一张图生成高质量 3D 场景

📦 产品速览

SceneMaker 是由 IDEA 研究院与香港科技大学联合推出的开源 3D 场景生成框架。它解决了当前 3D 生成领域最大的痛点——"半开放"窘境。 以往的模型只能生成简单的室内样板间，而 SceneMaker 能够处理开放世界中的任意图像（室内、室外、合成图），并生成包含完整 Mesh（网格）的可编辑 3D 场景。

✨ 核心功能

1. 智能去遮挡 (Decoupled De-occlusion) 现实照片中物体常互相遮挡。SceneMaker 能"脑补"出物体被挡住的部分。

   • 它不是简单地修补像素，而是基于海量数据训练，能还原出完整的 3D 几何形状。
   • 支持文本指令控制：你可以告诉它被挡住的部分是什么颜色、什么材质。
   

2. 精准位姿估计 (Pose Estimation) 它能准确计算出每个物体在三维空间中的位置、旋转和大小。

   • 全局自注意力：确保物体之间不穿模、不悬空（比如杯子稳稳放在桌上）。
   • 局部交叉注意力：确保物体自身的姿态正确。

3. 开放世界泛化能力 不局限于客厅或卧室。街道、公园、桌面摆件、甚至动漫手办，它都能重建。

📝 Toolin 点评

对于游戏开发者、VR/AR 内容创作者以及具身智能研究者来说，SceneMaker 是一个极具价值的生产力工具。它将"2D转3D"的门槛再次降低，且质量达到了工业级可用的标准。

• 适用场景: 游戏场景快速建模、数字孪生、自动驾驶仿真环境构建。
• 技术门槛: 需要一定的 Python 和 PyTorch 基础进行部署。

🔗 链接

• 项目主页
• 开源代码
• 论文链接