港大 XLANG Lab × 阿里 Qwen 团队开源 FineVLA 框架，把机器人策略学习中的语言监督从‘做什么’细化到‘怎么做’，在 RoboTwin 仿真拿到 86.8% 成功率（+15），真实双臂 62.7/100，代码模型基准全部开源。
港大 XLANG Lab × 阿里 Qwen 团队开源 FineVLA 框架，把机器人策略学习中的语言监督从‘做什么’细化到‘怎么做’，在 RoboTwin 仿真拿到 86.8% 成功率（+15），真实双臂 62.7/100，代码模型基准全部开源。
清华开源 Spatial-TTT 入选 ECCV 2026，仅 2B 参数在多个空间智能基准上超过 GPT-5、Gemini-3-pro，能处理 120 分钟流式视频、边看边更新空间记忆。
告诉机器人"把杯子放进篮子"，它能完成任务，但用哪只手、从哪个方向接近、抓杯身还是杯柄——这些决定执行效果的细节，现有机器人数据集很少标注。于是模型学到的是"最终要成功"，却难以从语言中学到执行约束。香港大学 XLANG Lab 和阿里巴巴 Qwen 团队联合提出的 FineVLA 框架，要解决的就是这个长期痛点：让 VLA 模型不仅能完成任务，还能按照人类指定的方式完成任务。
最佳混合策略在 RoboTwin 仿真中达到 86.8%/82.5%（比基线提升 +15.0/+11.1），在真实双臂机器人上达到 62.7/100（Raw-only 为 49.9）。代码、模型、评测基准均已开源。
接触区域、目标物体、执行臂、轨迹方向、失败恢复——这些执行敏感因素都可通过语言控制。
VLA（Vision-Language-Action）模型已能根据自然语言完成抓取、放置，但语言监督粒度太粗。同样是"拿起勺子"，不同轨迹可能用左臂或右臂、绕障碍或直线、接触勺柄或勺头，但数据集里往往共享同一条目标级指令。
这带来监督歧义：模型学到了"成功"，却学不到使用哪只手、从哪个方向接近这些执行约束。构建可控 VLA 系统面临三个核心挑战：
FineVLA 把这三个问题一次性接住，形成"数据—模型—评测—策略"的完整闭环。
左侧：FineVLA-Tool 数据构建；右侧：FineVLA-Policy 策略训练。
把异构机器人数据转成高质量细粒度监督，四个阶段：
从 10 个开源数据集汇总 97 万条轨迹，统一格式 + 聚类去重 + 十维细粒度标注。
通用 VLM 常漏掉物体歧义区分、接触区域、运动路径这些执行细节。团队对 Qwen3.5-VL-397B-A17B 做全参数监督微调，得到 RoboFine-VLM——能输出覆盖 10 个控制维度的步骤级动作描述，可作为未来数据扩展的可扩展标注器。
包含 500 段视频、32 种机器人形态、11631 个原子事实，与训练集严格不重叠，设两个轨道：
保持视觉观察和动作标签不变，只改变配对语言（Raw-only / FG-only / Mixed），严格隔离语言监督效果。
RoboFine-VLM 在 VQA 轨道拿到 68.2%，超过最强通用基线 GPT-5.4（60.2%）+8.0 个点；Caption hard 设置 82.2%，超 GPT-5.4（78.0%）。自动评分与人工排名高度一致（Spearman 0.943）。
两个关键发现：
最佳设置达 86.8%/82.5%，比基线 +15.0/+11.1。Raw 告诉模型"做什么"，FG 告诉模型"怎么做"，两者互补。
在 CobotMagic 双臂平台上用"配对评测"——同一视觉场景下仅改变一个语言控制因素。FG:Raw=1:1 在 Avg(ID) 达 62.7/100（Raw-only 49.9，FG-only 54.4）。
具体控制因素上的提升：姿态 +23、颜色 +18、接近方向 +18、旋转方向 +10、执行臂 +4。较大增益集中在目标级指令未指定的因素上——这正是 FineVLA 最有价值的地方。
姿态从 24 提到 47，颜色从 22 提到 40，接近方向从 60 提到 78。
开源资源齐全：
RoboFine-benchRoboFine-VLM-397B-A17B💡 提示：核心结论不是"给数据加更长描述"，而是 细粒度语言应当增强而非替代目标级指令。最佳配比是 FG:Raw ≈ 1:2 到 1:1，纯细粒度反而不如混合训练——Raw 管"做什么"、FG 管"怎么做"，两者缺一不可。
项目地址：github.com/xlang-ai/FineVLA