中关村学院 × 中科大 × 上交 × 东方理工提出 VLA-JEPA，把 VLA 模型与世界模型在潜在空间共融，仅用 13 条轨迹就能完成装配任务，LIBERO 达 97.2%，获 LeCun、谢赛宁转发。
中关村学院 × 中科大 × 上交 × 东方理工提出 VLA-JEPA，把 VLA 模型与世界模型在潜在空间共融，仅用 13 条轨迹就能完成装配任务，LIBERO 达 97.2%，获 LeCun、谢赛宁转发。
高德推出全球首款开放环境全自主具身机器人，背后ABot全栈体系横扫15项SOTA，世界模型即将开源。
机器人数据采集贵、规模有限、任务覆盖窄，而互联网上的人类视频和无标签操作视频却极其丰富。怎么用海量人类视频帮 VLA 模型学会"动作如何改变世界"？来自中科大、北京中关村学院、上海交通大学、宁波东方理工学院的团队提出的 VLA-JEPA 给出了一个思路：不要再让模型在像素空间里追逐"未来帧"，借鉴 Yann LeCun 的 JEPA 路线，在潜在表征空间中学习和预测世界状态的变化。
作为首个移植到 lerobot 框架的 VLA 与世界模型结合的工作，VLA-JEPA 经官方验证仅用 13 条轨迹就能完成简单装配任务，并获得了 LeCun 和谢赛宁在社交平台上的转发关注。
把人类视频和机器人演示统一到"潜在世界模型"的训练目标中。
VLA-JEPA 是一个面向 VLA 模型的 JEPA 式预训练框架。当前观测经过 VLA 主干得到潜在动作 token，未来帧只通过目标编码器提供监督信号，模型需要在 Latent Space 中预测未来状态。
这套设计是为了解决过去 latent action 预训练的核心偏差：模型容易学到"像素变化"，而不是"动作导致的状态转移"。尤其在互联网视频里，镜头移动、背景变化、无关物体运动可能比真正的操作信号更显眼，导致 latent action 退化成目标图像的压缩表示。
人类视频阶段用 latent world modeling 对齐损失；机器人数据阶段额外加动作预测损失。
理想情况下，latent action 应该捕捉的是"动作相关的状态转移语义"——物体被推动、抓取、移动后环境状态如何变化，而不是简单记录画面里哪些像素变了。VLA-JEPA 论文指出，现有 latent-action 预训练普遍存在四类问题：
VLA-JEPA 采用 Qwen3-VL 作为 VLM 主干，引入可学习的 latent action token 表示相邻状态间的转移。视频帧由 V-JEPA2 编码器映射到世界状态表示；预测器根据当前状态和 latent action 预测未来 latent state，并与目标编码器得到的未来状态对齐。
在有机器人动作标注的数据上，进一步接入基于 flow matching 的动作头，用于生成连续末端执行器轨迹。
分工很清晰：
训练流程也比多阶段 latent-action pipeline 更直接：先 JEPA 预训练，再微调动作头。
论文在 LIBERO、LIBERO-Plus、SimplerEnv 和真实 Franka 桌面操作任务上评估。预训练用 Something-Something-v2 约 22 万个人类视频 + DROID 约 7.6 万条机器人演示；LIBERO 微调只用约 2000 条仿真专家演示；真实世界实验用三类任务共 100 条演示。
说明 latent action 学到的不是单一视觉模板，而是更接近世界状态变化的表示——这正是鲁棒性的来源。
SimplerEnv 的结果给了一个现实提醒：在若干视觉匹配任务上，去掉人类视频后模型甚至更高。这表明 VLA-JEPA 的主要价值不是凭空生成新动作技能，而是在高质量机器人数据的基础上增强鲁棒性和稳定性。
真实世界实验用 FR3 机械臂 + Robotiq 2F-85 夹爪 + 三台 D435 摄像头。相较 pi0 与 pi0.5，VLA-JEPA 呈现一个有意思的现象：第一次抓取失败后，模型会重新打开夹爪并尝试二次抓取，对比模型没有稳定出现这一行为。
作者归因于人类视频里的"重复抓取知识"——人类操作中失败后调整再抓的片段更常见，而机器人演示数据通常不会刻意覆盖这种恢复行为。这是 VLA-JEPA 路线最有报道价值的地方：人类视频不一定直接教会机器人控制，但可能补足"如何补救"的常识。
开源资源齐全：
💡 提示：VLA-JEPA 并没有证明人类视频可以替代高质量机器人数据，它更清楚地说明了二者的分工——机器人数据提供可执行的动作 grounding，人类视频提供更广泛的世界动态经验。把人类视频当成"动作标签替代品"会失望，把它当成"世界动态先验"才能真正用起来。
项目地址：github.com/ginwind/VLA-JEPA
