机器人数据采集贵、规模有限、任务覆盖窄，而互联网上的人类视频和无标签操作视频却极其丰富。怎么用海量人类视频帮 VLA 模型学会"动作如何改变世界"？来自中科大、北京中关村学院、上海交通大学、宁波东方理工学院的团队提出的 VLA-JEPA 给出了一个思路：不要再让模型在像素空间里追逐"未来帧"，借鉴 Yann LeCun 的 JEPA 路线，在潜在表征空间中学习和预测世界状态的变化。

作为首个移植到 lerobot 框架的 VLA 与世界模型结合的工作，VLA-JEPA 经官方验证仅用 13 条轨迹就能完成简单装配任务，并获得了 LeCun 和谢赛宁在社交平台上的转发关注。

把人类视频和机器人演示统一到"潜在世界模型"的训练目标中。

一句话看懂

VLA-JEPA 是一个面向 VLA 模型的 JEPA 式预训练框架。当前观测经过 VLA 主干得到潜在动作 token，未来帧只通过目标编码器提供监督信号，模型需要在 Latent Space 中预测未来状态。

这套设计是为了解决过去 latent action 预训练的核心偏差：模型容易学到"像素变化"，而不是"动作导致的状态转移"。尤其在互联网视频里，镜头移动、背景变化、无关物体运动可能比真正的操作信号更显眼，导致 latent action 退化成目标图像的压缩表示。

人类视频阶段用 latent world modeling 对齐损失；机器人数据阶段额外加动作预测损失。

为什么需要这种方法

理想情况下，latent action 应该捕捉的是"动作相关的状态转移语义"——物体被推动、抓取、移动后环境状态如何变化，而不是简单记录画面里哪些像素变了。VLA-JEPA 论文指出，现有 latent-action 预训练普遍存在四类问题：

• 像素级目标让表示偏向外观：纹理、光照、背景、视角变化大、好预测，却和真正要控制的自由度关系弱
• 真实视频放大无关运动噪声：镜头晃动、背景移动比操作信号更明显，latent action 被噪声运动主导
• 信息泄漏让 latent action 退化：未来观测参与 action variable 学习时，模型只需把未来本身编码进去，语义上是空的
• 多阶段训练流程太复杂：表示预训练 → latent action 对齐 → 策略模型，目标函数、数据分布、表示空间难以一致

方法：把未来当监督，而不是输入

VLA-JEPA 采用 Qwen3-VL 作为 VLM 主干，引入可学习的 latent action token 表示相邻状态间的转移。视频帧由 V-JEPA2 编码器映射到世界状态表示；预测器根据当前状态和 latent action 预测未来 latent state，并与目标编码器得到的未来状态对齐。

在有机器人动作标注的数据上，进一步接入基于 flow matching 的动作头，用于生成连续末端执行器轨迹。

分工很清晰：

• 人类视频负责提供动态知识（"动作如何改变世界"）
• 机器人轨迹负责把动态知识落到可执行动作上

训练流程也比多阶段 latent-action pipeline 更直接：先 JEPA 预训练，再微调动作头。

实验结果

论文在 LIBERO、LIBERO-Plus、SimplerEnv 和真实 Franka 桌面操作任务上评估。预训练用 Something-Something-v2 约 22 万个人类视频 + DROID 约 7.6 万条机器人演示；LIBERO 微调只用约 2000 条仿真专家演示；真实世界实验用三类任务共 100 条演示。

LIBERO / LIBERO-Plus

• LIBERO：平均成功率 97.2%，在 Object 和 LIBERO-10 两个 suite 上拿到最高分。值得注意的是 OpenVLA-OFT、pi0.5 等强基线依赖大量机器人数据，而 VLA-JEPA 用更少的训练数据拿到接近甚至更高的平均表现
• LIBERO-Plus（多扰动 OOD）：7 个扰动维度中 5 个拿到最好结果，平均成功率 78.1%，明显高于 OpenVLA-OFT（69.6%）和 pi0-Fast（61.6）

说明 latent action 学到的不是单一视觉模板，而是更接近世界状态变化的表示——这正是鲁棒性的来源。

SimplerEnv：人类视频不是万能灵药

SimplerEnv 的结果给了一个现实提醒：在若干视觉匹配任务上，去掉人类视频后模型甚至更高。这表明 VLA-JEPA 的主要价值不是凭空生成新动作技能，而是在高质量机器人数据的基础上增强鲁棒性和稳定性。

真实机器人：失败后的二次抓取

真实世界实验用 FR3 机械臂 + Robotiq 2F-85 夹爪 + 三台 D435 摄像头。相较 pi0 与 pi0.5，VLA-JEPA 呈现一个有意思的现象：第一次抓取失败后，模型会重新打开夹爪并尝试二次抓取，对比模型没有稳定出现这一行为。

作者归因于人类视频里的"重复抓取知识"——人类操作中失败后调整再抓的片段更常见，而机器人演示数据通常不会刻意覆盖这种恢复行为。这是 VLA-JEPA 路线最有报道价值的地方：人类视频不一定直接教会机器人控制，但可能补足"如何补救"的常识。

怎么用

开源资源齐全：

• arXiv：arxiv.org/abs/2602.10098
• 代码：github.com/ginwind/VLA-JEPA
• 项目主页：ginwind.github.io/VLA-JEPA/
• Hugging Face：huggingface.co/ginwind/VLA-JEPA

应用场景

• 机器人策略研究团队：用更少的机器人数据拿到接近甚至超过强基线的表现，特别适合数据采集成本高的长尾任务
• VLA + 世界模型方向：首个移植到 lerobot 框架的结合工作，可作为 VLA-JEPA 路线的复现起点
• 工业机械臂 / 桌面操作：失败后的二次抓取行为在真实生产环境里直接降低失败率
• 人类视频利用研究：消融实验清楚展示了人类视频"补稳定性、不补新技能"的定位，可作为后续工作的基线

💡 提示：VLA-JEPA 并没有证明人类视频可以替代高质量机器人数据，它更清楚地说明了二者的分工——机器人数据提供可执行的动作 grounding，人类视频提供更广泛的世界动态经验。把人类视频当成"动作标签替代品"会失望，把它当成"世界动态先验"才能真正用起来。

项目地址：github.com/ginwind/VLA-JEPA