快手联合浙大开源 MobileForge，通过 MobileGym + HiFPO 让手机 GUI Agent 在真实 App 中自探索、自反馈、自优化，附完整代码与模型。
快手联合浙大开源 MobileForge，通过 MobileGym + HiFPO 让手机 GUI Agent 在真实 App 中自探索、自反馈、自优化，附完整代码与模型。
React 核心团队成员开源 Pretext，仅几 KB 的纯 TypeScript 库，前端 UI 渲染速度比传统工具快约 500 倍，已获 2.8 万 Star
手机 GUI Agent 在真实 App 上的最大瓶颈不是"不会点"，而是"不会适应"——App 数量庞大、更新频繁，每适配一个 App 都要人工写任务、录专家轨迹、标奖励信号，成本直接失控。快手联合浙大、清华开源的 MobileForge 把这个过程变成无标注闭环：Agent 在真实 App 中自探索、自反馈、自优化。本教程带你跑通它的全链路。
MobileForge 由两个耦合组件组成：
整条流水线没有人工任务、没有专家演示、没有人工奖励标签：
目标 App 探索 → 任务课程生成 → 多次 rollout → 分层评估 → 任务/轨迹/步骤过滤 → 带纠错 hint 的 GRPO 训练
| 模型 | AndroidWorld Pass@3 | 备注 | | | | | | Qwen3-VL-8B（基线） | 55.2% | 通用 VLM | | ForgeQwen3-8B（适配后） | 67.2% | 接近 GUI 专用基座 | | GUI-Owl-1.5-8B（基线） | 69.0% | GUI 专用 | | ForgeOwl-8B（适配后） | 77.6% | 端内最强 |
跨域（MobileWorld GUI-only，训练时不见任何 MobileWorld 数据）：ForgeOwl-8B 达 41.0%，高于基线的 37.6%。
MobileGym 解决"没有人工任务时 Agent 该学什么"。它包含三个阶段。
MobileForge 直接进入目标 App，结合 APK 中声明的 activity 等结构信息和当前截图，生成面向功能的探索目标。探索采用类深度优先遍历，需要从父状态分支到新目标时恢复父状态继续。
每个被探索到的状态转移会记录：操作前后截图、执行动作、目标元素、执行元数据、自然语言摘要。这些记录组成证据池。
注意：探索轨迹不是专家示范。它的唯一作用是发现真实可达的页面、可操作控件、实际存在的功能，避免模型凭空幻想。
对每条探索轨迹，系统判断行为是否连贯、原目标是否完成，然后围绕同一 App 功能生成多个任务变体。
每个任务是一个五元组：(任务指令, 预估步数预算, 核心功能, 变化类型, 前置条件)。重点不是 schema 复杂，而是每个任务必须锚定到真实观察到的 App 行为。
Critic 不是训练奖励模型，而是用 agentic hierarchical evaluator 对完整 rollout 输出三类反馈：
这一步是 MobileForge 区别于传统 RL 的关键：失败轨迹里也有正确的局部步骤，成功轨迹里也有冗余动作，Critic 把这些信息拆开。
HiFPO 把 MobileGym 的反馈变成策略更新，分四步。
每个任务让当前策略连续尝试 K 次：
Agent 不是简单多采样，而是在同一任务上累积经验——前一次失败变成下一次的上下文。实测（Qwen3-VL-8B，200 任务）：无 hint 总成功率 52.0% → 加 hint 后 77.0%，Pass@3 从 49.0% → 72.5%。
计算每个任务的多次尝试经验成功率 SR(x)：
这反直觉：MobileForge 不丢弃失败任务，因为失败轨迹里可能有正确的导航/搜索/识别步骤，只要步骤级反馈能挑出来，失败也能转化成学习材料。
对保留任务：
长链路轨迹被拆成密集的 step-level 样本，同时避免强化失败轨迹里的错误动作。
每个 step-level 样本包含任务、截图、交互历史、当时的纠错 hint。模型在同一带 hint 状态下采样多个候选动作，用规则化 GUI action reward 做组内比较（GRPO）。
这是 MobileForge 的训练目标消融结论：no-hint SFT 效果弱（甚至低于基线），hint SFT 有提升，但 hint-contextualized GRPO 在 200 和 900 任务设置下都是最好。900 任务时达 50.9% AndroidWorld Pass@1。
在 116 个 AndroidWorld 任务上评测 Pass@1/Pass@2/Pass@3。训练时只在这 20 个 App 生态内探索、生成任务、rollout、训练。
117 任务划分上测试，训练过程中不使用任何 MobileWorld rollout、任务或反馈。这一项最能说明适配不是"记住训练 App"。
实测 ForgeOwl-8B 在 MobileWorld 上达 41.0%，验证了方法本身的泛化性；但 ForgeQwen3-8B（基于通用 Qwen3-VL-8B）只从 7.6% 提到 10.3%——跨域泛化强依赖基础模型本身的手机 GUI 能力。
跑完一轮 MobileForge 适配后，检查这些指标：
一手来源：
