toolin.ai logo
toolin.ai
首页
AI工具
AI技能包
AI资讯
精选推文
AI提示词
提交AI工具提交
toolin.ai logo
toolin.ai

AI玩家的创作利器库,发现最佳AI工具组合,提升您的创作效率

AI工具1,319个
技能包11个
产品功能
  • AI工具
  • AI技能包
  • AI资讯
  • 精选推文
关于我们
  • 关于Toolin
  • 联系我们
  • 合作洽谈
  • 更新日志
关注我们
© 2025 toolin.ai. All rights reserved.
服务条款隐私政策

Arbor 开源:让 Agent 像研究者一样做科研,而非盲目试错

2026/06/29
·toolin小编

人大高瓴 × 微软研究院开源 Arbor 自主科研框架,用 Hypothesis-Tree 把多次实验组织成可积累的研究状态,登顶 HuggingFace 日榜,长程任务 held-out 增益超 Codex、Claude Code 平均 2.5 倍。

Arbor 开源:让 Agent 像研究者一样做科研,而非盲目试错
Arbor 开源:让 Agent 像研究者一样做科研,而非盲目试错
2026/06/29

Arbor 开源:让 Agent 像研究者一样做科研,而非盲目试错

人大高瓴 × 微软研究院开源 Arbor 自主科研框架,用 Hypothesis-Tree 把多次实验组织成可积累的研究状态,登顶 HuggingFace 日榜,长程任务 held-out 增益超 Codex、Claude Code 平均 2.5 倍。

它解决什么问题核心机制:Hypothesis-Tree + insight 回传Hypothesis-Tree(假设树)insight 回传机制实测效果怎么上手适合谁用当前局限参考
AI产品

现在的 AI 智能体能写代码、跑实验、改方案,但绝大多数跨不过一道核心门槛:只会执行,不会自主科研。它们试一个方向失败、再试一个方向再失败,偶尔成功也很难把成功背后的机制沉淀下来。中国人民大学高瓴人工智能学院 × Microsoft Research 的研究者开源了 Arbor——一个通用且实用的自主科研框架与工具包,用「假设树(Hypothesis-Tree)」把一次次短暂实验组织成可长期积累、可审计的研究状态。论文已登顶 HuggingFace Daily Paper 日榜第一。

这篇拆解 Arbor 解决什么问题、核心机制、实测效果和怎么上手。

它解决什么问题

论文把自主科研形式化为 Autonomous Optimization(AO):给定一个初始 artifact(模型训练代码、agent harness、数据生成 pipeline)+ 研究目标 + 可执行 evaluator,Agent 在无逐步人工监督下,只看 dev 集,通过多轮实验不断改进 artifact,最终在 test 集上提升效果。

现有 Agent 卡在三件事上:

  • 对话历史又长又散,承载不了结构化的研究判断
  • 工作目录只记录代码变化,不解释这些变化对应的假设
  • 日志保存了结果,却告诉不了 Agent 为什么成功或失败

结果就是:Agent 能跑很多次 trial,但这些 trial 汇聚不成真正的 research progress。

上图为一次 Math-Reasoning Data Synthesis 运行得到的假设树,以及对应的 development score 曲线。

核心机制:Hypothesis-Tree + insight 回传

Arbor 的关键不是让 Agent 多试几次,而是换一种组织探索的方式。

Hypothesis-Tree(假设树)

把研究空间结构化成一棵树,每个节点是一个待验证的假设。Agent 围绕假设做隔离执行、对比证据、更新搜索树,而不是在一条轨迹上闷头试到底。

insight 回传机制

最核心的组件。失败不是被丢弃的负样本,而是被归因、抽象、传播的研究证据;成功也不是孤立的分数提升,而是可复用的局部发现。这些 insight 沿着树向上传播,持续塑形后续搜索分布——Agent 会更少重复已失败路径,更容易围绕有效机制细化。

Arbor 框架概览

Arbor 强调两个设计要点:

  • 通用性:不绑定特定 benchmark 或任务形态。只要有待优化的 artifact、明确目标、可执行反馈信号,model / harness / data 都能优化。
  • 实用性:开源了独立 CLI 和 Agent SDK,可直接接入。

实测效果

在六个真实 AO 任务(涵盖数学推理数据合成、SWE、Terminal-Bench 等)和 MLE-Bench Lite 上:

  • 在六个任务上获得 超过 Codex 和 Claude Code 平均相对 held-out gain 2.5 倍 的提升
  • Terminal-Bench 2.0:held-out pass rate 从初始 69.81 提升到 77.36
  • MLE-Bench Lite:Arbor with GPT-5.5 达到 86.36% Any Medal,当前 SOTA

消融实验进一步验证了 insight 回传的关键性(在 MLE-Bench Lite 上):

配置Any Medal
完整 Arbor81.82%
去掉假设树63.64%
保留树、再去掉 insight 向上传播54.54%

一个反直觉的结论:只去掉洞察传播,比直接去掉整棵树掉得还多。一棵不传播经验的树只能把实验「排排坐」,却给不出后续决策真正需要的语义记忆。

💡 提示:Arbor 消耗的 token 与 Claude Code 等基线属于同一量级,却拿到了更大的 held-out 增益。这说明瓶颈不在花了多少算力,而在算力被如何组织。

怎么上手

  • 论文:https://arxiv.org/pdf/2606.11926
  • 代码仓库:https://github.com/RUC-NLPIR/Arbor
  • 项目主页:https://ruc-nlpir.github.io/Arbor/

Arbor 提供独立 CLI 和 Agent SDK,只要你有待优化的 artifact、可执行 evaluator 和明确目标,就能接入跑自主优化。

适合谁用

  • AI 研究者:把 Arbor 当作长程自主实验的执行底座,让多轮试错沉淀为可复用的研究记忆。
  • 模型 / Agent 团队:用它优化训练代码、agent harness、数据 pipeline,相比裸跑 coding agent 能拿到更稳定的 held-out 提升。
  • 长程任务开发者:任何需要「持续优化一个研究对象」的场景,都落在 Arbor 的 AO 定义里。

当前局限

作者坦承:Arbor 不等于 Agent 已具备人类研究者级的创造力。当前 Agent 生成 idea 的质量仍有大提升空间,在困难任务中可能难以提出真正新颖的机制,或过早放弃潜在方向。如何产生更高质量假设、区分真实提升与偶然过拟合、在更长周期维护可靠记忆,都是 open question。

参考

  • 论文:Toward Generalist Autonomous Research via Hypothesis-Tree Refinement(arXiv:2606.11926)
  • GitHub:https://github.com/RUC-NLPIR/Arbor
所有文章

作者

avatar for toolin小编
toolin小编

分类

  • AI产品
它解决什么问题核心机制:Hypothesis-Tree + insight 回传Hypothesis-Tree(假设树)insight 回传机制实测效果怎么上手适合谁用当前局限参考

相关文章

Codex 开源模式:一行配置接入本地模型
AI产品

Codex 开源模式:一行配置接入本地模型

OpenAI Codex 新增 OSS 模式,支持通过 model_providers 配置接入 Ollama、LM Studio 等本地模型服务,可切换模型降低成本。

avatar for toolin小编
toolin小编
8小时前
MaineCoon:史上最快流式音视频社交模型
AI产品

MaineCoon:史上最快流式音视频社交模型

Catnip 团队推出 22B 参数流式音视频模型 MaineCoon,单卡 H100 跑出 47.5 FPS,成本仅为 Veo 3 的 1/2000,支持 30 分钟以上音画同出。

avatar for toolin小编
toolin小编
8小时前
阿里 HappyHorse 1.1:视频生成五大维度升级
AI产品

阿里 HappyHorse 1.1:视频生成五大维度升级

阿里巴巴发布 HappyHorse 1.1 视频生成模型,动态表现力、主体一致性等五大维度提升,1080P 价格下调 25%,已上线百炼平台。

avatar for toolin小编
toolin小编
8小时前