toolin.ai logo
toolin.ai
首页
AI工具
AI技能包
AI资讯
精选推文
AI提示词
提交AI工具提交
toolin.ai logo
toolin.ai

AI玩家的创作利器库,发现最佳AI工具组合,提升您的创作效率

AI工具1,368个
技能包11个
产品功能
  • AI工具
  • AI技能包
  • AI资讯
  • 精选推文
  • 提交AI工具
关于我们
  • 关于Toolin
  • 联系我们
  • 合作洽谈
  • 更新日志
关注我们
© 2025 toolin.ai. All rights reserved.
服务条款隐私政策

Self-Harness:让 Agent 自进化运行脚手架,不换模型提升 104%

2026/07/18
·toolin小编

上海 AI Lab 提出三阶段自进化闭环,让 Agent 自我迭代系统提示与工具编排,不更换模型也能拿到 33%–60% 的性能提升。

Self-Harness:让 Agent 自进化运行脚手架,不换模型提升 104%
Self-Harness:让 Agent 自进化运行脚手架,不换模型提升 104%
2026/07/18

Self-Harness:让 Agent 自进化运行脚手架,不换模型提升 104%

上海 AI Lab 提出三阶段自进化闭环,让 Agent 自我迭代系统提示与工具编排,不更换模型也能拿到 33%–60% 的性能提升。

什么是 Harness,为什么它比模型更重要三阶段自进化闭环第一步:弱点挖掘(Weakness Mining)第二步:改进提案(Harness Proposal)第三步:回归验证(Proposal Validation)为什么这个方法 ROI 高可复用模板:在你自己的 Agent 上试试常见问题写在最后
AI教程

如果你已经在用 Claude Code、Cursor 或自研 Agent,多半遇到过同一个困境:能力卡住了,下意识反应是"换更大的模型"。但换模型的成本是指数级上升的,而且常常不是模型本身的问题——而是 Agent 外层那套"运行脚手架(Harness)"还没打磨好。

上海人工智能实验室(Shanghai AI Lab)在 2026 年发表的论文 Self-Harness: Harnesses That Improve Themselves(arXiv: 2606.09498)给出了另一条路:不换模型、不改参数,让 Agent 自己去迭代它的 Harness。在三个不同家族的模型上拿到了 33%–60% 的相对性能提升,部分场景峰值达 104%。

这篇教程拆解 Self-Harness 的三阶段自进化闭环,并给出一个可直接套用的可复用模板。

什么是 Harness,为什么它比模型更重要

简单说,Harness 就是你包裹在 LLM 外面的那一层"可编程脚手架":系统提示、工具编排、记忆机制、验证回路、错误恢复策略。同一个模型,配不同的 Harness,能力差距可以非常大。

过去一年,业界的优化重心正在从"模型层"悄悄转向"Harness 层"。原因很现实:

  • 模型层迭代周期长、成本高(一次预训练动辄数百万美元)
  • Harness 层是可编程、可组合、可回归的结构化组件,迭代成本是几十到几百美元量级
  • 大部分现实场景的瓶颈不是模型智商,而是 Harness 没把模型的潜力榨出来

Self-Harness 的工作把这件事推到了极致:让 Agent 自己去诊断 Harness 的弱点并改进它。

三阶段自进化闭环

Self-Harness 的核心是一个由模型自身驱动的迭代闭环,三个阶段循环执行。

第一步:弱点挖掘(Weakness Mining)

让模型在任务执行过程中分析当前 Harness 的不足:哪些任务失败了?失败在哪一步?是工具调用格式不对、还是系统提示里的角色定义模糊、还是验证回路没接住?

输出是一份结构化的"弱点清单"——可定位、可修复的具体问题,而不是模糊的"表现不好"。

💡 提示:弱点挖掘的关键是把失败案例结构化。建议把每次任务的 trace(工具调用序列、模型输出、最终结果)都留存下来,作为分析原料。

第二步:改进提案(Harness Proposal)

针对每个弱点,模型生成一个具体的"改进提案":可能是修改系统提示里的一段描述、新增一个工具、调整工具调用顺序、或者加入一个新的验证步骤。

提案必须可执行、可验证——也就是说,必须能在下一步跑回归测试。

第三步:回归验证(Proposal Validation)

把提案并入 Harness,重新跑一遍基准任务集(benchmark / held-out tasks)。只有当通过率不下降、最好提升时,这个提案才会被正式并入主 Harness;否则回滚。

💡 提示:回归验证是整个闭环的"安全锁"。没有这一步,"自进化"很容易退化成"瞎改"。务必准备一份稳定的 held-out 测试集。

闭环跑起来后,Harness 会越来越强壮。论文给出的实测数据很有说服力:

模型held-out pass rate
模型 A40.5% → 61.9%
模型 B23.8% → 38.1%

三个不同家族的模型都拿到了 33%–60% 的相对提升,部分场景峰值达 104%。

为什么这个方法 ROI 高

一个直观的对比:换一个更大的模型,可能要花数千美元/月的订阅费或更高的 API 成本;而跑一轮 Self-Harness 闭环,论文中给出的量级大约是 $50–100。

换来的提升往往是同量级、甚至更高的。对预算敏感的团队,这是更划算的优化路径。

可复用模板:在你自己的 Agent 上试试

下面是把 Self-Harness 思路落到自研 Agent 上的一个最小骨架(伪代码,具体实现取决于你的 Agent 框架):

# 1. 弱点挖掘
weaknesses = analyze_failures(task_traces, current_harness)
# 输出:[{issue: "...", location: "...", evidence: [...]}, ...]

# 2. 改进提案
proposals = []
for w in weaknesses:
    proposal = harness_llm.propose_fix(w, current_harness)
    proposals.append(proposal)
# 输出:[{change: "修改 system prompt 中关于 X 的描述", patch: ...}, ...]

# 3. 回归验证
for p in proposals:
    candidate = apply(current_harness, p)
    score = run_benchmark(candidate, held_out_tasks)
    if score >= baseline_score:
        current_harness = candidate
        baseline_score = score
    # 否则回滚,跳过该提案

落地时几个关键点:

  • 基准集要稳定:选 30–100 个有明确成功判据的任务作为 held-out,长期不变
  • 提案要原子化:一个提案只改一处,便于归因和回滚
  • 保留 trace:每次任务执行的全过程都要可追溯,这是弱点挖掘的原料

常见问题

  • Self-Harness 和 AutoGPT 那种"自我迭代"有什么不同:AutoGPT 类项目让模型在任务层面自我规划,Self-Harness 是在 Harness 层面(系统提示、工具编排、验证回路)迭代,前者改"做什么",后者改"怎么做"。
  • 没有公开代码仓库怎么办:论文目前以 arXiv 形式公开,社区有若干复现实现。建议先按上面的模板自己搭一个最小闭环,重点是把三阶段闭环跑通。

写在最后

Self-Harness 给开发者的启示很简单:升级模型之前,先审视并迭代你的 Agent 运行框架。系统提示、工具编排、验证回路——这些可编程的结构化组件,往往是当前 ROI 最高的优化点。

论文原文(含完整实验与消融分析)见:

  • arXiv 摘要页:https://arxiv.org/abs/2606.09498
  • arXiv HTML 全文:https://arxiv.org/html/2606.09498v1

诚实声明:Self-Harness 目前以学术论文形式公开,文中所引性能数字(33%–60% 相对提升、峰值 104%、$50–100 量级成本)均来自 arXiv 论文。若无公开官方代码仓库,请勿相信任何"官方 repo"链接,以 arXiv 论文为准。

所有文章

作者

avatar for toolin小编
toolin小编

分类

  • AI教程
什么是 Harness,为什么它比模型更重要三阶段自进化闭环第一步:弱点挖掘(Weakness Mining)第二步:改进提案(Harness Proposal)第三步:回归验证(Proposal Validation)为什么这个方法 ROI 高可复用模板:在你自己的 Agent 上试试常见问题写在最后

相关文章

用AI员工找海外达人:AhaCreator实操指南
AI教程

用AI员工找海外达人:AhaCreator实操指南

手把手教你用AhaCreator完成从达人筛选、内容审核到跨境打款的完整海外达人营销流程,适合独立开发者和出海团队。

avatar for toolin小编
toolin小编
2026/06/08
AI长视频生成:两大开源框架对比评测
AI产品

AI长视频生成:两大开源框架对比评测

VideoClaw和JoyAI-Echo两大开源框架同日发布,分别用多智能体协作和跨模态记忆库解决AI长视频一致性问题,本文对比两者技术方案。

avatar for toolin小编
toolin小编
2026/06/08
ChatGPT记忆系统全面升级:Dreaming V3上线
AI产品

ChatGPT记忆系统全面升级:Dreaming V3上线

OpenAI发布全新Dreaming V3记忆架构,ChatGPT会在后台「做梦」整理你的信息,首次向十亿免费用户开放,Plus/Pro记忆容量翻倍。

avatar for toolin小编
toolin小编
2026/06/08