上海 AI Lab 提出三阶段自进化闭环,让 Agent 自我迭代系统提示与工具编排,不更换模型也能拿到 33%–60% 的性能提升。


上海 AI Lab 提出三阶段自进化闭环,让 Agent 自我迭代系统提示与工具编排,不更换模型也能拿到 33%–60% 的性能提升。
如果你已经在用 Claude Code、Cursor 或自研 Agent,多半遇到过同一个困境:能力卡住了,下意识反应是"换更大的模型"。但换模型的成本是指数级上升的,而且常常不是模型本身的问题——而是 Agent 外层那套"运行脚手架(Harness)"还没打磨好。
上海人工智能实验室(Shanghai AI Lab)在 2026 年发表的论文 Self-Harness: Harnesses That Improve Themselves(arXiv: 2606.09498)给出了另一条路:不换模型、不改参数,让 Agent 自己去迭代它的 Harness。在三个不同家族的模型上拿到了 33%–60% 的相对性能提升,部分场景峰值达 104%。
这篇教程拆解 Self-Harness 的三阶段自进化闭环,并给出一个可直接套用的可复用模板。
简单说,Harness 就是你包裹在 LLM 外面的那一层"可编程脚手架":系统提示、工具编排、记忆机制、验证回路、错误恢复策略。同一个模型,配不同的 Harness,能力差距可以非常大。
过去一年,业界的优化重心正在从"模型层"悄悄转向"Harness 层"。原因很现实:
Self-Harness 的工作把这件事推到了极致:让 Agent 自己去诊断 Harness 的弱点并改进它。
Self-Harness 的核心是一个由模型自身驱动的迭代闭环,三个阶段循环执行。
让模型在任务执行过程中分析当前 Harness 的不足:哪些任务失败了?失败在哪一步?是工具调用格式不对、还是系统提示里的角色定义模糊、还是验证回路没接住?
输出是一份结构化的"弱点清单"——可定位、可修复的具体问题,而不是模糊的"表现不好"。
💡 提示:弱点挖掘的关键是把失败案例结构化。建议把每次任务的 trace(工具调用序列、模型输出、最终结果)都留存下来,作为分析原料。
针对每个弱点,模型生成一个具体的"改进提案":可能是修改系统提示里的一段描述、新增一个工具、调整工具调用顺序、或者加入一个新的验证步骤。
提案必须可执行、可验证——也就是说,必须能在下一步跑回归测试。
把提案并入 Harness,重新跑一遍基准任务集(benchmark / held-out tasks)。只有当通过率不下降、最好提升时,这个提案才会被正式并入主 Harness;否则回滚。
💡 提示:回归验证是整个闭环的"安全锁"。没有这一步,"自进化"很容易退化成"瞎改"。务必准备一份稳定的 held-out 测试集。
闭环跑起来后,Harness 会越来越强壮。论文给出的实测数据很有说服力:
| 模型 | held-out pass rate |
|---|---|
| 模型 A | 40.5% → 61.9% |
| 模型 B | 23.8% → 38.1% |
三个不同家族的模型都拿到了 33%–60% 的相对提升,部分场景峰值达 104%。
一个直观的对比:换一个更大的模型,可能要花数千美元/月的订阅费或更高的 API 成本;而跑一轮 Self-Harness 闭环,论文中给出的量级大约是 $50–100。
换来的提升往往是同量级、甚至更高的。对预算敏感的团队,这是更划算的优化路径。
下面是把 Self-Harness 思路落到自研 Agent 上的一个最小骨架(伪代码,具体实现取决于你的 Agent 框架):
# 1. 弱点挖掘
weaknesses = analyze_failures(task_traces, current_harness)
# 输出:[{issue: "...", location: "...", evidence: [...]}, ...]
# 2. 改进提案
proposals = []
for w in weaknesses:
proposal = harness_llm.propose_fix(w, current_harness)
proposals.append(proposal)
# 输出:[{change: "修改 system prompt 中关于 X 的描述", patch: ...}, ...]
# 3. 回归验证
for p in proposals:
candidate = apply(current_harness, p)
score = run_benchmark(candidate, held_out_tasks)
if score >= baseline_score:
current_harness = candidate
baseline_score = score
# 否则回滚,跳过该提案落地时几个关键点:
Self-Harness 给开发者的启示很简单:升级模型之前,先审视并迭代你的 Agent 运行框架。系统提示、工具编排、验证回路——这些可编程的结构化组件,往往是当前 ROI 最高的优化点。
论文原文(含完整实验与消融分析)见:
诚实声明:Self-Harness 目前以学术论文形式公开,文中所引性能数字(33%–60% 相对提升、峰值 104%、$50–100 量级成本)均来自 arXiv 论文。若无公开官方代码仓库,请勿相信任何"官方 repo"链接,以 arXiv 论文为准。

手把手教你用AhaCreator完成从达人筛选、内容审核到跨境打款的完整海外达人营销流程,适合独立开发者和出海团队。

VideoClaw和JoyAI-Echo两大开源框架同日发布,分别用多智能体协作和跨模态记忆库解决AI长视频一致性问题,本文对比两者技术方案。

OpenAI发布全新Dreaming V3记忆架构,ChatGPT会在后台「做梦」整理你的信息,首次向十亿免费用户开放,Plus/Pro记忆容量翻倍。