toolin.ai logo
toolin.ai
首页
AI工具
AI技能包
AI资讯
精选推文
AI提示词
提交AI工具提交
toolin.ai logo
toolin.ai

AI玩家的创作利器库,发现最佳AI工具组合,提升您的创作效率

AI工具1,319个
技能包11个
产品功能
  • AI工具
  • AI技能包
  • AI资讯
  • 精选推文
关于我们
  • 关于Toolin
  • 联系我们
  • 合作洽谈
  • 更新日志
关注我们
© 2025 toolin.ai. All rights reserved.
服务条款隐私政策

STAR-PólyaMath:让大模型学会「知错就改」的开源推理框架

2026/06/24
·toolin小编

清华微软联合开源的多智能体推理框架,通过 Reasoner、Verifier、Meta-Strategist 三个角色让长程推理可验证可回溯,Apex 基准超 GPT-5.5 达 13.5%。

STAR-PólyaMath:让大模型学会「知错就改」的开源推理框架
STAR-PólyaMath:让大模型学会「知错就改」的开源推理框架
2026/06/24

STAR-PólyaMath:让大模型学会「知错就改」的开源推理框架

清华微软联合开源的多智能体推理框架,通过 Reasoner、Verifier、Meta-Strategist 三个角色让长程推理可验证可回溯,Apex 基准超 GPT-5.5 达 13.5%。

项目背景长程推理的三重困难核心架构:三个智能体角色Reasoner(推理者)Verifier(验证者)Meta-Strategist(元战略家)一个典型案例验证机制:分层验证标签实验结果超越数学:一种可泛化的推理范式
AI产品

面对最难的数学竞赛题,最强的大模型也会反复在同一个错误上空转——它们会沿着一条看似合理的路线不断补充细节、写出颇具说服力的论证,却缺乏「这不是需要继续打磨的解法,而是一条死路」的元认知。清华与微软亚洲研究院联合开源的 STAR-PólyaMath 用一套多智能体框架解决了这个问题:通过 Reasoner、Verifier、Meta-Strategist 三个角色的循环驱动,让推理过程变得可验证、可回溯、能跨尝试积累经验。在八大顶级数学竞赛基准上全部取得最优,Apex 基准领先同基座 GPT-5.5 达 13.5%。

STAR-PólyaMath 在八大数学竞赛基准上全部取得最优成绩

项目背景

  • 论文标题:STAR-PólyaMath: Multi-Agent Reasoning under Persistent Meta-Strategic Supervision
  • 论文链接:arxiv.org/abs/2605.19338v1
  • 开源链接:github.com/Julius-Woo/STAR-PolyaMath
  • 第一作者:吴嘉骜(清华大学人工智能学院 T-STAR Lab 博士生)
  • 通讯作者:张宪(微软亚洲研究院首席研究员)、董胤蓬(清华大学人工智能学院助理教授)

框架灵感来源于波利亚(George Pólya)在《How to Solve It》中提出的解题步骤——理解问题、制定计划、执行计划、回顾反思,并结构化为四个阶段:探索、规划与分解、逐步执行与挑战循环、解答生成。

长程推理的三重困难

前沿大模型在常规推理上已经非常强大,但面对需要多步探索、假设验证、甚至推倒重来的长程推理时,三类系统性的失败模式反复出现。

幻觉累积与可信性问题。 模型倾向于对自身的中间结论保持高置信度,一个看似微小的错误(例如边界情况的遗漏)会在后续推导中不断放大。

跨尝试的记忆丢失。 当一条证明路径失败需要回溯时,大多数系统要么保留过多上下文信息导致无法准确定位错误,要么丢失之前尝试的关键信息,结果是反复尝试已经被证伪的方向。

推理与工具使用的失衡。 运行代码是可靠的验证手段,但经过工具使用数据训练的模型会系统性地偏向代码而忽视数学结构的发掘。反过来,纯自然语言推理又难以处理需要符号化构造的问题。

核心架构:三个智能体角色

整个框架由一个无推理能力的 Python 编排器(Orchestrator)协调三个智能体角色。

Reasoner(推理者)

负责实际的问题求解:探索问题结构、提出计划、执行每一步的推理或计算,并在受到质疑时为自己的论证辩护。它的输出始终需要通过验证环节。

在一次尝试(即顺序执行一个计划)中,Reasoner 保留完整记忆;但在回溯和重新计划时重置记忆,以减少错误推理的污染。

Verifier(验证者)

对 Reasoner 的输出进行独立审查,不保留记忆。审查有两个门控机制:

  • 目标门(Goal Gate):检查该步骤是否真正完成了计划中声明的目标,防止「语义漂移」(即论证正确但仅完成了平凡的解答)。
  • 逻辑门(Logic Gate):审查推理内容的正确性。

审查后给出四种判定之一:通过(Accept)、质疑(Challenge)、回溯(Trace-Back)或重新规划(Propose-Replan)。

Meta-Strategist(元战略家)

这是该框架最关键的创新。它不执行任何具体的数学推理,而是在更高层面给出指导——就像一位经验丰富的导师。它在整个问题的解决过程中保持单一持久会话,积累所有之前的尝试、被放弃的策略以及长期存在的失败模式。

STAR-PólyaMath 的系统工作流,三个智能体角色循环驱动

在关键时刻,Meta-Strategist 会给出具体的策略建议,例如在 Verifier 提出重新规划时做出最终裁决。当检测到 Reasoner 连续陷入无意义的计算等待时,它可以发出强制性指令,要求切换到禁止使用代码的纯推理模式。

一个典型案例

MathArena Apex 2025 Problem 2(源自 Turkey TST 2025 P5)是一个典型案例,正确答案是 k = 1/2。开启最高思考强度的 GPT-5.5 对这道题进行了 8 次独立尝试,只对了 1 次——它快速收敛到某个次优构造(得出错误答案 3/4),并努力提供逻辑自洽的论证来支撑这个错误结论。

在同一个问题上,STAR-PólyaMath 的 Reasoner 第一次尝试同样失败(得出 3/4),但 Verifier 始终质疑其证明过程。经历三次超时失败后,Meta-Strategist 做出一个关键判断:「这个方向是根本错误的」,明确禁止后续推理重新锚定在 3/4 上,并授权重新规划。新方案找到了一个更密集的构造,将结果推至 1/2,并通过数学推导和实际构造代码验证完成了严格证明。

💡 提示:基座模型替换实验清楚地表明性能提升来自结构化推理 harness 框架,而非模型本身。将基座模型从 GPT-5.5 替换为 GPT-5.2 或 Claude Opus 4.7 后,框架仍然在所有基准上超越对应模型的直接调用结果。这意味着你可以用更便宜的模型达到接近的效果。

验证机制:分层验证标签

STAR-PólyaMath 通过分层验证标签让长程推理的每一步都具有可检验性。每个中间断言都必须标注为:

  • [verified]:已执行代码验证
  • [easy-verify]:可通过简单计算检查
  • [hard-verify]:需要严格的数学审查

这套标签决定了 Verifier 的审查力度,代码验证的结果被直接视为可信,纯数学论证则接受最严格的逻辑审查。

从实际运行统计看,这种分层策略体现了清晰的适应性:

  • AIME、HMMT(计算为主):约 36-43% 的断言通过代码验证
  • IMO、Putnam(证明为主):85% 以上的断言属于 [hard-verify]

实验结果

STAR-PólyaMath 使用 GPT-5.5(xhigh effort)作为三个智能体的基座模型,在 8 个顶级数学竞赛基准上全部取得最优成绩。

STAR-PólyaMath 在 Apex 2025 上达到 93.75%,领先同基座 GPT-5.5 达 13.5%

亮点数据:

  • Apex 2025:达到 93.75%,而直接调用同基座 GPT-5.5 仅为 80.21%,差距达 13.5%。这是需要多步证明和策略切换的最难问题,也是 Meta-Strategist 发挥最大价值的场景。
  • AIME 2025/2026、Putnam 2025、HMMT 2026:获得满分。

计算开销与问题难度高度相关:

  • AIME 级别:平均 8 分钟完成,100% 在探索阶段直接解决,几乎不触发 Meta-Strategist。
  • Apex 2025、IMO 2025 级别:平均耗时 55 分钟以上,Meta-Strategist 平均每题介入 1.6-2.2 次。

框架不会对简单问题施加不必要的开销,但在真正困难的问题上投入充足的计算资源进行探索推理。

超越数学:一种可泛化的推理范式

STAR-PólyaMath 的设计并不依赖数学领域的特殊性质。其核心机制(将长程任务分解为可验证的子步骤、结构化检验每一步、跨尝试记忆、高层次监督)本质上适用于任何需要长程、可回溯、可验证推理的场景。

  • 代码生成:类似的框架可以把「生成-测试-调试」循环结构化为带回溯的状态机,Meta-Strategist 在反复修补失败后判断「当前架构方向本身有问题,需要重写」。
  • 科学发现:Reasoner 提出假设和实验设计,Verifier 审查实验结果,Meta-Strategist 在多轮失败后判断「应该修正实验方法还是底层假设」。

项目已开源完整的代码框架、所有角色的 prompt 和 skill 定义、运行配置,便于社区将这套推理协议迁移到其他领域。

💡 使用建议:如果你的工作涉及需要多步验证的复杂推理(数学证明、算法设计、科研探索),可以直接基于开源代码尝试。对简单任务不要套用全套框架——AIME 级别的问题 100% 在探索阶段就解决了,多余的智能体调度只会增加成本。

所有文章

作者

avatar for toolin小编
toolin小编

分类

  • AI产品
项目背景长程推理的三重困难核心架构:三个智能体角色Reasoner(推理者)Verifier(验证者)Meta-Strategist(元战略家)一个典型案例验证机制:分层验证标签实验结果超越数学:一种可泛化的推理范式

相关文章

Codex 三种电脑操作模式使用指南
AI教程

Codex 三种电脑操作模式使用指南

Codex 的 Computer Use、Chrome 插件、应用内浏览器三种操作模式各有适用场景,本文拆解权限体系并给出最佳实践。

avatar for toolin小编
toolin小编
8小时前
Seko 无限画布:一个灵感生成武侠大片
AI教程

Seko 无限画布:一个灵感生成武侠大片

Seko 搭载 Seedance 2.0 全能模式,通过 Agent 工作流自动生成剧情、角色和分镜,720P 成本直降 50%,10 分钟出片。

avatar for toolin小编
toolin小编
8小时前
MaineCoon:史上最快流式音视频社交模型
AI产品

MaineCoon:史上最快流式音视频社交模型

Catnip 团队推出 22B 参数流式音视频模型 MaineCoon,单卡 H100 跑出 47.5 FPS,成本仅为 Veo 3 的 1/2000,支持 30 分钟以上音画同出。

avatar for toolin小编
toolin小编
8小时前