一道数学竞赛题,GPT-5.5独立做了8遍,只对了1次。
剩下7次,它全都一头扎进同一个错误方向,还越写越自信,把一个错误的答案包装得天衣无缝。
清华大学、微软研究院、纽约大学和MIT联合团队的论文里,记录的就是这组真实实验数据。他们给这个"死不悔改"的毛病,开了一剂药方,一个会在AI犯浑时站出来打断它的旁观者角色。
结果,同一个基座模型,装上这套系统后,在八大顶级数学竞赛基准上全部刷到世界最优,其中AIME、Putnam、HMMT三项拿到满分。
一道题,AI反复栽进同一个坑
先说那道要命的题。
题目改编自Turkey TST 2025 P5,研究者叫它"Zigzagging Chessboard"(之字棋盘),本质是求一个关于多边形边界方格计数的最优常数k。正确答案是k = 1/2。
GPT-5.5用最高推理强度(xhigh)独立跑了8次,只蒙对1次。剩下的7次里,模型几乎每次都很快锁定同一种"chain-of-pluses"(连加号链)构造方式,据此推出一个通用上界k = 3/4,然后开始给这个错误答案找补论证,把整个推导写得逻辑自洽、有理有据。
这套推导从根上就错了,只是包装得像模像样。
这恰恰戳中了当前最强大语言模型的软肋。论文摘要这样写道:
"Existing systems continue to suffer from fundamental reliability issues: hallucination accumulation, memory fragmentation, and imbalanced reasoning-tool trade-offs."
「现有系统仍然受制于根本性的可靠性问题:幻觉在推理链条中不断累积、记忆碎片化导致失败教训无法沉淀,以及推理与工具调用之间失衡的取舍。」
模型会顺着一条看似合理的路线不停打补丁、加论证,写出局部自洽甚至相当有说服力的推导;但它缺一个机制去判断眼前这条路只是死胡同,不值得再打磨下去。人类高手卡在难题上时,能凭经验判断"现在缺的是技术细节,还是整个思路从一开始就错了",然后果断推倒重来。AI恰恰缺这份元认知。
清华、微软、纽约大学、MIT开出的药方
针对这个顽疾,清华大学人工智能学院一年级博士生吴嘉骜(Jiaao Wu)牵头,联合微软亚洲研究院首席研究员张宪(Xian Zhang)、清华大学助理教授董胤蓬(Yinpeng Dong)、纽约大学的刘汉章(Hanzhang Liu)、MIT的张苏菲亚(Sophia Zhang)以及微软研究院的杨帆(Fan Yang),提出了一套名为STAR-PólyaMath的多智能体框架。



▲ 机器之心在X上的发布:「AI能否在不陷入死循环的情况下解决最难的数学问题?」清华、微软研究院、纽约大学和MIT提出STAR-PólyaMath,配图为持久元策略师监督下的四阶段系统工作流。
名字里的"Pólya",致敬的是数学教育家George Pólya那本经典的《How to Solve It》(1945)。Pólya总结过人类解题的四步元语言:理解问题→制定计划→执行计划→回顾。前三步,现有的AI推理系统多少都能模仿;唯独最后一步"回顾",那种知道自己卡在哪、该在何时推倒重来的能力,一直没被真正结构化实现过。
STAR-PólyaMath干的,就是这件事。它把"回顾"这个动作,交给一个贯穿全程、拒绝失忆的角色。
拆开这套系统:一个不会推理的"包工头",加三个会推理的"打工人"
整套系统由一个没有推理能力的Python Orchestrator(编排器)统筹调度,底下管着三个LLM角色。GitHub项目页是这么描述的:
"STAR-PólyaMath couples a Python orchestrator with three LLM agents , a Reasoner, a Verifier, and a persistent Meta-Strategist , running on top of the GitHub Copilot CLI."
「STAR-PólyaMath将一个Python编排器与三个LLM智能体绑定在一起,一个推理者、一个验证者,以及一个持久的元策略师,运行在GitHub Copilot CLI之上。」
具体分工是这样的:
Reasoner(推理者)是主力选手。探索阶段负责枚举小案例、找规律、打草稿;规划阶段把问题拆成6到10个编号步骤;执行阶段一步步产出结果,并在被挑战时负责辩护。
Verifier(验证者)是独立的严格审查官,自己不记跨步的账,专门挑毛病。它有两道关卡:Goal Gate检查这一步有没有真正完成它声称的目标(防止"悄悄换了个问题来做"),Logic Gate则按证据强度分级审查,代码跑出来的结果照单全收(标记为[verified]),简单计算简单核实([easy-verify]),复杂的数学论证则要逐字逐句严审([hard-verify])。两边意见不合,还能展开最多5轮的结构化辩论。
Meta-Strategist(元策略师)才是真正的杀手锏。它是全程唯一一个从问题开始到结束都不换会话、不丢记忆的角色。它记得每一次失败的尝试、每一条被放弃的思路、每一种反复出现的死循环模式。一旦Reasoner超时或陷入僵局,它就出面给出高层战略指导,极端情况下甚至会强制Reasoner切换到"纯推理模式"、禁止调用代码;最终它还要在Continue(继续)、Trace-Back(回溯)、Approve-Replan(批准重新规划)和Abort(放弃)之间做裁决。
论文原文形容这个设计的目的:
"So the system can escape unproductive loops rather than stagnate or over-rely on tools."
「这样系统就能跳出低效循环,避免原地停滞,也避免过度依赖工具蛮力搜索。」

▲ arXiv论文页面:作者横跨清华大学、微软研究院、纽约大学与MIT四家机构,摘要明确指出增益来自框架编排而非模型多样性。
回到那道要命的题:元策师怎么把AI从坑里拽出来
前面提到的Zigzagging Chessboard问题,STAR-PólyaMath的第一版计划(Plan v1)其实也一头栽了进去,同样锁死在那个"chain-of-pluses"构造上。
Verifier在第4步发起挑战,Reasoner连续三次超时,局部回溯也没能救回来。
这时候,持久的Meta-Strategist发挥作用了。它把三次失败的记录汇总在自己的会话记忆里,做出一个关键诊断:这个上界从根子上就错了,压根谈不上"尚待证明"。它随即下达Approve-Replan指令,并且明确禁止后续任何方向再锚定3/4这个数字,也不许重复使用那套构造方式。
被逼着另起炉灶后,新一轮探索发现了一种更密集的4×4结构模式,比率正在向1/2靠拢。团队用代码在6234个简单连通多边形上验证了一个关键的cap-map论证(a3 ≤ a1 + 2a2,标记[verified]),最终确认了正确答案:k = 1/2。
这就是持久元策师的价值所在,它把"接连失败"这件事,从一堆散乱的挫折,转化成一条结构化的知识:"这个方向本身就是错的",然后死死摁住系统,不让它在同一个错误吸引子里空转。
横扫八大基准:同一个模型,换个"管理方式"就起飞
标准配置下(三个角色全部用GPT-5.5,推理强度拉满),STAR-PólyaMath在八个顶级竞赛基准上全部拿到已知最优成绩:
AIME 2025:100% MathArena Apex Shortlist:94.27% - MathArena Apex 2025:93.75%
(对比同基座GPT-5.5裸跑的80.21%,提升13.54个百分点,是所有基准里差距最大的一项) Putnam 2025:100% IMO 2025:88.69 AIME 2026:100% HMMT February 2026:100% USAMO 2026:99.40
Apex 2025由ETH Zurich等机构维护,专挑那些让前沿模型"稳定翻车"的2025年真实竞赛题,12道题此前平均正确率一度不到5%。能在这个基准上把裸模型甩开13.5个百分点,说明这套系统真正对症下药的地方,是"聪明的模型不知道自己什么时候该认输"这件事本身。

▲ 机器之心报道原文提出的核心问题:被一道数学竞赛题卡住时,高手能准确判断"现在缺的是技术细节,还是整个思路从一开始就走错了",而这正是当前大模型最欠缺的元认知能力。
消融实验:真正起作用的,是"编排"本身
团队用相对便宜的All GPT-5.2(h)配置跑了消融实验(四次平均),拆解出几个关键结论:
去掉trace-back和re-plan机制,IMO 2025的成绩从75%骤降到33.33%,Putnam和Apex也大幅跳水,跨步骤的错误恢复能力,是整套系统里最核心的机制。
彻底移除Meta-Strategist,性能全面崩溃。
去掉"持久"这个属性(改成每次都开新会话),IMO 2025的成绩甚至比完全没有Meta-Strategist还差,没有记忆支撑的临时干预,反而成了噪音。
不让Reasoner反驳Verifier,Putnam成绩从91.67%跌到75%。
换掉底层模型的实验同样耐人寻味:把三个角色换成Claude Opus 4.7或GPT-5.2,或者Reasoner/Verifier用一个模型、Meta用另一个模型混搭,结果都不如统一用GPT-5.5,但依然远远超过对应的裸模型基线。这证明了论文反复强调的那句话:
"The secret: smart orchestration, not model diversity."
「秘诀在于智能的编排,而非模型多样性。」
运行时间上也有意思的分野:AIME这类题平均8分钟就能在探索阶段解决,几乎不触发Meta-Strategist;而Apex、IMO这类高难题平均要跑55分钟以上,每道题Meta-Strategist要出手干预1.6到2.2次。
代价与边界:好处是真金白银换来的
好处很实在,代价也不小。多角色多轮调用意味着算力成本高,难题的wall-clock时间能拖到几个小时,token消耗量巨大,这套系统更适合看重正确性、不计较速度的场景。
而且它的验证手段目前主要靠自然语言加Python代码,没有接入Lean这类形式化证明后端。那些标记为[hard-verify]的复杂数学论证,最终审核质量还是取决于Verifier这个LLM角色本身的能力上限。
另外一个现实是,多个基准已经被刷到99%以上甚至满分,天花板肉眼可见。研究者也坦言,未来的试金石应该是那些没有标准答案、需要连续数天保持新颖思路的开放性研究级数学问题。
数学只是起点
论文和报道都反复点出同一个判断:前沿大模型早就有足够的知识储备,真正拖住它们的是harness(框架)设计和结构化思考方式。STAR-PólyaMath的核心,可验证的子步骤、结构化的检验、跨尝试记忆、高层监督、经验指导,本身并不依赖数学这个学科的特殊性。
团队设想的迁移方向包括:代码生成里的"生成-测试-调试"循环,同样可以结构化成带回溯的状态机,让Meta-Strategist在反复失败后判断架构方向本身有没有错、要不要推倒重写;科学发现场景里,Reasoner负责提出假设和实验设计,Verifier审查实验结果,Meta负责综合判断"该改方法,还是该改底层假设"。
更重要的是,整个项目已经完全开源,prompt、skills、配置、运行脚本一应俱全,任何团队都能拿去复用这套编排协议。

▲ GitHub仓库README写明:项目将Python编排器与Reasoner、Verifier、持久Meta-Strategist三个智能体绑定,运行在GitHub Copilot CLI之上,任何人都能复现。
那道被GPT-5.5反复做错的题,最后靠一个"不许再犯同一个错"的持久监督者被纠了回来。这背后藏着一个更大的判断:算力和知识,前沿模型早就够用了,真正稀缺的是那份知道自己"该认输、该重来"的分寸感。
而这份分寸感,现在第一次被写成了代码。
夜雨聆风