红皇后哥德尔机:让 AI 自己造更严苛的考官,把自己逼向极限

二十年来，AI 自我改进一直被一个假设锁死：考官是不变的。

不管 agent 怎么进化、怎么淘汰自己、怎么变异出更聪明的代码变体——给它打分的那个 benchmark、那个验证器，始终钉死在循环外面，一动不动。这篇来自剑桥和英伟达的论文《The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators》，要把这道锁砸掉。

一个被困了二十年的思想实验

2003 年，Jürgen Schmidhuber 提出了一个堪称完美的设想：一台能证明自己的修改有益，然后亲手改写自身代码的机器。名字叫哥德尔机。

理论上，它一旦启动就能源源不断地自我升级，没有上限。

但有一个致命门槛——每次改代码之前，它必须先从数学上严格证明这次改动一定有益。现实里这几乎不可能做到，所需的算力堪称黑洞。于是二十年来，哥德尔机只能躺在论文里，当谁都够不着的天花板。

近两年学界绕开了证明这道坎。达尔文哥德尔机（DGM）、赫胥黎哥德尔机（HGM）干脆改用进化——让 AI 繁殖出大量代码变体，扔进沙盒跑分，失败的淘汰，成功的保留。AI 终于开始字面意义上地进化自己。

但所有这些方法都有同一个盲点：它们的考官是死的。

这恰恰违背了进化最核心的规律。Van Valen 在 1973 年提出红皇后假说：物种必须不断奔跑才能停在原地，因为对手也在进化。物种从来不是在静止的环境里优化自己，而是和不断变化的环境一起改变。

不管 AI 怎么进化，给它打分的那个 benchmark、那个验证器，始终被钉死在循环外面，一动不动。

当 AI 在进化，而评估标准不变，就会出现三种翻车：开放任务没有 ground truth（论文写作好不好？数学证明够不够严谨？）；评估信号太弱，agent 拿不到有用的改进方向；静态 benchmark 被奖励黑客攻破——agent 学会了骗系统，而不是真的变强。

红皇后哥德尔机：让考官也进化

Red Queen Gödel Machine（RQGM）要破的，正是这道盲点。它的核心想法一句话就能说清楚：把评估器也扔进进化循环，让它和任务 agent 一起变强。

具体做法叫受控效用进化（Controlled Utility Evolution）。听起来复杂，拆开看就三个规则。

规则一：epoch 内冻结。每个训练周期（epoch）内，评估器是锁死的，给所有人打分，保证信号稳定。这跟体育比赛的裁判一样——一场比赛里不能换人吹哨。

规则二：epoch 边界换人。只有在一个周期结束、下一个周期开始时，才允许换考官。而且新考官必须拿着一份固定不变的标准答案（ground-truth anchor），在统计意义上打赢老考官，才能上位。

规则三：选择性擦除。一旦换人，系统只丢掉被换掉的考官打过的那些分数，其余证据全部保留。不搞一刀切，不浪费已经积累的知识。

既要狂奔进化，又要每一步都站得住脚。

底层实现上，RQGM 采用多 agent 架构。每个 archive 节点不是一个单 agent，而是一个可进化工作空间，包含 K 个 agentic roles——既有任务 agent，也有评估器。评估器依赖的 role（比如论文写作没有 ground truth）使用可替换的评估 slot，slot 在 epoch 边界被更强版本替换。

图1：RQGM 架构。Agent 和评估器在 epoch 内各自进化，epoch 边界通过 ground-truth anchor 替换评估器。

替换的依据是 ground-truth anchor——一个固定的、held-out 的标注数据集。候选评估器按 ε-best-belief 分数排名（基于 Beta 后验），最优者成为下一 epoch 的评估器。因为 anchor 跟评估器无关，跨 epoch 的一致性得以保证。

Uj(a) = (1/|R|) Σr∈R pr,j(a)

效用先按角色内任务均匀平均，再跨角色均匀平均——搜索对所有角色平等激励

评估器替换的成本被摊销：通过指数间隔的 checkpoint 调度，暴露于擦除的记录数量只随搜索预算 B 线性增长 O(B)，而非每个评估后都允许效用转换时的 O(B2)。

理论保证：三根柱子撑住天花板

Epoch-Local Validity。每个 epoch 本身就是一个固定准则搜索问题，HGM 的逐 epoch 收敛保证在每个 epoch 内直接适用。冻结期内没有不确定性。
Anchor-Guided Improvement。评估器只有在其 best-belief 分数在固定 anchor 上提升时才被晋升，因此评估器不仅在每个 epoch 内改进，跨 epoch 也在改进。anchor 是一根不会动的尺子。
Amortized Transitions。评估器替换的簿记成本与搜索预算线性相关，不产生额外渐近开销。共同进化不会在标准 archive 搜索之外"偷吃"计算资源。

三场硬仗

第一仗：代码审查

即使在有固定 benchmark 的可验证任务上，RQGM 也能做得更好。它给写代码的 agent 配了一个"代码评审员"当陪练。评审员只需查一次代码就能给出有价值的信号，而标准 coding agent 需要多轮跑测试才能验证正确性。

通过率从 SOTA 的 69.9% 提到 71.7%，token 消耗只有对手的58%–74%。评审员比反复跑测试便宜太多了。

这个结果说明，即使评估标准不需要进化（有固定 benchmark），RQGM 添加的 agent-as-a-judge 信号本身就能提升效率。代码审查是一种"便宜的高质量评估信号"。

图2：代码审查。RQGM 以 1.35×–1.72× 更少的 token 达到 SOTA 通过率。

第二仗：论文写作

论文好不好，没有标准答案。没法写个脚本自动判分。这正是 co-evolution 发挥最大威力的场景。

RQGM 让写手和评审一起进化。几轮之后，论文在一个固定评审小组里的接收率从前 SOTA 的 21.8% 直接飙到了 40.5%——接近翻倍。

注意 RQGM writer 在所有评审小组（包括 DGM-H 和 RQGM 自己的对抗评审员）下都大幅领先，不只是对某一个评审组过拟合。

第三仗：数学证明

在证明撰写上，RQGM specialist prover 达到了最佳 panel 平均分 4.33 和 Pass@6 率 61.7%，接近 IMO25 金牌基线——而且不需要手工设计竞赛 scaffold。

图3：评估器替换永久重排 archive。新标准让不同候选者浮出水面。

最精彩的一笔：治好了 LLM 的自恋

LLM 当裁判有个出了名的毛病——偏爱 AI 生成的内容。论文里最强的基线审稿人，接受 AI 写的论文的概率，是接受人类论文的1.91 倍。

RQGM 的治法很巧妙。在 epoch 边界换考官时，它把旧考官之前放过的 AI 论文捞出来，组成一个"对抗样本池"，然后专门奖励那些能把这些 AI 论文揪出来打回去的新考官。

进化几轮之后，最终评审对 AI 和人类一视同仁，同时保住了 80% 的真值准确率。

这件事只有 co-evolution 能做到。如果评估器和生成者独立进化，生成者可以奖励那些"喜欢自己的"评审；但共同进化迫使它们在同一框架下博弈，谁也没法偷懒。

图6：对抗性评审修正 self-preference bias。进化后对 AI 和人类论文接受率趋于一致。

评估器进化本身也值得单独讲

RQGM 进化出来的 grader 以3 倍更低的 token 成本（9.3M vs 28M）达到了最高的 IMO-GradingBench 准确率。HGM-H 的 grader 在 28M token 后就找不到更强版本了，而 RQGM grader 早早就超越了它。

图5：Co-evolved grader 以 3× 更低 token 成本达到最高准确率。

每次评估器替换还会永久性地重排 archive 排序——新的更严格标准让不同的候选者浮出水面。选择性擦除是实现这个效果的关键：不擦除的控制组 Spearman ρ ≥ 0.90，几乎没变化；有擦除的组 ρ 显著下降且不恢复，说明确实找到了之前被低估的好方案。

图4：评估器替换保留最优谱系，同时重排其余候选。

说到底

二十年来把哥德尔机关住的那道墙叫"证明"。RQGM 绕过了它，用的是最朴素的一招：让 AI 自己造更严苛的考官来淘汰自己，活下来的，就是更强的。

三个关键设计让它可落地：epoch 内冻结保证收敛、ground-truth anchor防止漂移、选择性擦除避免跨 epoch 证据污染。对抗性目标修正 self-preference bias 的案例尤其精彩——利用受控效用进化在 epoch 边界修改搜索目标，而理论上 per-epoch 保证不受影响。

图7：三个领域各自配对生成器、可学习评估器和 ground-truth anchor。

这不再是理论天花板了。问题已经不再是"能不能自我改进"，而是——当 AI 开始自己定义"什么才算好"，我们还跟得上吗？

论文原文：arxiv.org/abs/2606.26294

PaperDog · 论文狗