ARTICLE · 1227120

AI 比我们聪明那天,谁来判断它说得对不对?

发布时间：2026-10-22 09:34:55 最近访问：2026-10-22 09:34:41

——507 名人类裁判与 8 个 AI 模型的同台实验

如果有一天，AI 比我们所有人都聪明，谁来判断它说得对不对？

想象这样一个清晨：AI 给你开出一份医疗方案，替你起草了一份合同，还为孩子规划了升学路径。它懂得比你多得多，说得比你笃定得多，而你甚至看不出错在哪里。

你想到了一个办法：再请一个 AI 来把关。可第二个 AI 一样聪明，一样可能把你绕进去——更麻烦的是，它未必需要真的正确，只要学会迎合裁判的偏好、钻你直觉的空子，就能拿高分。这在 AI 安全研究里有个名字，叫“裁判劫持”，就像一个学生发现老师喜欢字迹工整，于是把错答案抄得漂漂亮亮。

这是 AI 安全领域最要命的问题：监督能力，追不上被监督对象的能力。 2026 年 10 月，一组研究者把这个问题搬进了真实实验室：507 名普通人和 8 个 AI 模型坐上同一张裁判席，接受同一套题目的考验。结果像一面镜子——人类裁判越辩越明白，AI 裁判却常常越辩越糊涂。

当最聪明的那个声音开口，谁能听出它有没有在撒谎？

撒谎，比反驳谎言更难？

先说说研究者们的如意算盘。

现在训练 AI，很大程度上靠人类反馈：人看 AI 的输出，判断好坏。可当任务复杂到超出人的评估能力，这条路就失灵了——你看不出它的错误，也看不出它是否心怀鬼胎。可扩展监督（Scalable Oversight）研究的正是：如何监督比人更强的 AI 系统。

2018 年，Irving 等人提出一个优雅的思路——AI 安全辩论：让两个能力相当的 AI 分别替正反两个答案辩护，再请一位裁判（可以是人，也可以是较弱的模型）判谁在维护正确答案。裁判可以提问，也可以中途改变看法。

法庭是最直观的类比：原告律师与被告律师各执一词，法官未必懂医学，但双方互相盘问、互相揭短，真相往往比单方陈述更容易浮出水面。

这套机制的理论根基，是一句很有画面感的话：“令人信服地撒谎，比反驳谎言更难。” 谎言像一座纸牌屋，圆一个谎要再编十个谎，而拆穿它只需指出一处对不上的地方。因此，辩论天然偏向诚实的一方。

但这个设想有个软肋：裁判是人。人并不中立，靠先验信念、直觉和偏见做判断。于是论文追问一个具体问题——辩论能不能把裁判从错误的先验信念里拉出来？ 如果我原本就想错了，听完一场辩论，我是被拉回正道，还是被推到更深的沟里？

此前关于辩论式监督的证据，大多来自理论分析、模型对模型的博弈实验，或规模较小的人类研究。很少有人把人类裁判和各档位的 AI 裁判放进同一套题目、同一个流程里严格对照。这篇论文补上了这块拼图，还特意把“裁判原本就想错了”这种最难的情况单独拎出来测量——这是理解它全部结论的钥匙。

507 人、100 个知识点、200 场辩论

要证明辩论起了作用，光看辩论后答对没用——万一人家本来就会呢？所以实验用了经典的前后测设计：就像体检前先量体温、吃药后再量一次，两次的差值才能归功于那场辩论。

先看人类这一侧的规模。

- 507 名裁判：共招募约 690 人，按预设标准剔除后保留 507 人。

- 100 个数据点：10 个一般主题 × 10 个子话题。每题写成一对互相矛盾的陈述，一句对、一句错。

- 200 场不同辩论：每题生成正反两场，交换发言先后，用来控制位置偏差——谁先说谁占便宜。

- 辩论规则：共 3 轮，每位辩手每轮不超过 100 词。辩手和咨询顾问都由 Claude Opus 4.5 扮演。

- 先报把握再表态：裁判表态前要给一个 0–100 的置信度。答案变对、信心也稳，是真学习；答案变错、信心反而爆棚，是被忽悠。

更关键的是赛前的一次分流。研究者先问裁判一句：这两句话里哪句是对的？答对的叫 grounded（先验正确），答错的叫 erroneous（先验错误），两拨人各约占一半。这个分组叫 GPB（General Pre-Belief，总体先验信念）。

它让实验能双向测量：不仅看辩论把错的人拉回来多少，也看辩论会不会把原本正确的人带歪。如果“撒谎比反驳谎言更难”真的成立，那么把人带歪，应该比把人拉回难得多。

实验是 5×2 的被试间设计：每人只经历一种监督方式，再与先验正确/错误交叉。五种协议如下：

| 协议 | 通俗说法 |

|---|---|

| 咨询 | 一位专家单向答疑，不许反驳 |

| 辩论 | 两个 AI 辩手正反交锋，分同子话题与跨子话题 |

| 投票 | 多个裁判独立判断后表决，分三人投票与加权投票 |

| 协商 | 多名裁判互相讨论后达成判断 |

| 混合协商 | 1 名人类 + 2 个 LLM 一起讨论 |

其中咨询是最重要的对照组：如果辩论有效而咨询无效，说明起作用的不是“多听了一段专家的话”，而是“正反交锋”本身。

统计上也上了保险：事先用 G*Power 做功效分析，在中等效应 f=0.25、显著性水平 α=0.05、检验效能 0.80 的设定下，算出至少需要 200 名被试——实际 507 人，绰绰有余。

*图：实验全流水线与协议变体、GPB 引出方式（实测、人设、直接提示）*

AI 这一侧，研究者请来 8 个模型当裁判：闭源的 Claude Sonnet 4、GPT-5.2、GPT-4o、Gemini 3 Flash、Gemini 2.5 Pro，开源的 Qwen2.5-7B-Instruct、Gemma-3-4B-IT、Llama-3.1-8B-Instruct。

给 LLM 注入错误先验用了三种办法：系统提示、人设提示（17 个 demographic persona）、人设封顶（persona capping，20 个人设：10 个 grounded + 10 个 erroneous，每个 3 种描述变体）。LLM 裁判的决策次数超过 75,000 次。

统计上用 McNemar、Wilcoxon 配对检验、Fisher 精确检验、Mann–Whitney，并做 Holm–Bonferroni 多重比较校正。通俗说：一次做几十个检验，纯靠运气也会撞出几个显著，校正就是把门槛调严，防止自欺欺人。

人类：越错的人，被纠正得越多

先看人类裁判的总账（N=507）：

| 协议 | 前测 | 后测 | 变化 | 显著性 |

|---|---|---|---|---|

| 同子话题辩论 | 41.3% | 57.6% | +16.3 个百分点 | p=.028，显著 |

| 咨询 | 51.25% | 48.75% | −2.5 个百分点 | 不显著 |

| 三人投票 | 43.06% | 62.50% | +19.44 个百分点 | p=.028 |

| 加权投票 | 45.83% | 65.28% | +19.44 个百分点 | p=.028 |

| 混合协商 | 50.48% | 57.14% | +6.66 个百分点 | 不显著 |

第一，纠错的方向正是想要的方向。 按 GPB 分组看，先验错误的人准确率从 20.0% 升到 44.4%（+24.4 个百分点），先验正确的人从 61.7% 升到 70.2%（+8.5 个百分点）。发生信念反转的人里，从错翻到对的占 20.65%，从对翻到错的只有 4.35%。辩论主要在修错，而不是把明白人带糊涂。

在人类裁判身上，“撒谎比反驳谎言更难”成立了——错得越离谱的人，被拉回来得越多。

第二，咨询把人变得又错又自信。 只听一位专家单向讲解，准确率不升反降 2.5 个百分点，置信度却从 57.44 飙到 73.39（p<.001）。一边答得更差，一边更坚信自己对——这是很危险的组合。相比之下，辩论组置信度从 58.20 升到 67.89，且伴随准确率同步上升。

第三，投票表现出色。 加权投票达到 65.28%，是所有协议的最高值；三人投票也涨了 19.44 个百分点。多人协商（+11.02 个百分点）与混合协商（+6.66 个百分点）有提升，但经 Holm 校正后不再显著；跨子话题辩论提升 7.9 个百分点，对随机水平不显著。

把咨询与辩论放在一起，差别很深刻：咨询是单向宣讲，听者原有的错误理解没有机会被当面戳破，反而可能被讲解架得更自信；辩论是交叉质证，错误立场必须在对手的攻击下自证，破绽藏不住。同样是一场高质量的信息输入，有没有对抗性，效果截然不同。这也许就是为什么司法制度几百年来宁可费时费力，也要保留法庭辩论环节。

*图：人类裁判各协议的前后测准确率（grounded 与 erroneous 分色，95% 置信区间）*

AI 裁判：正的更正，错的更错

AI 这一侧的图景相当混乱：多数模型不但没受益，反而更糟。

Claude Sonnet 4（注入 GPB，同子话题辩论）：先验正确的裁判从 91.4% 升到 93.4%，更对；先验错误的裁判却从 13.1% 跌到 8.1%（−5.1 个百分点），更错。跨子话题辩论里跌得更狠：14.65%→5.56%（−9.1 个百分点，p=.032）。两股力量在平均值上正好抵消（52.27%→50.75%）。

只看平均分会误以为“辩论没影响”；拆开看，它在系统性地把模型推向被注入的信念——“正的更正，错的更错”。

这里藏着本文最重要的方法论提醒：只看平均分会漏掉真相。 如果实验只报一个平均分，结论会是辩论对 AI 裁判无效；只有拆开 grounded 与 erroneous 两组，才看得见那股双向推移。测量工具的精细度，决定了能看见什么。

咨询更极端。 Claude 的先验正确组从 92% 掉到 75%（−17 个百分点），先验错误组从 11% 升到 21%（+10 个百分点）。无论哪组，都被推向那个被诱导的信念。

无注入的 Claude Sonnet 4 起点就很高（约 85%），辩论后 −6.3 个百分点（不显著），咨询后 −7.8 个百分点（p=.041）。起点高、没提升空间，甚至略有倒退。

其他闭源模型各有各的拧巴。 GPT-5.2 的错误先验组从 16.7% 跌到 5.6%（−11.1 个百分点，更错），正确先验组倒是从 86.4% 升到 99.5%；Gemini 3 Flash 基本不动。只有两个模型真的被辩论纠正了：GPT-4o（错误先验组 +9.1 个百分点，平均 +7.07 个百分点，p=.022）和 Gemini 2.5 Pro（错误先验组从 3.5% 升到 20.2%，+16.7 个百分点，平均 +9.85 个百分点，p<.001）。

*图：LLM 裁判在各协议下的准确率（Claude Sonnet 4 + GPB 条件）*

开源小模型全军覆没。 Qwen2.5-7B、Llama-3.1-8B、Gemma-3-4B 在任何信念注入方法下，辩论都不带来提升。Qwen 加 GPB 后从 63.1% 掉到 43.8%（−19.3 个百分点，p<.01）；Gemma 在未注入条件下从 72.3% 掉到 47.5%（−24.8 个百分点，p<.01）。

更刺眼的是顺序效应：正确陈述先发言时，Qwen 判对 86.2%、Llama 86.7%、Gemma 71.6%；换成错误陈述先发言，三者分别只有 58.3%、53.4%、19.8%。

弱模型是被“先出现的论证”说服的，不是被真理说服的。

*图：开源模型按发言顺序的准确率——正确陈述先发言与错误陈述先发言的巨大落差*

多数派压倒正确派

多裁判面板出了意外。

非多样化的三人共识协商反而显著掉到 44.04%（协商阶段 48.96%→44.04%，−4.92 个百分点，p=.022）。其中先验正确占多数的面板，从 92.55% 滑到 81.91%。

全场唯一显著有效的多裁判方案，是多样化（不同模型混编）的七人协商：+6.03 个百分点（p=.006）。投票和加权投票都不显著；把裁判从 3 人加到 7 人，没有改善任何协议。

少数派动态更值得玩味：在非多样面板里，持正确答案的少数派更容易放弃正确答案（三人时 25.8% 对 17.7%；七人时 16.5% 对 8.6%）；而多样化面板把这个不对称反转了（三人时 18.7% 对 25.8%；七人时 11.1% 对 27.8%，七人交互 p<.001）。

谁是多数，而不是谁对，决定胜负——这直接挑战了“撒谎比反驳谎言更难”的原始前提。

还有一条耐人寻味的细节：LLM 的置信度在所有条件下平均下降 1.4–6.5 点，哪怕准确率在上升时也是如此。模型变对了，反而变犹豫了。

*图：LLM 裁判的协商动态——grounded 与 erroneous 在辩论、协商阶段的走势与少数派行为*

为什么：补信息，还是改信念

论文给出的机制解释可以归结为两条。

第一，辩论起作用的前提是“补给裁判缺的信息”。 人类裁判是非专家，起点只有 41.3%，辩论把他们缺的证据摆上桌面，所以他们能纠错。而这些知识点大多早已在 LLM 的训练数据里——无注入时起点就有约 85%，根本没有提升空间。可一旦被注入错误先验，模型不是“听完双方再判断”，而是把听到的一切往先验上靠，最后反向固化：正的更正、错的更错。

用一个类比：给一个不知道“维生素 C 不能治感冒”的人摆出正反证据，他会更新；给一台被设定好答案、又被告知“你现在的想法就是对的”的复读机摆证据，它只会把证据剪裁成支持自己的样子。

第二，能力不对称决定谁听得进新东西。 辩手是 Claude Opus 4.5。Claude Sonnet 4 与辩手能力太近，从对方那里学不到新信息；开源小模型又太弱，根本评估不了论证的质量，只能看谁先说、谁人多。反倒是人类与辩手差距最大，获益也最大。

不是越聪明的裁判越能从辩论中获益，而是“听得懂、但确实缺信息”的裁判获益。

第三条线索藏在多裁判实验里：当裁判群体同质、对称时，起作用的是“多数派地位”而不是“正确性”，错误立场有时比正确立场更有说服力。辩论机制的有效性，取决于裁判是谁、缺什么、以及群体怎么构成。

意义与警示

它支持人类监督路线。 对可扩展监督来说，这是个令人鼓舞的结果：辩论确实能把人类裁判——尤其是带着错误先验的裁判——拉向正确答案，而且纠错幅度（+24.4 个百分点）远大于把人带偏的幅度（对→错反转仅 4.35%）。如果未来需要人类监督超级智能，辩论是有实证支持的候选方案。

它警告全自动弱模型流水线。 近来流行一种省钱设想：用便宜的弱模型当裁判，去筛选、训练、控制昂贵的强模型。本文的数据给这条路泼了冷水：Claude Sonnet 4 被推向诱导信念，GPT-5.2 错的更错，开源小模型被发言顺序支配。在高风险场景里，不要假设辩论的好处能从人类自动迁移到弱模型。

它挑战了辩论理论的前提。 “撒谎比反驳谎言更难”并非放之四海皆准：当裁判群体同质、对称时，起作用的是“多数派地位”而不是“正确性”；错误立场有时比正确立场更有说服力。

对普通读者，还有一层朴素的启示：请教专家时，最好让他面对一个能提出反驳的对手；召集一群人讨论时，“先各自独立判断、再汇总表决”的投票协议（后测最高 65.28%，显著），在这批数据里好过“凑在一起讨论到一致”的多人协商（后测 62.99%，校正后不显著）。这两条都是人类实验里实测出来的，不是修辞。

局限：把数字放回边界

论文自陈了六条局限，读结论时请把数字放回边界里。

1. 能力不对称不足：闭源模型的辩手与裁判差距太小，混杂的 LLM 结果可能有一部分只是不对称没做够。

2. 任务结构简单：题目考的是领域知识，不是多步推理或长程任务，难以外推到监督真正吃紧的复杂任务。

3. 题目未经领域专家验证：陈述由作者撰写，可能有瑕疵。

4. LLM 信念注入不完美：用提示词诱导出的“信念”，可能只是指令遵循的权衡，而非真正的信念修正。

5. 多裁判结果只是初步的：变量混杂，只测了 3 人和 7 人两种规模，也没测“多样化面板加投票”这个组合。

6. 只测平均情况：辩手论证的是固定的指定陈述，属于平均情况，而非对抗性最坏情况下的稳健性。

这篇论文证明了“辩论能纠正人类的错误先验”，尚未证明“辩论能监督一切复杂任务”，更没有证明“弱模型能当好裁判”——恰恰相反。

一句话总结

辩论能把人从错误里拉出来；但如果你指望一个更弱的 AI 当裁判，它多半会把偏见越辩越牢。可扩展监督的希望，目前仍主要在人这一边。

从心理学的角度看，这组结果也许不算意外：单向灌输容易变成态度的自我强化，而交叉质证逼着每个理由在对手面前自证；至于群体讨论里多数与正确的角力，更是社会心理学反复观察过的老话题。论文引用了确证偏见、从众与少数派影响等研究作背景，但并未直接检验心理学机制——这些只是可以联想的视角，不是论文的结论。

相关学习资料