AI辩论的“一致性幻觉”:答案一致了,推理却更分裂?

三位agent独立为一位“症状性心动过缓”患者开出阿托品——答案完全一致，临床上也是正确的。但论文发现，它们给出的药理依据分别是β1肾上腺素能激动、M2毒蕈碱受体阻断和乙酰胆碱酯酶抑制，三种机制互相排斥。答案对了，理由却在打架。这就是论文所定义的“一致性幻觉”（consistency illusion）：多个agent在答案层面达成共识，并不意味着它们在推理层面也达成了一致。

[Figure 1: 一致性幻觉示意] 三个agent独立选择阿托品治疗症状性心动过缓，答案一致且正确，但各自的药理推理援引了三种互斥的靶点机制。

辩论减少矛盾，却让推理更不一致

当前多agent医疗问答系统的信任假设很直接：如果多个agent独立收敛到同一个答案，这个答案就被认为是可靠的。MedAgents、MDAgents、MCC等框架都遵循这一逻辑，通过辩论、协商和投票来回答临床问题，以准确率和答案一致性作为评估标准。

论文指出，这个假设是不完整的。现有评估衡量的是答案正确率或单个agent的推理忠实度，但从未有方法去检测：那些选了同一个答案的agent，它们的推理是否真正对齐？

为回答这个问题，论文提出了CARA（Cross-Agent Reasoning Alignment，跨agent推理对齐）指标族。核心变体CARA-HYB的工作方式是：先将每个agent的回答拆解为推理步骤，然后在达成答案共识的agent之间（即“共识集”，agreement set，至少两个agent选了相同答案时才计算），通过NLI矛盾检测做硬性过滤，再对未被标记为矛盾的步骤对计算嵌入余弦相似度。整个流程事后运行，不引入额外的LLM调用。

论文在两个医疗问答基准上应用CARA：(1) D1：MedQA-USMLE，N=500，封闭式四选一；(2) D2：MedThink-Bench，N=499，涵盖十个医学领域，答案选项3至10个，附带专家标注的推理轨迹。主实验使用Qwen 2.5 72B Instruct，并在D2子集（N=100）上用Llama 3.3 70B Instruct做跨模型复现。

[Table 1: 各系统在D1和D2上的CARA-HYB、CARA-SIM和矛盾率] 绿色行对应GDP辩论后（对齐最高），红色行对应标准辩论后（对齐最低，一致性幻觉的经验签名）。

结果显示了一个反直觉的模式：标准辩论从r0到r1，矛盾率（CR）和语义相似度（SIM）同时下降。矛盾少了，但推理也更不像了——这正是一致性幻觉的经验签名。论文指出，这种效应在D2上更为显著，因为D2更宽的答案空间给了推理更多分歧的余地。跨模型复现中，一致性幻觉效应在所有条件下方向一致：Cohen's d在D2 Qwen上为-0.30，在D2 Llama上达到-1.32。

一个提示词级别的修复方案

论文提出GDP（Grounded Debate Protocol，接地辩论协议），测试这种失败是多agent辩论的固有缺陷还是仅仅是协议层面的不足。GDP是纯提示词级别的改动，要求每个agent的输出包含三个结构化字段：CLAIM（一条原子性的、可证伪的临床断言）、GROUND（支持该断言的具名医学事实、机制或指南）、以及在辩论轮次中的STANCE（对其他agent的具体主张表态AGREE/DISAGREE/EXTEND，DISAGREE必须附带反驳依据）。此外还包含一条反谄媚规则：仅在看到更有说服力的GROUND或发现自身事实错误时才允许改变答案。

[Figure 2: 三个关键成对比较的Cohen's d森林图] GDP对比标准辩论在所有数据集-模型组合上均达到Tier A效应量（d>0.8），一致性幻觉对比在D2上显著为负。

GDP不增加LLM调用次数，不修改系统架构，token开销仅增长约9%。效果却很显著：GDP辩论后的推理对齐在所有测试条件下均获得大幅提升，Cohen's d在+1.43到+1.99之间。 系统整体排序中，M3-GDP r1对齐度最高，而M3 r1对齐度最低，标准辩论后的对齐度甚至低于不辩论的独立投票基线。

CARA靠得住吗？

三位医学标注者对50对共识集样本进行独立评分，标注者间Spearman相关系数在0.93到0.99之间，100%的分歧在1分以内。聚合评分与CARA-HYB正相关，且按CARA-HYB三分位单调递增：低/中/高分层的专家均分分别为4.00、4.65、4.71。GPT-4o作为LLM评判的校准也呈现严格的三分位单调性。论文强调，CARA衡量的是推理对齐而非推理正确性——高CARA分数意味着agent之间推理一致，不意味着推理正确。

边界在哪里？

论文在两个开源70B级模型和两个医疗问答基准上验证了结论，但也明确指出：CARA依赖离散答案匹配来定义共识集，对自由文本生成任务需要适配；GDP改善对齐但并未显著改变准确率；Llama的跨模型验证仅基于N=100的子集，统计效力有限。一致性幻觉在开放选项场景下更显著，推理空间越大、分歧余地越大，GDP的价值也相应越高。

论文原文标题：The Consistency Illusion: How Multi-Agent Debate Hides Reasoning Misalignment