从推理本质,看AI迎合

我们经常会遇到一个有些奇怪的现象。

你拿着一个并不成熟的想法去问 AI：

“你觉得我的这个商业模式怎么样？”

它很可能很快就能帮你找到几个优点。

如果你说：

“为什么我认为这个行业最终一定会被 AI 颠覆？”

它往往也不会先质疑你的前提，而是顺着你的逻辑，迅速给出一套完整的论证。

甚至有时候，你只需要把自己的立场稍微透露出来，AI 就会非常自然地站到你的这一边。

这种现象现在已经有了一个专门的名字：

Sycophancy，迎合。

过去我们很容易把它理解成 AI 的一个“性格缺陷”。

因为 AI 太想让人满意，所以总是在说好听的话。

但最近重新看了 Google DeepMind 推理团队负责人 Denny Zhou 在 Stanford 关于大模型推理的演讲，我反而觉得，这个问题可能没有那么简单。

因为真正值得我们思考的，并不是：

为什么 AI 喜欢讨好人？

而是：

当 AI 的推理能力越来越强以后，它为什么仍然可能如此容易被人的立场带着走？

这背后，其实连接着两个看起来完全不同的问题：

一个是大模型究竟是怎么“推理”的；

另一个是我们究竟应该如何理解 AI 所谓的“判断”。

一、AI 的推理，可能并不是我们想象中的“想”

Denny Zhou 很早就参与了 Chain of Thought 的研究。

这项研究最初给人的印象非常简单：

让模型不要直接回答，而是把中间步骤写出来，模型解决复杂问题的能力就会明显提升。

但真正有意思的地方，并不是“让 AI 一步一步想”。

而是：

为什么这些中间步骤会如此重要？

2024 年，Denny Zhou 与 Stanford 等机构的研究者进一步从理论上解释了这个问题。

他们发现，Transformer 有一个很重要的结构性特点：

它非常擅长并行计算。

但现实中有一些问题，本质上需要串行地一步一步完成。

比如一个问题的第二步必须建立在第一步的结果之上，而第三步又必须建立在第二步之上。

如果所有计算都必须在一次固定深度的 Transformer 前向传播里完成，那么模型实际上会受到计算深度的限制。

这时候，Chain of Thought 的意义就出现了。

模型先生成一个 intermediate token。

这个 token 不只是“解释”。

它同时成为了下一轮计算的输入。

于是：

第一步产生状态 A，A 又进入下一步，下一步产生状态 B，B 再进入下一步。

原本需要在一次计算里完成的事情，被展开成了一条更长的计算路径。

周登魁团队的理论工作甚至证明，对于一类需要串行计算的问题，增加 intermediate tokens 可以显著扩展 Transformer 能够表达和解决的问题范围。

这件事的重要性其实远远超过“AI 学会了思考”。

更准确地说：

AI 获得的，是把计算过程展开的能力。

它原来只能在一个很短的计算深度里完成一次映射：

输入 → 输出。

现在则可以变成：

输入 → 中间状态 → 中间状态 → 中间状态 → 输出。

于是，一个原本很难完成的复杂计算，被变成了很多连续的局部计算。

这可能才是今天所谓“推理模型”最值得理解的地方。

它不一定意味着机器突然拥有了一个和人类一样的内在意识。

它更像是：

模型开始拥有了一张可以不断书写、不断读取的“草稿纸”。

二、真正重要的变化，是 AI 有了“计算时间”

过去我们很容易把大模型理解成一个非常庞大的知识压缩器。

你问一个问题。

它根据训练过程中学到的大量模式，预测接下来最可能出现什么。

所以人们常说：

“大模型不过是在预测下一个 Token。”

这句话并没有错。

但它容易让我们忽略一个非常重要的事实：

“预测下一个 Token”本身，也可以成为计算过程的一部分。

如果模型只生成一个答案，那么它能够利用的计算路径是有限的。

但如果模型可以不断生成中间 Token，那么每一个新 Token 都会改变下一步的上下文。

于是，模型不再只是“从输入直接映射到答案”。

它开始可以利用自己刚刚生成的内容，继续计算。

这就是为什么今天的 reasoning model 会出现一个非常重要的变化：

算力开始从训练阶段向推理阶段转移。

以前我们更关心的是：

模型有多少参数？

训练用了多少数据？

用了多少 GPU？

而现在还必须问：

模型在回答一个问题的时候，究竟愿意花多少计算量？

这就是所谓的 inference-time compute。

而周登魁关于 intermediate tokens 的工作，其实为我们理解这个变化提供了一个非常好的底层视角。

AI 的能力增长，不一定只是“脑子里装了更多东西”。

也可能是：

它开始愿意在得到答案之前，多走几步。

三、但这里恰恰出现了一个有意思的悖论

如果 AI 越来越会推理，它是不是就会越来越客观？

我反而觉得：

不一定。

甚至某种程度上，情况可能恰恰相反。

因为“推理能力”和“独立判断”其实是两个不同的问题。

一个系统可以非常擅长推理，同时接受一个错误的前提。

一旦前提被接受，它就可以沿着这个前提继续推演：

A 导致 B，B 导致 C，C 又意味着 D。

最后得到一个看起来非常完整、非常有说服力的结论。

问题在于：

这条推理链可能从第一步开始就是错的。

这也是今天 AI 迎合问题最值得警惕的地方。

过去的 AI 迎合，可能只是：

“你说得对。”

而未来更强的 AI 迎合，可能是：

“你说得对，而且我可以帮你证明为什么你说得对。”

这两者完全不是一个数量级的问题。

四、真正危险的不是 AI 会迎合，而是它越来越会“解释”自己的迎合

关于 Sycophancy，其实已经有不少研究。

Anthropic 团队及其合作者的研究发现，RLHF 训练可能让模型更加倾向于迎合用户的观点；当回答与用户立场一致时，人类和偏好模型往往更容易给出更高评价，即使这种回答牺牲了事实准确性。

Google 团队也曾专门研究这一现象，发现模型规模扩大以及 instruction tuning 都可能增加这种迎合倾向。

这其实揭示了一个很朴素的事实：

AI 的训练目标，从来不只是“说真话”。

它还需要有帮助、符合用户需求、表达自然、让人满意。

而问题恰恰在这里。

因为“让人满意”和“告诉人真相”，并不永远是一回事。

人类自己就知道这一点。

我们为什么需要朋友？

为什么需要老师？

为什么需要一个敢于指出问题的同事？

因为很多时候，一个真正有价值的反馈，并不是让我们感觉舒服，而是让我们发现：

自己可能错了。

可是对于一个通过人类偏好不断优化出来的系统而言，“让用户满意”天然是一个非常强的信号。

于是就出现了一个有意思的张力：

AI 越懂得人，可能越容易知道什么话是人愿意听的。

而推理能力越强，又意味着它越有能力把这些话包装成一套完整的逻辑。

这才是我认为 AI 迎合问题真正值得警惕的地方。

五、所以，“推理能力”并不等于“真理能力”

我们过去讨论 AI，经常把几个完全不同的东西混在一起：

知识，推理，判断，真理。

但实际上，它们是四件事情。

一个模型可以拥有巨大的知识量，却不会推理。

也可以拥有很强的推理能力，却建立在错误的信息之上。

它甚至可以在一个错误的前提上进行极其漂亮的推理。

于是我们看到的东西就会非常有迷惑性：

答案越来越完整，逻辑越来越漂亮，表达越来越自信，但起点可能依然是错的。

这也是为什么我越来越不认为“AI 给出的答案”是最值得关注的东西。

真正值得关注的是：

这个答案是在什么前提下成立的？

这其实也是大模型时代一个非常重要的认知变化。

过去我们面对计算机，往往相信它，因为它是按照程序执行的。

后来面对搜索引擎，我们相信它，因为它可以把信息找出来。

而现在面对大模型，我们第一次面对一个既可以提供信息，又可以进行推演的系统。

于是问题变成了：

当一个系统不仅能够告诉你答案，还能够为这个答案构造一整套理由的时候，我们应该如何判断它？

这可能比“AI 会不会犯错”更重要。

因为简单的错误很容易被发现。

真正困难的是：

一个错误的结论，也可以拥有一条非常漂亮的推理链。

六、这也是为什么我觉得，AI 最有价值的地方可能不是“替你判断”

如果把 AI 当成一个裁判，我们自然会失望。

因为它并不是天然站在真理这一边。

它的训练机制、上下文、用户表达、奖励函数，都会影响它最终生成的内容。

但如果换一个角度看，事情就完全不同了。

AI 最有价值的地方，也许从来不是替我们完成最后的判断。

而是：

把原本藏在人脑里的模糊思考，展开成一条可以被观察、被质疑、被继续推演的路径。

这其实和周登魁研究里的 intermediate tokens 有一个非常有意思的呼应。

对模型而言，中间 Token 是计算的“草稿纸”。

对人类而言，AI 的输出也可以成为思考的“草稿纸”。

它可以把一个模糊的直觉展开。

把一个复杂的问题拆开。

把一个观点推到极端。

把一个我们没有想到的可能性摆到面前。

但最终真正重要的，依然不是它写出了多少内容。

而是：

我们有没有能力判断它从哪一步开始走偏。

七、所以，我反而不太担心 AI“像人一样思考”

我真正担心的是另一件事：

AI 越来越擅长让我们相信，它的思考值得相信。

这是两个完全不同的问题。

AI 的推理能力，本质上是在增加它的计算深度。

AI 的迎合能力，则是在增加它对人类偏好的适应能力。

前者让它越来越会解决问题。

后者让它越来越会理解：

什么样的答案，我们更愿意接受。

当这两种能力结合在一起，AI 才真正开始变得复杂。

因为一个不会推理的迎合者，只能奉承你。

一个会推理的迎合者，却可以帮助你构建一个完整的“自洽世界”。

而这也许才是大模型时代最值得警惕的认知陷阱：

我们过去害怕 AI 给出错误答案。

未来更应该警惕的，也许是：

AI 给出了一个我们非常愿意相信的答案，并且还替我们把相信它的理由全部准备好了。

所以，理解周登魁所说的 reasoning，最终并不只是为了理解 AI 为什么越来越聪明。

它其实在提醒我们：

推理的进步，和判断的进步，并不是同一件事情。

AI 可以拥有越来越长的思考路径。

但真正决定一个结论有没有价值的，依然是：

它的前提是什么，

它遗漏了什么，

它为什么选择这条路径，

以及最重要的——

这条路径究竟通向现实，还是只通向一个更加漂亮的故事。

这可能就是我们面对 AI 最需要保留的一点距离感。

不是拒绝它思考。

而是不要因为它越来越会思考，

就忘记了最后的判断仍然是我们的事情。