AI的愚蠢,恰恰在于它的智能

如果你觉得AI很智能，那我想，你可能还只停留在和它聊天上面。

问它一个问题，它几乎什么都知道。让它分析一个现象、谈一个问题，它说得头头是道。甚至很多时候，你只是模糊说出一个想法，它都能迅速理解，并给出一套看起来相当完美的方案。

单看这些表现，AI确实很智能。但最近我发现一件很有意思的事情。

一、每一步都是对的

用工科男的思维举个简单的例子：一个软件出现了问题，让AI去修。它检查代码，发现A模块存在缺陷，于是修改A模块。修改以后又发现这会影响B模块，于是顺手调整B。为了避免以后再次发生，又增加一个保护机制。保护机制需要记录状态，于是增加一个字段。新字段涉及旧数据兼容，又增加一层转换逻辑。转换逻辑可能失败，于是再增加一个fallback。做到这里，你回头问它：为什么要加这个东西？它能给你一个非常合理的解释。为什么要改那个地方？同样有理由。甚至把其中任何一步单独拿出来审查，都很难说它是错的。

问题恰恰出在这里。

几十次这样的“正确”累积以后，你突然发现，原本只是想修一个小问题，整个系统却多出了几个模块、十几个字段、一堆兼容逻辑和新的状态。最初的问题也许解决了。但系统却变得更复杂、更脆弱，后续维护成本指数级飙升。甚至做到最后，已经没有人说得清楚，当初究竟为什么来到这里。

极致的完美追求，往往会导致自我膨胀到寸步难行。

二、AI太擅长解决问题

你给它一个问题，它天然会进入“怎么解决”的状态。有Bug，修Bug。有冲突，解决冲突。缺字段，加字段。逻辑不完整，补逻辑。测试不过，修到测试通过。它很少停下来问另外一个问题：这个问题还值不值得继续解决？

这两个问题看起来很接近，实际上完全不同。“怎样把这件事情做好”，讨论的是手段。“为什么还要做这件事情”，讨论的是目的。一旦进入长时间、大规模的工程，后者甚至比前者更加重要。因为工程越复杂，能够解决的问题越多，需要解决的问题也会越来越多。今天为了A增加B，明天为了B增加C，后天又为了兼容C增加D。每一层都可以找到充分理由。如果沿着这条路一直走下去，理论上永远都有问题可以解决。于是出现一个很有意思的悖论：解决问题的能力越强，偏离目标的速度反而可能越快。

就像一个方向稍微偏离的箭头。走一米的时候，偏差几乎看不出来。走一千公里以后，目的地已经完全不同。

三、分解与整体

这让我想到东西方思想中一个很有意思的差别。

现代科学体系有一种很重要的研究方法，就是把复杂事物不断拆解。一个大问题拆成若干小问题。小问题继续拆。一直拆到可以观察、验证、计算和解决。这种方法创造了现代科学，也创造了计算机。从某种意义上讲，今天的大模型也是这种思想发展到极致之后的产物。复杂任务被拆成一个个可以处理的步骤，然后在每一个步骤中寻找一个尽可能好的答案。它非常强大。但是这种方法天然存在一个风险：当注意力越来越集中于局部，整体有可能从视野中消失。

东方思想里有另外一种很有意思的东西。不是急着把事物拆开，而是把它放进更大的关系中看：阴阳不是两个孤立的东西，而是相互作用，辩证统一；局部的变化，要放进整体里理解；眼前的得失，也要放到更长的时间里衡量。中国人讲“势”。势不是某一个点有多强，而是一系列关系运动以后形成的方向。下棋也是如此。一颗棋子走得再漂亮，如果整盘棋输了，没有意义。真正困难的地方，并不在于东西方哪一种方法更聪明。而在于：既要有把问题拆开的能力，也要有不断把问题重新放回整体的能力。

前者解决问题。后者防止迷路。

四、聪明的边界——取舍

以前我写过一篇类似的文章。现代社会把一件复杂的事情拆成无数环节，每一个环节都有明确规则，每一个节点都有人认真完成自己的任务。最后却可能产生一个谁都不希望看到的结果。原因并不复杂。分工链条越长，人们越容易关注自己负责的那一小段，而忘记整个系统最初为什么存在。

AI也有类似的问题。它可以忠实地完成每一次指令。甚至比绝大多数执行者更加勤奋、更加理性，也更加聪明。但是它没有一种天然的机制，始终站在工程之外，看着工程本身，自问：我们现在做的这些事情，和最初的目标还有多少关系？这个真的需要存在吗？眼前这个问题，是必须解决的问题，还是上一次解决问题时制造出来的新问题？继续优化的收益，是否已经低于它增加的负担？甚至——是不是应该把前面已经做完的东西删掉？……

这些问题不复杂。却比写一万行代码难得多。因为它要求的不再是“解决”，而是“取舍”。不再是向前，而是偶尔停下来。不再是在既定规则里寻找最优解，而是冷静后重新审视规则本身。

五、聪明之外——智慧

真正复杂的事情从来不是一道题。它是一串不断变化、彼此影响的问题。今天的答案，会成为明天问题的一部分。昨天正确的决定，在条件变化以后，也可能成为今天最大的负担。如果没有一个东西始终守着最初的目标，那么能力越强，执行越快，反而越危险。走错路不可怕。可怕的是沿着错误的方向一路狂奔，而且每一步都走得无比漂亮。

AI已经聪明到足以解决大量我们过去解决不了的问题。技术会继续进步。模型会越来越大。推理会越来越强。能做的事情也会越来越多。但真正重要的能力，也许不是知道更多，而是学会从问题中走出来。退后一步。看看自己到底走到了哪里。

因为真正的智慧，或许从来都不是把眼前的每一道题做对。

而是在某个时候知道：

这道题，已经不该继续做了。