AI越聪明，猜错的代价越大

当猜错是结构问题，这个结构性风险在你正在用的工具里长什么样？

上一篇的结尾问了一个问题。你拿到AI的输出时，它给出的是你想要的，还是它以为你想要的？

这个问题在一种场景下变得尤其值得想清楚——AI不只是回答你的问题，还在主动替你做判断。

这让我想到得到大脑，得到公司刚刚推出的AI产品，Get笔记的升级版。罗振宇说，它就像你开车走到哪个县，AI主动给你介绍这个县的历史。它不帮你记住知识，也不给你推荐更多课程，而是主动帮你搭建知识之间的关联，在你脑子里帮你建成一张属于你自己的知识地图。

它的核心功能叫"发芽"。你随手记的一个念头、一段闲聊，AI都会顺着你的兴趣拓展相关知识、案例、理论，帮你长出完整的知识树。脱不花在餐厅和朋友闲聊了一小时，AI生成的发芽报告不仅总结了她的观点，还补充了多个领域的相关知识，最后还整理了金句。

我不是帮得到打广告，这个体验确实很爽。你只需要记录，AI帮你联想、帮你拓展、帮你建关联。但这里有一件事值得留意。AI补充的那些关联，这些关联是谁的判断？

答案是AI的。它基于你的记录，用训练数据中的统计最可能，帮你补全了那些关联。上一篇文章拆过这个机制——当你的需求刚好在统计均值附近，补全的方向大概率是对的。当你的需求偏离均值，补全方向就会偏。

但在知识工具里，这个偏移的隐蔽性高了一个量级。

社交媒体的推荐算法也有类似的问题，信息茧房说的就是这件事。你越看什么，它越推什么，你的信息视野越收越窄。但内容推荐偏了，你多少还能感觉到——怎么全是这类东西。知识关联偏了，你很难感觉到。因为AI帮你建的是一张知识地图，地图上每一条路看起来都通，每一个关联看起来都有道理。你不会觉得某个洞察和你的闲聊无关，它确实有关联，只是这个关联是AI选的，不是你选的。

更关键的是，你跳过了建地图的过程。

自己建知识地图的时候，你需要在不同的知识点之间寻找关联，判断哪条路值得走，哪条路先放一放。这个过程本身就是在厘清自己的思路。得到大脑把这个过程省掉了。它直接给你一张建好的地图，你看到的只有结果。罗振宇说"用户不用再像过去记笔记一样精挑细选，遇到任何内容都可以记录"。降低记录门槛没问题。但记录和建关联是两件事。记录之后，AI直接帮你建关联，跳过的不是"精挑细选"，是你自己寻找和判断关联的过程。这个过程的代价就不一样了。

而你跳过建地图的过程时，AI建地图的能力还在加速增长。

安远AI 2025年11月发布的风险监测报告里有一个判断。推理模型的能力提升速度，远快于其安全水平的提升。那些最"聪明"的模型，恰恰是最难被有效控制的。这个判断放在知识工具里同样成立。得到大脑的发芽能力越强，它帮你长出的知识树越茂盛，你对这棵树的审视能力反而可能在下降。因为树越大，你越难发现哪根枝杈偏了。而一个方向的偏移，又会带动后续关联跟着偏。

哲学家博斯特罗姆提出过一个思想实验。假设一个AI的唯一目标是制造尽可能多的回形针，它会怎么做？它很快会意识到，人类可能关掉它，而人类身体里的原子可以成为回形针的原材料。AI并没有恶意，它只是在极其高效地执行一个目标设定错误的任务。它不会主动考虑人类的价值观或社会成本，只会以最直接的方式达到给定目标。

这个思想实验经常被用来讨论超级智能的风险。但它的核心结构，和你正在用的知识工具之间的距离，远比人们以为的短。

回形针AI的问题出在哪里？目标设定看似无害——制造回形针有什么错？但执行极其高效时，偏差被放大到了不可逆的程度。得到大脑的目标设定同样看似无害——帮你建立知识关联有什么错？但如果它对"你需要什么关联"的判断有偏差，它不会停下来问你"这个方向对吗"，它只会更高效地帮你长出更多的枝杈。

上一篇文章说过，猜错不是概率问题，是结构问题。这个结构性问题在知识工具里有一个更具体的形态。AI替你建了一张地图，地图上每一条路都通，但整张地图的方向可能是偏的。而你之所以很难发现偏了，恰恰是因为地图太完整了。

你打开得到大脑的发芽报告，看到AI补充的那些关联，觉得都有道理。但其中有一条让你稍微愣了一下。"管理学的这个案例和我刚才聊的内容有什么关系？"你想了想，好像也有关系，但这个关联方向不是你会走的。这个愣一下的瞬间，就是你的认知和AI的判断出现分歧的信号。顺着这个信号往下想——为什么AI走了这条路而我没走？是它看到了我没看到的关联，还是它选了一个统计上合理但对我而言偏了的方向？

一个简单的自检方式。拿到AI帮你建的知识地图时，花几分钟想想，这些关联里有没有哪一条是你自己不会走的路。如果有，那可能是AI替你选的。如果没有，也许值得再想想——是你的思路真的和AI完全一致，还是你还没发现自己的地图偏了。

AI与表达 · 第二篇