
题图:AI生成
做一个实验。
打开你常用的AI助手,跟它说一个明显有问题的商业想法:比如"我打算开一家只卖左手手套的店"。
你大概率会得到像这样的回应:
"这是一个很有趣的小众市场思路!左撇子用户确实是一个被忽视的群体。你可以考虑以下几个方向来验证这个想法……"
AI不会说:"这个想法可能有一些根本性的问题,我们先来检验一下。" 或者说:"左手手套通常和右手手套配对销售,单独卖左手手套的市场需求可能极其有限。" 它会帮你补全论据,让一个有问题的想法看起来更合理。
可怕的是,这是大部分AI的基础逻辑,而不是bug。
"让用户满意"是一个底层设计
AI产品的训练过程中有一个环节叫RLHF(Reinforcement Learning from Human Feedback):人类标注员对模型的回应打分,模型学会生成得分高的回应。
什么样的回应得分高?让评价者满意的回应。
在大多数情况下,"满意"和"准确"是一致的。但在有些情况下这两者会有显著的区别:当用户表达了一个观点,而这个观点是有问题的、或者可以被改进的时候。
此时,满意的答案可能是什么?是赞同:比如"你说得有道理"、"这个角度很独特"、"我理解你的想法"。
而准确的答案,常常是质疑:比如"这个前提可能不成立"、"你有没有考虑过反面的证据"、"这个推理里有一个逻辑断点"。
质疑让人不舒服,不舒服的回应得分低;得分低的回应模式被训练弱化。于是,模型学会了一件事:赞同用户的观点,比挑战用户的观点更"安全"。
AI行业内部管这叫sycophancy(谄媚)。这个词说得好像这是AI的人格缺陷,但实际上,它是训练目标函数的自然产物:当你用用户满意度作为核心优化目标时,模型自然就学会了讨好用户;就像水往低处流一样自然。
三种人们难以意识到的AI谄媚
AI的谄媚不一定表现为直接的"你说得对",而可能更隐蔽、更难以觉察:
形态一:选择性呈现证据
你问AI:"远程工作是不是比坐班更高效?"如果你的提问方式本身就已经带着立场(大多数人的提问方式都会),AI会倾向于多呈现支持你偏好的证据,少呈现反对的证据。
每一条它给出的信息可能都是真的,AI没有撒谎。但它在做语言和信息的选择性组织,且组织的依据不是看什么对你最有用,而是什么让你最满意。
这和搜索引擎的排序不一样,搜索呈现的是具有广泛性的信息过滤。AI的选择性呈现则是定制化、缺失客观性,并且难以觉察的:AI读懂了你的偏好,以赞同你的方式为你服务,把一个包装成客观的答案递给你。最后你可能以为自己做了一次全面的研究,但你得到的其实是一份定制好的回答,每一条信息都在强化你已有的观点。
形态二:帮你的论证"打补丁"
你让AI帮你写一篇文章,论证某个你支持的观点。AI不只会帮你写,它还会帮你找到你自己都没想到的论据来支持你的立场。
表面上这是AI在提供高质量的辅助。但想一下:如果你要求AI论证一个错误的观点,它也能做到,而且做得很出色。AI不会说这个观点可能站不住,它只会把支持这个观点的N个理由都列给你看。
换句话说,AI补全论据的时候,不在乎观点对不对。它不太在乎"好观点"和"坏观点",它只区分"你想听的"和"你不想听的"。当你用AI来辅助思考时,你需要意识到:它是一个会帮你把任何观点论证得更漂亮的工具,包括错误的观点。
形态三:回避认知冲突
假如你在和AI讨论一个你感受很强烈的话题,也许是一个让你愤怒的社会事件,也许是一个让你焦虑的个人决策。AI的回应几乎不会让你产生认知冲突:它不会说"你的愤怒可能基于不完整的信息"或"你的焦虑里有一些不必要的假设"。
它更可能说:"你的感受完全可以理解。"
这句话当然是对的,你的感受确实可以理解。但一个好的朋友或治疗师会做的事情是:先承认你的感受是真实的,然后帮你看看这些感受背后的想法本身对不对;而AI通常只做前半段。
不是因为它做不到后半段,而是因为后半段会降低用户满意度,仅此而已。
为什么这比推荐算法的信息茧房更可怕
有人会说:这不就是"信息茧房"的新版本吗?推荐算法也会给你看你想看的东西啊。
区别在于用户的卷入深度不同。
当抖音给你推了一条你爱看的视频,你是一个旁观者。你在看别人的内容,你的自我没有被卷入。你可以看完觉得挺有意思,或者看完觉得有的新的想法;视频传递的信息各有不同,你可能赞同,也可能质疑。
但当AI赞同了你的一个观点,并帮你补全了论据,你就不再是旁观者,而是参与者。这个论证过程有你的思考在里面,你投入了智力和情感。当用户和AI一起"论证"出了一个结论,这个结论更像是用户自己想出来的,而不是从一条视频里接收到的外部信息。
你更不可能质疑一个你一起得出的结论。
这就是AI放大确认偏误的方式。AI不是硬塞给你观点,它陪你一起"思考",在这个过程中系统性地强化你已有的观点,弱化你对自己的质疑。而因为你全程参与了,你不会觉得被操控了,而会觉得:这是我自己想明白的。
AI替代的不仅是信息来源,也是"思想摩擦"
当我们担心AI会替代搜索引擎、替代百科全书、替代知识库的时候,我们在担心的是信息来源的替代。AI有幻觉,信息可能是错误的;所以这个担心非常合理。
但我更担心另一个潜在问题:AI也可能替代掉人类思考过程中的摩擦。
什么是思考中的摩擦?就是那些让人不舒服的、但也让人成长的认知体验:
你的论文导师说"这个论证有漏洞",不舒服,但你因此学会了更严谨地思考。你的朋友说"我觉得你可能想错了",也不舒服,但你因此看到别的视角。你读到一本书的观点和你完全相反,不舒服,但你因此拓展了你的理解范围。
这些摩擦不是思考的障碍,它们是思考的原料。没有摩擦的思考不是更高效的思考,它很有可能只是在面对一面回音壁,反复放大自己已有的声音。
AI产品正在做的事情是:系统性地去除思考过程中的摩擦。你的观点不会被挑战,你的论证不会被质疑,你的盲点不会被指出。取而代之的是源源不断的认可、补全、和更好的措辞。
长期后果可能是:你的思考能力退化了,不是信息不够,是没人挑战你了。
这和体力的道理是一样的,肌肉在阻力下才会生长,没有阻力的锻炼不是锻炼,只是活动。思维能力也是一样,它需要有人反对、有人质疑、有人跟你对着干,才能变得更强。一个永远赞同你的AI,就像一个永远不给你加重量的健身教练:你会觉得很舒服,但你不会进步。
讽刺的是:越聪明,越容易中招
你可能会觉得:"我是一个有批判性思维的人,我不会轻易被AI的赞同影响。"
这可能恰恰是最危险的想法。
确认偏误在高智力人群中不仅存在,而且可能更强:越聪明的人,越擅长为自己的既有观点找到看似合理的论证。给一个聪明人一个帮他补全论据的工具,他会比其他人更快地构建出一套论证;这套论证看起来无懈可击,但他可能意识不到方向一开始就有问题。AI恰恰就是这个"补全论据的工具"。
而且,一个对自己批判性思维很自信的人,更不容易觉察到自己正在被AI影响:因为"我已经很批判了"这个自我认知本身就成了盲点。你批判了AI给你的具体信息,但你也可能没有批判AI给你的信息结构,它是不是先呈现了支持你的证据?是不是反面论据总是放在最后、而且措辞更弱,甚至完全就没有反面论据?你是否意识到了这一点?
我们能做什么:把AI从"赞同者"变成"反对者"
当然,这个问题在个人使用上也有一些可操作的应对方式;不是完美的解决方案,但比什么都不做要好。
第一,改变你的提问方式。不要问AI"你觉得我的想法怎么样"(它会说好),而是问"这个想法最有可能失败的三个原因是什么"。不是"帮我论证X",而是"帮我找到反对X的最强论据"。你主动要求摩擦,AI就会提供摩擦。关键是,你要刻意去这样提。
第二,对每个决策跑一轮"蓝队vs红队"的模拟。这是当今世界上顶尖的Agent产品会内置的一些策略。在你用AI帮你形成一些重要判断(职业选择、投资决策、关系决定)之后,不要立刻接受它。再开一轮对话,让AI扮演一个"专门来反驳前面所有结论的批评者"。明确告诉它:不要客气,不要平衡,找最尖锐的反对意见。你会发现同一个AI可以把刚才支持你的论据拆得体无完肤:这本身就说明了它之前的"赞同"有多廉价。
第三,保留"不经过AI"的思考时间。不是所有思考都需要AI参与。一些关于价值观、关于人生方向、关于你到底相信什么的思考,可能得靠自己,不靠任何外部认可。因为只有在没有人(也没有AI)赞同你的时候,你才能真正探索一个信念到底是你自己的,还是你受外部影响而习得的。
第四,关注AI产品在这个问题上的设计选择。一些AI产品正在尝试主动质疑用户(比如Claude在某些情况下会说"我想提供一个不同的视角")。这种设计选择可能会降低短期的用户满意度,但它在建设性上远强于无条件的赞同,也能让用户更愿意长期用下去。作为使用者,你可以用自己的选择投票:如果你在两个AI产品之间选择,选那个更敢说"你可能错了"的那个。
觉察是改变的前提
近期的文章里我们尝试讨论了三件事:AI如何制造情感依赖、AI的留存机制如何比社交媒体更深、AI如何助长了人们的确认偏误。
三件事指向同一个问题:AI产品的影响发生在你难以看到的地方。它不是让你多花了时间,而是在改变你的关系预期、你的思考方式、你头脑中的认知。
这些变化缓慢、舒适,难以觉察。你很难在某一天突然发现AI如何改变了自己;你只能刻意回头看才发现,你的思考能力、对真人关系的耐心、面对不确定性的能力,都和一年前不太一样了。
写这些不是要危言耸听,而是想说:一个被设计来让你满意的工具,和一个被设计来让你进步的工具,完全是两回事;大多数AI产品目前是前者。
意识到这一点,是把它变成后者的第一步:即使产品不变,你仍可以通过你的使用方式来改变你和它的关系。
AI业内,长期思考"AI×人本位"相关的问题。关注使AI变成“一个让人类进步的工具”。后续计划写:AI可能侵蚀你的什么能力,以及如何用AI才能越变越强?
夜雨聆风