乐于分享
好东西不私藏

AI一本正经地胡说八道时,最该警惕的是什么

AI一本正经地胡说八道时,最该警惕的是什么
5月22日,"为何AI总会一本正经地胡说八道"冲上热搜。
这不算新闻。用过AI的人都知道,它经常用一种让人无法怀疑的语气,说出完全错误的东西。
编历史、造法条、伪造参考文献,面不改色。
上个月,全国首例AI幻觉侵权纠纷案宣判。
AI说话不用负责的时代,结束了。
但比起AI为什么会胡说八道,更值得问的是另一个问题:为什么它胡说八道的时候,我们总是第一时间选择相信?

AI不是懂它只是说得像懂

AI的工作原理跟人完全不同。
一个孩子认识"苹果",是看见过、摸到过、尝过、记住。AI认识"苹果",只做一件事,统计概率。
它从海量文本里学到"苹果"经常和"红""甜""脆"一起出现,于是它就能流畅地说出"红苹果口感甜脆"。
它不懂。它只是说得像懂。问题出在AI没有"我不知道"这个选项。当问题过于冷门、专业的时候,训练数据里缺乏相关案例,它就编一个听起来合理的答案。
不是它想骗你,是它的机制决定了:宁可编,也不能空。这事放在人身上,不就是那个经典的场景吗?

越不懂的人说得越肯定

心理学里有个著名的邓宁-克鲁格效应:能力越差的人,越容易高估自己。
因为他没有足够的知识来判断自己哪些地方不懂。
AI的症状一模一样。它不知道自己的知识边界在哪里,所以它不知道自己在胡扯。
最有意思的是,人类偏偏对这种"一口咬定"的语气缺乏抵抗力。一个人越笃定,我们越容易信。
一个AI越流畅,我们越觉得靠谱。
这是人类认知系统里的一个bug:我们把"说得很确定"等同于"说得很正确"。
AI的幻觉之所以危险,不在于AI会犯错,任何工具都会犯错。
而在于它用最不容置疑的语气,说出最离谱的内容。
人类的大脑天然倾向于相信那个看起来最自信的声音。

警惕的不是AI是人对确定性的上瘾

AI的幻觉说到底是概率游戏。
你问一个问题,它算出一个最大概率的答案。有时候这个概率很高,答案就对了。
有时候概率不够,它就编一个。但人不一样。人追求确定性是天性。
面对一个不确定的世界,我们渴望有一个声音能告诉我们"这就是答案"。AI恰好以最迷人的方式满足了这种渴望,它从不说"可能""大概""我不确定"。
这就形成了一个危险的闭环:人类渴望确定答案,AI给出滴水不漏的回答,人类更加依赖AI,AI的幻觉被当成真理传播。
所以,当AI一本正经地胡说八道时,最该警惕的不是AI本身,而是我们对确定答案的病态渴望。
AI或许永远无法做到100%没有幻觉。但作为使用者,我们至少可以做一件事:在听到一个过于完美的答案时,多问一句,真的吗?真正的智能,不管是人的还是机器的,都不是永不犯错。
而是知道自己会犯错,并愿意接受被质疑。
评论区聊聊:你有没有被AI一本正经地骗到过的经历?