前面两篇,我们搞清楚了 AI 的两个核心特质:第一,它是个“接龙机器”,只会一个字一个字地猜;第二,它是个“模式匹配器”,在训练数据见过的领域无所不能,在没见过的领域只能瞎猜。
今天我们来聊一个更让人头疼的问题——当 AI 瞎猜的时候,它不是老老实实地说“我不知道”,而是会编造出一个看起来像模像样、但完全是子虚乌有的答案。
这就是 AI 最臭名昭著的问题:幻觉。
一个真实的故事:AI 编造判例,律师踩坑
2023 年,美国发生了一件轰动科技圈和法律圈的事。
有两个律师在准备一个诉讼案件。他们想找一些类似的判例来支持自己的论点。如果按传统的方式,他们需要花好几个小时去翻厚厚的法律数据库,一条一条地查。但是聪明的他们想到了 ChatGPT。
他们把案件情况输入进去,请 ChatGPT 帮他们找出相关的判例。ChatGPT 很快给出了好几个案例,每一个都看起来完美极了:有案件名、有当事人名字、有判决年份、有判决结果。格式规范,引述完整,看起来比真的还真。
两位律师满意地提交给了法庭。
结果法官一查,发现一个大问题:这些判例全是编的。没有一个是真的。
案件名是编的,当事人名字是编的,判决年份是编的,判决结果也是编的。ChatGPT 就像一个想象力极其丰富的小说家,把“法律判例长什么样”的模式学会之后,凭空创作了一堆看起来天衣无缝的“案例”。
这两个律师差点被吊销执照。后来他们说:“我们不知道 AI 也会骗人。”
AI 不是在“骗人”,它只是在“接龙”
要理解这个现象,我们需要回到第一篇讲的核心原理:AI 的本质是根据上文预测下一个字。
当你问它一个问题时,它不会去“查资料”,也不会判断“我知不知道正确答案”。它只会做它唯一会做的事情:一个字一个字地往下接,预测出概率最高的那个字序列。
打个比方。假设你训练了一个 AI,它只读过一本小说,叫《三国演义》。
你问它:“关羽的武器是什么?”它在《三国演义》里见过无数次“关羽”、“青龙偃月刀”这些词,所以它能正确地接出来:青龙偃月刀。
你问它:“关羽的孙子是谁?”《三国演义》里确实写了,关羽的孙子叫关彝。如果 AI 训练时见过这一段,它也能答对。
你问它:“关羽最喜欢的颜色是什么?”《三国演义》里根本没写过关羽喜欢什么颜色。但 AI 不能告诉你“我不知道”,因为它被训练成“总要给个答案”。于是它开始编。它根据“关羽”和“颜色”这两个关键词,在训练数据里找到了一些关联模式——比如“红色”经常和“关羽”一起出现(因为关羽的脸是红色的,赤兔马也是红色的)——于是它接出了:“关羽最喜欢的颜色是红色。”
这个答案听起来还挺合理的,对吧?但它是编的。《三国演义》里根本就没有这句话。
AI 为什么不能老老实实说“我不知道”?
这就要说到大模型的训练方式了。
大模型在训练时,被奖励的是“给出有用的、完整的回答”。训练数据里充满了各种各样的解答、建议、知识分享、教程文档。但是,训练数据里极少出现“我不确定”、“这个我不太懂”、“你可以换个方式问我”这样的表达。
为什么呢?因为互联网上的人很少写这样的话。你去看知乎、看博客、看论文,大家都在努力给出确定的答案。没人会专门写一篇文章说“关于这个问题,我不知道”。所以模型在训练过程中,几乎没见过“承认无知”的例子。
模型学到的生存法则是:无论如何,都要给出一个看起来像样的答案。 在它看来,编一个“关羽喜欢红色”比说“我不知道”更像是一个合格的回答。因为“我不知道”在训练数据里从来不被奖励,“给出一个答案”才被奖励。
一个帮助你理解的类比
想象你是一个刚入职的实习生,你的老板问你:“咱们公司去年和那个 X 公司的合作项目,合同金额是多少?”
你完全不知道这个信息。但是你敢跟老板说“我不知道”吗?你怕老板觉得你不靠谱、不上心、工作不认真。
于是你开始编:“嗯,好像是 500 万吧,我记得听同事提过。”
你这个行为,和 AI 的幻觉一模一样。你不是在恶意欺骗老板,你只是想给出一个看起来靠谱的答案,保住你的工作。AI 也一样,它不是想骗你,它只是被训练成“总要给个答案”。
AI 是一个“创作者”,不是“检索器”
要彻底理解幻觉,你需要区分两种完全不同的工具。
第一种是搜索引擎。 比如 Google、百度。你问它“珠穆朗玛峰有多高”,它去互联网上搜索,找到维基百科的页面,然后把里面的原文片段展示给你。它是“搬运工”,把别人的东西搬过来。如果网上没有答案,它就告诉你“找不到”。
第二种是大语言模型。 比如 ChatGPT。你问它“珠穆朗玛峰有多高”,它不搜索互联网,而是根据自己训练时学到的知识,一个字一个字地“创作”出答案。它是“创作者”,自己编文本。
这两个的区别非常重要。
搜索引擎只能给你已经存在的东西。如果网上没有,它就没法给你。但搜索引擎给你的东西,你可以追溯来源——哪篇文章、哪个网站、什么时候发布的。
大语言模型可以给你不存在的东西。它像一个想象力极其丰富的小说家,能编出任何主题的文本。但它给你的东西,你无法追溯来源。因为它不是在“引用”,而是在“创作”。
幻觉的根源就在这里:AI 是“创作”,不是“检索”。 它的目标是生成“像人话”的文本,而不是生成“正确”的文本。很多时候,“像人话”和“正确”是重叠的,因为人类的话语大部分时候是在描述真实世界。但一旦不重叠,AI 宁可选“像人话”,因为这是它被训练的唯一目标。
幻觉的三个层次
AI 的幻觉有三种不同的表现,从轻微到严重:
第一层:事实性错误。 AI 说了一个错误的事实。比如“法国的首都是伦敦”。这种错误最容易被发现,你只要查一下维基百科就知道了。
第二层:编造细节。 AI 在一个真实的框架下,添加了不存在的细节。比如你问“乔布斯是什么时候发布 iPhone 的”,它可能正确回答“2007 年”,但接着说“他在发布会上穿着一件蓝色 T 恤”。实际上乔布斯穿的是黑色高领毛衣。这个细节就是它编的,但因为你没注意这个细节,你可能就信了。
第三层:完全虚构。 AI 从头到尾编造了一个完全不存在的东西。比如那两位律师遇到的编造判例,比如一本不存在的书及其作者、出版社和内容摘要。这种幻觉最危险,因为它看起来太真了,你很难一眼识破。
一句话总结
AI 幻觉不是 AI 在“做梦”或“发疯”,而是它本职工作的副作用——它太擅长生成流畅的文本了,以至于在没有正确答案的时候,也能编出流畅但错误的文本。 AI 是创作者,不是检索器。当“像人话”和“正确”冲突时,它永远选择前者。
下一篇预告: 既然 AI 会编造答案,那它为什么有时候还用特别自信的语气说出完全错误的东西?这就是我们下一篇要聊的——AI 的“过度自信”问题。我们下次见。
夜雨聆风