乐于分享
好东西不私藏

AI 不会犯错,只会一本正经地胡说八道——AI之幻觉

AI 不会犯错,只会一本正经地胡说八道——AI之幻觉

2023 年,纽约律师 Peter LoDuca 向联邦法院提交了一份诉状,引用了 6 个判例来支持自己的论点。法官逐个查证,发现这 6 个判例全部不存在。不是案号写错了,不是日期有偏差,而是从头到尾,一个都不存在。律师的回应是:"ChatGPT 向我保证它们是真实的。"


一、什么是 AI 幻觉

AI 幻觉,简单说就是 AI 编造了看似合理、实际上不存在的信息。

注意,这不是普通的"答错了"。答错题和编造信息是两回事。

你问"中国的首都是哪里",AI 回答"上海",这是答错了,但它没有编造任何东西。

你问"帮我查一下 2024 年关于数据跨境的司法解释",AI 给你一个文号、发布日期、条款内容,看起来像模像样,但实际上这份司法解释根本不存在。这就是幻觉。

两者的区别在于:答错是能力问题,幻觉是自信地编造。

更危险的是,幻觉的内容往往比正确答案更像"正确答案"。因为它不是随机出错,而是根据上下文"推理"出来的,逻辑自洽、用词专业、格式规范。你不查证,根本看不出破绽。


二、幻觉带来的问题

幻觉的危害不在 AI "说错了话",而在有人把它当真了。

2.1 法律领域:当庭编判例

开头那个纽约律师的故事不是孤例。

2024 年,印第安纳州律师 Rafael Ramirez 在退休基金诉讼中,三份简报引用了 ChatGPT 捏造的案件引文,被建议处以 15000 美元罚款。

2025 年,北京通州区法院审理商事纠纷时,原告代理人提交的多个"参考案例"全部是 AI 编造的。代理人的做法是:把案件事实喂给 AI,反复提问,让 AI 生成案例,然后直接复制粘贴提交法院。

2024 年底,印度班加罗尔税务法庭甚至直接在裁决中引用了 ChatGPT 生成的三项"最高法院判决",涉及 669 亿卢比的信托交易。一周后裁决被撤销,理由是"无意中的错误"。

甚至法官自己也会中招。2026 年初,印度安得拉邦一名民事法官在审理房产纠纷时,援引了四份 AI 生成的虚构判例。高院的裁定只有一句话:应"运用真实智能而非人工智能"。

2.2 名誉领域:AI 给你编了一辈子

2025 年,挪威男子 Arve Hjalmar Holmen 在 ChatGPT 里输入了自己的名字,发现 AI 给他编造了完整的人生故事:他杀死了自己的儿子,被判处 21 年监禁。这些指控完全没有事实依据,但 ChatGPT 围绕这个"事实"编出了详尽的细节。

2026 年,中国律师李小亮发现,在百度搜索自己的名字时,"AI 智能回答"直接显示"李小亮律师被判三年有期徒刑",还配了他穿律师袍的照片。搜索建议来自用户输入"李小亮律师被判几年",AI 就顺着这个暗示编出了完整的"判决内容"。

2.3 日常场景:你以为的"常识"可能也是编的

你问 AI "吃维生素C能预防感冒吗",它可能告诉你"研究证明有效"。你问"空调不制冷怎么办",它可能给你一个听起来很专业的排查步骤,但其中某一步是错的。

这些日常幻觉看起来不致命,但它们在悄悄塑造你的认知。你不会去查证每一个"小常识",但你可能会按 AI 说的去做。


三、为什么会有幻觉

要理解幻觉为什么发生,得先理解 AI 是怎么"思考"的。

3.1 AI 不在"查资料",它在"猜下一个词"

大语言模型的工作原理,本质上是极致版的输入法联想。

你打字的时候,输入法会根据你前面的字,预测下一个字可能是什么。大模型做的事一样,只是规模大了几个数量级:它阅读了互联网上几乎所有的公开文本,学会了"在某个上下文中,下一个词最可能是什么"。

这个机制非常擅长"像人一样说话",但它有一个致命缺陷:它学的是语言的模式,不是事实本身。

模型知道"司法解释"这种文件通常长什么样、用什么措辞、怎么编号,但它不知道现实世界中到底有没有这份文件。当它需要输出一个"司法解释"时,它会按照学到的模式,生成一个看起来完全合理的版本。

3.2 模型没有"我不知道"这个选项

人类在不确定的时候会说"我不确定",但大模型没有被训练成这样。

模型的训练目标是"给出最好的回答",不是"在不确定时拒绝回答"。当你问一个它没有确切信息的问题,它会倾向于编一个"最合理的答案",而不是说"我不知道"。

这就像一个从不认错的人:不管知不知道,它都会给你一个答案,而且语气坚定。

3.3 训练数据本身就有错

模型的"知识"来自训练数据,而互联网上的信息本身就充满错误。如果训练数据中包含错误信息,模型就会把这些错误当成"事实"来学习。

更麻烦的是,模型无法区分"广泛认可的事实"和"少数人的错误说法"。在它的世界里,只有"这个模式出现了多少次",没有"这个说法是否正确"。

3.4 所以,幻觉不是 bug

理解了上面三点,你就会明白一个关键结论:幻觉是概率生成机制的必然副产品,不是可以通过简单修复消除的 bug。

模型每时每刻都在"猜测",而猜测就有猜错的概率。你可以降低这个概率(比如通过检索增强、多轮验证),但你不可能把它降到零。

这就像人类说话也会说错,但人类说错的时候会犹豫、会不确定,而 AI 不会。它永远自信,永远流畅,永远像真的。


四、如何识别和应对幻觉

幻觉无法消除,但可以防御。核心策略只有一个:不要对单一 AI 输出建立完全信任。

4.1 识别幻觉的信号

以下几种情况,幻觉的概率特别高:

信号
说明
例子
过于具体的细节
AI 编造的信息往往比真实信息更"完美"
精确到小数点的数据、完整的文件编号
无法验证的引用
提到了论文、判例、报告,但你找不到原文
"2024年最高法第37号司法解释"
绝对化表述
真实世界很少有什么是100%确定的
"研究证明""数据表明""毋庸置疑"
你想听的答案
AI 倾向于给出符合你预期的回答
你暗示了某个方向,AI 顺着你说

4.2 应对幻觉的方法

方法一:交叉验证

重要的信息,至少找两个独立来源确认。AI 告诉你的,再用搜索引擎查一遍。如果两个来源说法一致,可信度就高很多。

方法二:要求来源

直接问 AI:"你说的这个信息,来源是什么?"如果它给不出具体来源,或者来源看起来可疑,就要警惕。有些模型支持联网搜索,可以让它先搜索再回答,而不是直接从"记忆"中生成。

方法三:分步确认

不要一次性问复杂问题。把大问题拆成小问题,逐步验证。如果第一步的回答就有幻觉,后面的推论就不必看了。

方法四:人工复核

这是最朴素也最可靠的方法。AI 输出的任何内容,只要用于正式场合,都必须经过人工复核。不是因为你比 AI 聪明,而是因为你能查证,而 AI 不能。

4.3 工具辅助

一些技术方案可以降低幻觉的概率:

  • RAG(检索增强生成)
    :让 AI 先从真实文档中检索信息,再基于检索结果生成回答,而不是凭空编造。下一篇会详细讲。
  • 联网搜索
    :让模型先搜索再回答,用实时信息替代"记忆"中的过时信息。
  • 多模型对比
    :同一个问题问不同的模型,如果答案一致,可信度更高;如果差异很大,说明这个问题容易引发幻觉。

五、建立合理预期

AI 是加速器,不是替代器。

它能帮你快速获取信息、整理思路、起草文档,但最终为输出负责的人是你。

你用 AI 写了一份报告,报告里有个数据是编的,你的领导不会说"这是 AI 的错",他会说"你怎么没核实"。

这不是 AI 的局限,这是使用 AI 的前提。就像你用计算器算账,算完你还是会大致核对一下。不是不信任计算器,而是负责任的工作习惯。

AI 不会停止幻觉,但你可以停止被幻觉骗。


如果这篇文章帮你理解了 AI 幻觉的本质,转发给那个把 AI 说的每句话都当真的人吧。