夜雨聆风错误可以分为两类：
一类是事实没错，逻辑错了。比如：天下雨了，所以我没带伞。
另一类是事实错了，逻辑没错。比如：天没下雨，所以我没带伞（事实是有雨）。
人类追求的是事实尽可接近真相，逻辑上能看懂就行；但AI更在意逻辑上的正确，至于事实是否正确——抱歉，它根本不知道什么是事实。
这就是大模型产生幻觉的根本机制：
它是靠预测下一个字而不是像人类一样复现事实；
它没有“记忆自检”能力，也不会“记”原文，没有训练过的数据就瞎编，而且瞎编的成本远远低于搜索核对；
它还在训练中养成了“讨好提问者”的坏毛病。
列出了容易让大模型产生幻觉的四类问题，以及如何应对：
第一类：小众冷门专业知识类问题，
第二类：需要精确引用的内容
第三类：找不到真实案例就现编故事
第四类：主观评价及诱导式提问
还有必须持“零信任”的态度的两件事：
核实关键数据：所有的数字、年份、人名，必须通过搜索引擎或官方文档进行二次核对。
不要直接复制引用：对于合同条款或论文引用，必须对照原文逐字检查。
（没有看过的，建议先看上一篇）
在上一篇中，我一直强调人类与大模型的思维模式截然不同，导致它总是在我们想不到的地方给我们“挖坑”；
但在本篇中，我想从另一角度分析大模型的幻觉问题，其实人与人之间的区别也很大，甚至比大模型与人的区别还大——
有些人，知道就是知道，不知道就是不知道；但有些人，给他一杯水，能说成太平洋；
有些人，宁可利益受损，也不说一句谎话；而有些人满嘴跑火车，甚至意识不到自己在说谎。
有些人立场明确，毫不妥协；有些人见人说人话，见鬼说鬼话。
所以我觉得很多人的“幻觉”比大模型还像大模型，比如在职场上，你会看到很多人表达流畅，语气极其自信、PPT逻辑严密，但事实都是扯蛋，偏偏这一类人更容易晋升，这跟AI看上去更专业是一样的。
不是AI在骗我们，而是它知道我们更相信那种“看起来合理”的说法。
冷门知识与多步推理
用AI回答问题，总会经历“从入坑到被坑”的阶段，人类可能有史以来第一次大规模全方面地看到，如何用专业的内容一本正经地胡说八道。
这些错误往往是最像真话的假话，在最不可能犯错的地方犯错，以至于大家不好意思用“犯错”这两个词，而美名曰“幻觉”，意思是说，越是看起来专业、流畅、自信的回答，越有可能隐藏着严重错误。
很多人以为，AI的“幻觉”主要出现在高深复杂的领域。的确，越小众、越冷门、越细分的领域，训练数据越少，越容易瞎编。
比如我经常涉及的金融中的复杂期权的策略、一些小市值股票的问题。不过这种幻觉好理解，危害也不大，能够问冷门知识的人，大部分都有对错误的判断能力，虽然不知道什么是对的，但如果错了，明显会觉得不对劲。
另一种类似情况是复杂问题的多步骤推理，这种幻觉，如果仔细分析大模型的推理过程，并不难发现其中的逻辑漏洞。
以上是大模型第一类易产生幻觉的地方：小众领域和多步推理，当然，也是人类容易犯错的地方。
精确内容与原文复现
AI经常会犯一个大部分人意想不到的“低级错误”：
比如具体年份、数据、排名、法条编号、人名地名、专业术语，等，大模型容易编数字、凑人名、乱套概念。【重磅官宣】写给我 30 万精神股东：两本新书上线番茄！IP 漫改同步启动！
还有需要精确引用的内容，比如：原文原话、歌词、诗词、合同条款、论文摘要，等等，大模型经常改字、漏句、张冠李戴。
这种低级错误，如果没有注意就用，后果往往是灾难性的。
这些错误在人类看来低级，但却是这种大语言模型的“预测机制”与生俱来的问题，几乎不可能根治。不管多么高级的大模型，都有可能出现。
比如我们会说“床前明月光”，是因为我们从小就这么背的，但大模型的生成机制并不是背诗，而是逐字预测下一个字出现的概率：在输出“床前”这两个字后，计算接下来出“明”字的概率最高，出完 “明月”，再预测 “光” 的概率最高。
不少人会把“床前明月光”记成“窗前明月光”，但没有人说成“床前明月夜”，但在大模型看来，“光”还是“夜”，就是一个概率问题，而不是是非问题，在参数、上下文或采样设置影响下，也有概率跑偏，预测成“明月夜”这类不符合原诗的内容。
还有编造数字这种典型“低级错误”，也是因为模型并不真正理解“1990年”或“5000美元”的数值含义，它看到的只是“1”“9”“9”“0”这些字符的排列组合。当它预测下一个词时，它是在寻找“看起来最像年份的数字组合”，而不是去数据库里调取真实的年份。因此，它可能会一本正经地编造出一个符合格式但完全不存在的年份。
还有自作主张改原文，仍然因为它是语言模型，为了语句通顺，合乎语言逻辑，它会“自作聪明”地修改原文，或者删掉一些它认为“不重要”的内容，导致引用不精准。
还有逻辑链严格的长文本，比如合同、论文的处理中，模型在完成前半段的主体后，生成后半段时，“注意力”发生了漂移，把A事件的“头”接B事件的“尾”，只要语言本身符合逻辑。
归根到底，精确引用是在考“记忆力”，但大模型没有“记忆自检”能力，它不知道原文长什么样，所以就不会知道自己有没有记错，它只会保证输出做到通顺、像人话、有逻辑。就好像你让一个擅长写作的人去逐字背字典，他也会错，而且错得很自信。
随着模型变得越来越聪明，它们编造的内容在逻辑和语气上会更加逼真，普通人更难一眼识破。模型回答得越流畅、越自信，越要警惕。
