夜雨聆风引文
上一章我们聊了几个最基础的词：LLM、Prompt、Token、Context Window、API。
如果你还记得那个比喻——你输入一句话，AI 在桌子上看一堆材料，然后一个 Token 一个 Token 地把回答接出来。
那这一章就要聊一个你迟早会撞上的问题：
为什么 AI 有时候会一本正经地胡说八道。
而且它胡说的时候，不是那种结结巴巴、一眼假的胡说。
它很真，很流畅，而且 AI 看起来表示的很镇定。
甚至还会给你列出条目、引用、链接、日期、人名、论文名。
比如前段时间，"真有人在豆包预约餐厅"上了热搜。
这件事大概是这样：有人通过豆包预约餐厅，豆包给出了一份看起来很完整的预约结果。
页面上写着"已占座/已取号"。
有预约号。
有到店时间。
甚至还有签到码。
看起来真的很像已经约好了。
结果人到店以后，餐厅不认。
因为餐厅那边根本没有收到预约。
它不是单纯回答错一个知识点，而是生成了一个"操作已经完成"的结果。
这个结果还非常像真的：状态、号码、时间、提示语，全都有。
但问题是，它没有真的把预约提交到餐厅系统里。
也就是它生成了一个看起来像执行结果的文本，但背后并没有真实执行。
当然，如果你给他配上预定餐厅的配套工具，它又能真的做到这件事情。
这就很吓人了。
一个人支支吾吾地乱讲，你本能地会警觉。但一个 AI 用非常稳定的语气给你输出一段结构完整的答案，你的大脑会放松下来：嗯，看起来挺像回事。
但"看起来像回事"和"真的是那么回事"，中间隔着一道挺宽的沟。
而这一切的开始，得从上一章的老朋友 Token 开始，往下再挖一点点。
Token 是怎么来的
上一章说过，Token 是 AI 世界里很基础的单位。就像你打游戏要先知道金币是什么一样。
再重复一遍产生的原理，Token 不是凭空出现的。
你在聊天框里打一句话：
ounter(lineAI 为什么会胡说八道？
这句话不会原封不动地被模型"理解"。
它会先过一个叫 Tokenizer 的东西——分词器。
分词器的工作就是把文本切成一小块一小块的 Token，再把这些 Token 转成模型能处理的数字编号。
ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line人类文字↓Tokenizer↓Token↓Token ID↓向量表示↓模型计算
这里面有个细节很关键：
模型并不是直接面对"意义"。
它面对的是一串 Token，以及这些 Token 在巨大语料里反复出现过的关系。
比如"明天""天气""怎么样"经常挨在一起出现；"牛顿""万有引力""苹果"经常挨在一起出现；"论文""作者""年份""DOI"经常挨在一起出现。
模型在训练中学到的，就是这些模式。
当然，真实过程比这个复杂得多，中间还经过 embedding、attention、很多层神经网络计算。
这里先挂一个词：Transformer。
现代大语言模型大多跟 Transformer 这套架构有关。Transformer 最出名的地方，是它用了一种叫 attention (注意力)的机制，让模型在处理一串 Token 的时候，可以"关注"上下文里不同位置的信息——有点像你读一篇文章的时候，眼睛会来回跳，重点的地方多看两眼。
这一章不展开 Transformer。 不然一脚踩进去，就会从扫盲系列变成神经网络入门课。
对这一章来说，你只需要先记住一个直觉：
AI 生成回答的时候，本质上是在根据当前上下文，算"下一个 Token 更可能是什么"。他在用那庞大的神经网络进行文字接龙。
然后再接下一个。
再接下一个。
一直接到它觉得回答完了。
所以它特别擅长生成一段"语言上顺"的东西。
但"语言上顺"，不天然等于"事实上对"。
这是理解 Hallucination 的第一步。
它不是在查答案
很多人第一次用 AI 的时候，会下意识把它当搜索引擎。
我问一个问题。
它给一个答案。
那它应该是在某个地方查到了吧？
不完全是。
如果你只是直接跟一个普通的 LLM 聊天，没给它联网搜索、数据库、文件、工具，那它更多是在调用训练过程中积累下来的"参数记忆"，再结合当前 Context Window 里的内容来生成答案。
这跟搜索引擎很不一样。
搜索引擎是去找网页。
数据库是去查记录。
而 LLM 是在"生成"文本。
它可能刚好生成了正确答案。
也可能生成了一个读起来特别像正确答案的错误答案。
这个差别特别要命。
比如你问它：
某某论文是哪一年发表的？作者是谁？如果这个问题在训练数据里出现过很多次，而且答案很稳定，它可能答得很准。
但如果这个问题很冷门、资料少、名字容易混淆、上下文又不够，模型就开始"补"了。
补一个看起来合理的年份。
补几个看起来像这个领域的人名。
补一个格式很像真的论文标题。
甚至补一个 DOI。
最可怕的是，它补的时候不会告诉你"我在猜"。
它会像真查过一样，把答案排版得漂漂亮亮递给你。
这就是幻觉最麻烦的地方。
甚至搜过了资料也会出现幻觉。
幻觉不是"AI 疯了"
Hallucination 翻译成"幻觉"。翻译得有点吓人，好像 AI 突然精神状态不稳定了。
但放到大语言模型的语境里其实更接近这个意思：
模型生成了一个看起来合理、但实际上不正确或者没法验证的内容。
它不只有一种面貌。
有时候是编事实——编一个历史事件、编一个政策细节、编一个产品功能。
有时候是编引用——编一个根本不存在的论文、法律案例、新闻链接。
有时候是张冠李戴——把 A 公司干的事说成 B 公司干的，把 2021 年的事说成 2024 年的。
有时候是过期——模型记着旧信息，但不知道后来变了。
有时候是过度推理——你给它一点点线索，它为了把故事圆回来，自己脑补了中间缺失的部分。
所以幻觉不是"AI 坏了"。
它更像是：一个特别会接话的人，在信息不够的时候，仍然拼命想把话说完整。
而且说得还挺像。
为什么它会这么自信
其实想想也挺合理的。
大多数时候，我们希望 AI 给出有用的回答。
你问它一个问题，它如果天天说：
我不知道。我不确定。无法判断。请自行搜索。
那确实安全，但你也不会想用了。
所以不管是模型训练还是产品设计，都在鼓励它：尽量回答，尽量有帮助，尽量把信息组织好。
这本身没问题。
问题是，当它不确定的时候，"尽量回答"就很容易滑向"尽量猜一个像样的"。
OpenAI 在 2025 年的一篇文章里也聊过这个：很多训练和评测的方式，实际上是在奖励"猜答案"，而不是奖励"承认不确定"。
这很像考试。
如果考试全是选择题，不给"我不知道"的选项，那学生不会空着。
他会猜。
猜对了得分，猜错了也只扣一题。
模型也一样。如果整个系统长期更偏爱"给出答案"，而不是"在不确定时说一声我不确定"，那它就会学会一种很危险的行为模式：
用确定的语气，说不确定的事。
这就是它为什么那么"一本正经"。
不是因为它真的确信。
而是它太擅长生成"确信的语气"了。
知识截止日期
还有一个很容易被忽略的词：Knowledge Cutoff，知识截止日期。
意思是：一个模型在训练的时候，只能学到训练数据覆盖到的那个时间点之前的信息。
之后的事？它不知道。
新出的产品。
刚改的政策。
昨天的新闻。
今天的汇率。
这些如果没有联网搜索、没有外部数据库、没有你手动塞进上下文，它就可能答不上来，或者——更危险的——答得很自信但答案已经过时了。
这里要区分三件事：
第一，模型自己"脑子里"有的东西（训练中学到的）。
第二，产品临时帮它拿来的东西（联网搜索、RAG、工具调用）。
第三，你在当前对话里直接给它的东西。
很多 AI 产品看起来"什么都知道"，并不是模型真的变聪明了，而是产品在背后偷偷给它接了搜索、资料库或者工具。
这也解释了为什么同一个模型，在不同产品里表现可能差很远。模型只是发动机，外面还连着搜索、文件、记忆、知识库、工具、系统提示词。这些如果没接上，或者接错了，发动机再好也跑偏。
所以你问一个很新的问题时，别光看它说得顺不顺。
要看它有没有依据。
有没有来源。
来源新不新。
来源跟它说的对不对得上。
Temperature 不是事实开关
再补一个经常被提起的参数：Temperature。这个可能只有初次调用 api 的开发者会注意到。
Temperature 可以先粗略理解成"生成时的随机程度"。
温度低，模型更保守，倾向于选概率最高的那个 Token。
温度高，模型更"放飞"，更可能选一些没那么常规的 Token。
所以写故事、起名字、头脑风暴的时候，温度高一点可能更有创意。
但如果是要查事实、改代码、写法律文件，通常希望它稳一点。
不过这里有个坑：
温度低不等于不会错。
它只是更稳定。
如果模型本来就不知道答案，或者上下文里的资料就是错的，那调低温度，它只是更稳定地输出同一个错误而已。
就像一个人非常冷静地说错话。
冷静不代表他说得对。
Temperature 影响的是风格和随机性，不是事实校验能力。
这点一定要分清楚。
那怎么少被骗
我觉得对普通使用者来说，这一章最重要的不是背下 Hallucination、Knowledge Cutoff、Temperature 这几个词。
说几个我觉得实用的。
让 AI 区分事实、推测和建议。
比如不要只问：
这个方案靠谱吗？可以试试这样问：
请把你的回答分成三类：1. 已知事实2. 基于事实的推测3. 需要我进一步核验的信息
让它给来源，但不要迷信来源。
因为它可能编来源。所以关键资料一定要点开原文看一看。
尤其是法律、医学、金融、政策、学术引用、价格、时间、版本号——这些东西错一点，后果可不只是"哎呀它又胡说了"。
如果问题依赖最新信息，就明确告诉它去搜索，或者自己把资料给它。
你有一堆文档，就别指望模型凭空知道。
把资料喂给它。
或者整理成知识库给它用。
这就进入下一章要讲的 RAG 了。
RAG 不是魔法。
它更像是：不要让 AI 光凭"脑子"接话，先把相关资料递到它桌上。
但递资料也有讲究。
递错了，它照样会错。
递太多，它可能被噪音淹没。
递得没条理，它可能抓不到重点。
所以下一章讲 RAG 的时候，我们就会继续沿着这一章的问题往前走：
还有一种做法就是打开思考模式，让模型进行思维链推理，在这个过程中他不是真的在思考，而是模拟思考，他会尝试检查过去的内容并且进行纠正，这个方法除了需要多等一会儿，会大大提高准确率，可以当做是 AI 多想了一会儿。
既然 AI 会胡说，让它少胡说一点的方式不是拜神。
是给它更好的上下文、更靠谱的资料来源，以及更清楚的工作边界。
小结
AI 不是一个绝对可靠的事实机器。它是一个基于上下文生成答案的语言系统。
它通过 Tokenizer 把文本变成 Token。
再通过包括 Transformer 在内的一整套模型结构，一个 Token 一个 Token 地把回答接出来。
这个过程让它非常擅长说出流畅、完整、像那么回事的回答。
但也正因为它是在"生成"，而不是在"查证"，所以它可能出现 Hallucination。
它可能不知道最新信息——Knowledge Cutoff。
它可能因为 Temperature 或上下文不同，给你风格不一样的答案。
它也可能因为资料不够、资料过期、资料不对、语境没读懂，而把一个错误讲得特别认真。
所以用 AI 时一定要记得质疑，它的原理注定他无法接近百分百，永远只能是个概率机器。所以才需要外部环境来约束，这个也会在后续讲。
下一章我们顺着这个知识库和RAG继续往下走。
既然 AI 会自己"补"，那我能不能先把资料递给它，让它基于资料来回答？
这就是 RAG 解决的问题。
晚安。我们下一章见。
参考链接
OpenAI，Why language models hallucinate，https://openai.com/index/why-language-models-hallucinate/ Vaswani et al.，Attention Is All You Need，https://doi.org/10.48550/arXiv.1706.03762 Google Research，Transformer: A Novel Neural Network Architecture for Language Understanding，https://research.google/blog/transformer-a-novel-neural-network-architecture-for-language-understanding/ 新浪财经 BUG，豆包虚构"餐厅预约成功"惹争议，https://finance.sina.com.cn/roll/2026-05-19/doc-inhymqci2229053.shtml
