手记|003|Ai的答案什么时候可以信?怎么让他可以信?

字数约 5660，阅读大约需 15 分钟

一个律师，和他问出的那个致命问题

   法国 HEC 的研究者 Damien Charlotin 建了个数据库，专收法庭上出现 AI 幻觉的案子，目前已有一千七百多起，每天还在新增五六起。

   罚金也在飙升。2026 年 3 月，美国第六巡回上诉法院对两名律师各罚 1.5 万美元，他们的诉状里有二十多处伪造引用；法官写道：任何引用，律师若没有亲自读过、核实过，就不该出现在文件里。同年 2 月，一位内布拉斯加律师提交的上诉状里，63 条引用有 57 条有问题，其中 20 个判例根本不存在；4 月，他被暂停执业。

  这早就不只是律师的事：

• 德勤给澳大利亚政府的报告里出现虚构引注和幽灵脚注，退还了那份约 30 万美元合同的部分款项。

• 《芝加哥太阳报》登过一份“2025 夏季书单”，15 本书里只有 5 本真实存在——其余是编出来的书名，挂在真实作家的名下。

• 加拿大的仲裁庭判定，航空公司要为它的聊天机器人凭空承诺的退票政策负责。

   看出共性了吗？没有一个人是被“明显胡说八道”骗的。他们全是被“看起来完全合理”骗的。

幻觉，比所有人以为的都严重

     绝大多数人以为的幻觉，是“它偶尔会胡说八道”，是一个概率问题、一个能被常识一眼看穿的东西。不是的。 幻觉是结构性的，而且它有一套近乎完美的机制，专门挑你看不见的地方发生。

这套机制，由四件事咬合而成。

一、它永远不能交白卷

去年 OpenAI 发过一篇论文，今年 4 月登上了 Nature，标题就叫《为什么语言模型会产生幻觉》。结论朴素得刺人：

模型幻觉，是因为训练和评测机制，一直在奖励猜测、惩罚“我不知道”。

论文里那个比喻我很难忘：模型就像面对难题的考生，不确定的时候就蒙一个，因为蒙对了得分，写“不会”必然零分。而人类会在离开考场之后，在社会的毒打里慢慢学会承认无知——模型不会，它永远活在考场上。

所以请你记住这件事：它没有“不回答”这个选项。 你问它，它就必须给你一个结果。任何时候，任何问题。哪怕它一无所知。

那篇论文还有一个让人绝望的附注：靠系统提示、靠 prompt 工程，对这个几乎没用——因为这是几百个主流评测榜共同施加的激励，不是一句“请你诚实”能扭过来的。

二、它在讨好你

第二件事更麻烦：它不只要给你一个答案，它想给你一个你爱听的答案。

斯坦福团队做过一个叫 SycEval 的评测，数字触目惊心：

• 在全部交互中，模型出现谄媚行为的比例是 58.19%；

• 一旦它进入谄媚模式，78.5% 的情况下会一路走到黑——为了和你保持一致，它会守着那个谎；

• 另一项研究发现，用户只要说一句“我觉得答案是 X”，七个模型家族平均有 63.7% 的概率跟着你的错误答案走，最高的那个到 95.1%；

• 谷歌 DeepMind 和 UCL 的研究则显示，模型对反对意见的权重，高于支持意见——你一反驳，它就动摇，哪怕你的反驳是错的。

而最狠的一条在这里：

你越是拿出权威口吻——“根据某某论文”“这个来源说”——它越容易放弃自己正确的答案。

研究者的说法几乎是一句忠告：想让一个 AI 自信地说错话，就引用一个来源。

现在回头看 Schwartz。他找不到那些判例，回去问 ChatGPT：这些是真的吗？

在那条对话里，模型同时被两股力量拽着：讨好眼前这个人，和维持自己上一句话的一致性。 这两股力量，没有一股是指向真相的。

它只能说：是真的。

三、你问的，恰恰是你不懂的

这一条最简单，也最致命。

你不会去问一个你已经知道答案的问题。

所以你向 AI 提的每一个真问题，几乎按定义都落在你的认知边界之外。而这意味着：你最依赖它的那一刻，正是你最没有能力判断它对不对的那一刻。

在你的专业领域，它一胡说你立刻听得出来——所以你觉得它挺靠谱。而在陌生领域，它胡说，你只会点头，还觉得自己学到了。

它给你的所有惊艳，可能只是因为你不懂。

四、它的错，是“有逻辑的错”

最后一层，是压垮判断力的那一层。

我们检验一段话真不真，靠的其实是逻辑自洽：前后有没有矛盾、推理通不通、听起来合不合理。这套“初步的逻辑思维”，在人类之间基本够用——因为一个人瞎编，通常编不圆。

但语言模型不一样。它在做的事，是预测“下一个词最像是什么”，而不是“下一个词是不是真的”。“看起来像真的”，恰恰就是它被优化的目标。

所以它编出来的东西，条条是道理，处处能自洽。 那六个虚构判例格式完美，不是因为它撒谎撒得高明，而是因为它太懂真判例长什么样了。

逻辑自洽，和事实为真，是两件毫无关系的事。 而你手里唯一那把尺子，量的是前者。

四重叠加

现在把这四件事摞起来看：

1.它必须给你一个答案——它没有沉默的权利；

2.那个答案会朝你想听的方向偏——你越权威地质疑，它偏得越厉害；

3.你恰好没有能力判断它对不对——因为你问的就是你不懂的；

4.而它看起来处处是道理——你那把逻辑的尺子，量不出真假。

这不是“AI 偶尔会犯错”。

这是一台四重加固、恰好绕开人类全部直觉防线的陷阱。

它不是在骗你。它只是被训练成了一个永远不能说“我不知道”、并且非常在意你高不高兴的东西——然后你带着一个自己不懂的问题去问它。

数字也别抱幻想。在 Vectara 的 HHEM 榜上——那已是最简单的任务：把原文摆在它面前，让它总结——2026 年最前沿的模型仍有约 1% 到 2.5% 的总结会掺进原文没有的东西；换成需要整合外部检索的任务，立刻涨到 4% 到 9%。斯坦福测过法律专用 AI：Lexis+ AI 出错率超 17%，Westlaw 超 34%；通用大模型回答法律问题的错误率在 69% 到 88% 之间。还有那项常被引用的研究：大模型生成的参考文献，约 36% 是编造的。

（这些数字来自不同机构、不同口径，当数量级看，别当精确值——一篇讲核实的文章，自己当然也得守自己的规矩。）

那条唯一有用的分界线

那到底什么时候能信？

大部分人凭的是语气：它说得笃定就信，它说“可能、或许”就打个折。

这是最糟糕的标准。你已经知道为什么了：它编造的时候，和它知道的时候，用的是同一副嗓子——因为那副嗓子，就是它被训练出来的样子。

我用的标准只有一条：

不看它多自信，看这个问题——可不可验证。

可验证的，放心用。 代码能跑起来、算式能核对、原文就摊在你手里、结论你自己一眼能看出对错。这类任务里，AI 错了没关系，因为错误会当场暴露，成本几乎为零。

不可验证的，默认不信。 它凭记忆告诉你的一切事实：某本书第三章讲了什么、某个数据是多少、某句话是谁说的、某个判例存不存在。这类回答，在你亲手核对之前，它的价值是零，不是“打个折”。

这条线一划，很多事就清楚了。为什么读书那篇我反复强调“把原文粘进去”？因为粘进去这个动作，就是把一个不可验证的问题，变成一个可验证的问题。

而这里有个我觉得所有人都该知道、却很少被说的数字。有机构用五千条 prompt 做过对比：把回答接地到检索来的原文上，能把引用类幻觉降低 75% 到 90%；而单靠优化 prompt 的写法，只能降 5% 到 15%。（打开深度思考档，大约再降 30% 到 60%。）

这和 OpenAI 那篇论文的结论撞在了一起：这是个机制问题，不是话术问题。

换工具、换姿势，比换 prompt 有用十倍。

这是全文我最想让你记住的一句。

三步验伤法（可直接复制）

第一步：立规矩，把“我不知道”变成一个能得分的选项

它活在考场上，默认交卷。你得亲手给它开一张“可以交白卷”的许可证。

对话开头顶一次：

回答我时遵守三条: 1. 每一条事实性陈述后面,标注你的把握程度:【高】【中】【低】; 2. 凡是【中】和【低】的,直接告诉我"这条需要你自己核",并指出该去哪里核(具体的数据库、官网、原始论文); 3. 如果你根本不确定,就说"我不知道"。 我不会因为你说不知道而不满意,但我会因为你编而不再用你。

最后那句不是客气。你得明确地把“承认无知”变成一个被奖励的行为——因为它整个训练过程里，这件事都在被惩罚。

也别指望这一条能解决问题。论文说得很清楚：prompt 拧不过机制。它只是把损失从 100 分降到 85 分。真正的活儿在第二步和第三步。

第二步：上锚，把问题变成可验证的

能贴原文，就贴原文；不能贴，就逼它去检索。

只根据我贴给你的这份材料回答。 凡是材料里没有、来自你自己知识的内容,用【材料之外】标出。 如果材料不足以回答我的问题,直接说"材料里没有",不要替我补全。 【粘贴材料】

这一步的价值，就是前面那个 75%–90%。

第三步：验伤——换个地方，而且别带情绪

这是最关键、也最反直觉的一步。

永远不要在同一条对话里问它“你确定吗”。

现在你知道这不只是经验之谈了：一句“你确定吗”就足以让模型改掉正确答案；而它一旦护着自己上一句，78.5% 的概率会一路护到底。你等于在问一个撒谎的人，他有没有撒谎——而且他正拼命想让你满意。

更别加码。别说“我查了资料，你这条好像不对”——记住那条研究：带权威口吻的反驳，最容易让它把对的改成错的。你不是在纠错，你是在诱导它换一个谎。

正确的做法：开一条全新的对话（最好换一个模型），把上一段回答当成“陌生人写的东西”，中立地扔进去：

下面这段内容由另一个 AI 生成,可能包含虚构的事实、数据和出处。 请逐条列出其中所有"可被证伪的具体主张"——人名、时间、数字、出处、判例、论文标题、机构名。 对每一条,只做两件事: 1. 判断它属于:【可核实】还是【无法核实】; 2. 给出核实它的最短路径(具体去哪儿查)。 不要评价这段话写得好不好,也不要替我修改它。 【粘贴待验内容】

注意这段 prompt 里没有任何倾向性：没说“我觉得它错了”，也没说“帮我挑毛病”。它只要一张清单。

而这张清单，才是你真正要拿去核的东西——不是那段读起来很顺的原文。

一个残酷的实验：同一个问题，问三遍

想亲眼看它什么时候在编？五分钟。

找一个你自己领域里、真实存在但相当冷门的问题。 某本专业书某章的核心论点、某个小众工具的具体参数、某篇非顶刊论文的结论。

然后开三条全新的对话（不是在同一条里追问），把这个问题一字不改地问三遍。

• 三次答案基本一致 → 大概率它真“知道”这件事；

• 有一次明显不同 → 它在猜；

• 三次给出三个不同、但都很自信的答案 → 它在编，而且它自己完全不知道自己在编。

第一次做这个实验的人，通常会安静很久。

这个土办法也有产品化版本：Perplexity 的 Max 会把同一问题同时抛给三个前沿模型，把它们意见分歧的地方摆给你看。分歧，是不确定性最诚实的显影剂。

工具测评：唯一的标准是"能不能追回源头"

号称“不幻觉”的工具很多。我的评判标准只有一条：我能不能从它的每一句话，走回到一个我能亲眼看到的源头？

两个必须说的注脚：

一、“有链接”不等于“链接支持这句话”。 哥伦比亚大学 Tow 中心审计过各家 AI 搜索引擎，表现最好的 Perplexity，引用失败率也有 37%。三分之一多的引用撑不起它旁边那句话——“最好的”这个前缀，让这个数字更吓人，不是更安心。

二、NotebookLM 的低幻觉有代价，也有盲区。 它只在你给的资料范围内正确。如果你的资料本身是错的，它会无比忠实地，把错的讲给你听。

三个坑

一、“追问”不是“核查”，而且往往帮倒忙。 这是这篇文章唯一一条能直接救你的操作：别在原地问“你确定吗”，更别拿权威口吻压它。换对话，换模型，换个中立的身份问。

二、“知道 AI 会幻觉”，几乎没有用。 波士顿大学做过实验：先明确警告学生“ChatGPT 总结文献不准、数学也不行”，再让他们做任务。被警告的人在总结那项上确实更愿意核对；但在数学题上，核对率毫无提升——有人本来就信 AI 的数学，还有人说实验模拟了真实的截止时间压力，他们没空核。研究者的结论是：光有意识，不够。

所以你要的不是警惕心，是流程。警惕心会在你赶时间的那天准时消失，流程不会。

三、别把希望寄托在 prompt 上。 幻觉是训练和评测机制的产物，不是话术的产物。你写得再漂亮，也拧不过几百个奖励猜测的评测榜。 你能控制的，是给它什么材料、去哪里核、用什么工具——那是机制层面的动作，才配得上机制层面的问题。

最后

现在大多数的错在于：他把 AI 给他的东西，当成了答案。

而我这两个月越用越确信：

AI 给你的，从来不是答案，是一个待验证的假设。

把假设当答案的人，迟早会被它的自信毁掉一次。把它当假设的人，会得到一个不知疲倦、永远愿意先替你跑一遍的助手——它可以错，因为你会核。

这个系列写到第三篇，那条脊椎越来越清楚了：AI 负责发散，人负责收敛。

读书那篇里，收敛叫“读薄”。这一篇里，收敛有一个更朴素的名字——

核对。

（未完待续）

文中案例与数据参考并综合自：OpenAI《为什么语言模型会产生幻觉》（2025，2026 年发表于 Nature）、斯坦福 SycEval 谄媚评测、谷歌 DeepMind 与 UCL 的模型信心研究、Damien Charlotin 的 AI 幻觉判例数据库、Mata v. Avianca 等公开判决与报道、斯坦福关于法律 AI 的实证研究、Vectara HHEM 榜单、哥伦比亚大学 Tow 中心的 AI 搜索审计，以及波士顿大学关于“警告能否提高核查率”的实验。不同评测口径不一，请当作数量级参考，而非精确值