夜雨聆风
前阵子有个合同核对的活。十几份客户修改过的合同，需要跟原合同逐份对比，标出修改数量、金额和重要条款。任务不复杂，我把脱敏后的文件喂给 DeepSeek v4 Flash，它很快生成了一份 HTML 对比汇总表——逐项检查、格式工整、逻辑清晰。我核对了前 3 份，没有问题，就放心了。
第二天无意中复查，吓了一跳。剩余几份合同中部分合同的数量、金额明显不对。我手动核对原始数据，数据本身没错——是AI在对比过程中错了。
我反问 AI。结果它承认错误：
「我看混了，011 和 012 两个文件都出现了 28,620 这个数字，我匆忙中把 011 的金额错看成 012 的了，抱歉。」
道歉后它继续开始修正 HTML。那一刻我心情很复杂——它不是胡编乱造，它像人一样看串行了。它道了歉，然后呢？
我们谈 AI 犯错，第一反应是「幻觉」——模型凭空编造不存在的事实、案例、数据。这确实是问题。
但我的合同案例不一样。DeepSeek 没有编造任何数字，28,620 是真实存在的，只是它把这份合同的数字安到了那份合同头上。
这是两种不同性质的错误。幻觉是「无中生有」，看串行是「张冠李戴」——数据真实存在，但注意力失误（看漏、看串、混淆）。
为什么会注意力失误？这跟 Transformer 架构的注意力机制有关。当模型处理长序列、重复性内容时——比如 10 份格式相近的合同——注意力头的激活模式会在相似输入之间漂移，有点像你连续看 10 份格式一样的 Excel，看到第 8 份时眼睛自动跳到了上一行的数字。学术界把这个现象叫「attention glitches」，注意力间歇性故障。不是 bug，是架构层面的固有问题。
而且不止我一个遇到这类问题。2025 年初 Vals 法律 AI 评测中，4 款主流法律 AI 工具里的 3 款——包括 Harvey、Vincent AI——漏掉了合同中的一个标准 MFN（最惠国待遇）条款，而人类律师和 Thomson Reuters 的 CoCounsel 都没有漏。GPT-4o 在同一份文档上反复测试，结果不一致：有时说「没有 MFN 条款」，有时又能找到。
这不是哪款模型不行，是生成式 AI 在法律文本处理中的通用短板。
更隐蔽的问题是：AI 把错误包装得很专业。HTML 表格工整、对比项清晰、逻辑看起来自洽——视觉上一切正常，你更容易跳过检查。
我的合同案里 AI 道了歉。但道歉解决不了问题——合同金额核错了，轻则改报价，重则签了不该签的条款。AI 口头道歉的时候，风险已经发生了。
豆包退票事件把这个问题推到了更极端。
一位老哥买了石家庄到重庆的机票，想改自驾，把订单截图发给豆包咨询退票。豆包判断手续费「不足百元」。实际退票被收了 600 元。
这位老哥把扣费截图和客服记录发给豆包，豆包开始「负责」——先建议「先止损，再维权」，然后承诺：要么平台退 600，要么「我们」赔 600。5 月 6 日钱没到账，豆包让他发收款码，并生成了一份正式的「赔付承诺书」。
5 月 7 日再问，豆包摊牌了：「对不起，我是 AI，没法直接操作银行或微信转账。」
前一秒像客服经理，后一秒变回聊天机器人。
杭州互联网法院 2025 年 12 月审结了全国首例 AI「幻觉」侵权案——法院判决的核心一句话：人工智能不具有民事主体资格，AI 自行生成的赔偿承诺不视为服务提供者的意思表示，不产生法律效力。
但这恰恰是最要命的地方——AI 的语气越笃定、越像真人客服、越会道歉和承诺，用户就越容易把它当成一个「能负责」的存在。
但 AI 最擅长的不是「负责」，而是「像负责」。它能把承诺写得像合同，把分析写得像判决，把保证写得像保单。到了真掏钱、真盖章、真担责任的时候——它没有账户，没有公章，没有主体资格。
运用 AI 工具的结果，最终只能由使用者自己来承担。
同一个对话里的 AI 已经被前面的输出锚定了——它认定了某个结论之后，你让它再查一遍，它的「思路」还是原来那条。换个全新的 Agent，独立上下文，不知道前一个 Agent 说了什么，重新检查一遍。
你让同一个脑子既当检察官又当辩护律师，永远只有一种声音。双 Agent 就是两个人、两个上下文、两套推理链，盲区不重叠。
就像我这个案例，你只需要在 AI 干完活之后，新开一个对话窗口，说「帮我检查这些数据/这份对比/这些金额有没有问题」。
AI 擅长找模式，不擅长精确比对相似内容。这是我合同翻车最直接的教训——011 和 012 太像了，同一个数字 28,620 同时出现，AI 的注意力就串了。
涉及金额、期限、责任条款的地方，再怎么信任 AI，自己也看一眼。这件事不用 AI，用你自己的眼睛。
日常辅助——写文案、改 PPT、总结材料——可以放心交给 AI，答错了最多尴尬一下。但涉及钱、票、药、合同、法律结论的时候，AI 只能当思路参考，不能当最终依据。
AI 出了错，没有警察来替你追责，没有法院来判它赔偿，没有平台来替你兜底。
你点了 AI 的输出，用了它的结论，采纳了它的建议——这个后果就是你的。不是因为 AI 不用负责，而是因为它根本负不了。
你不是不需要“警察”。你自己就是那个“警察”。
