夜雨聆风学习资料网

ARTICLE · 1101930

AI 每 3 次就编 1 次?我用 3 招让 WorkBuddy 当场认错

AI 每 3 次就编 1 次?我用 3 招让 WorkBuddy 当场认错

AI 不是不能信,是得逼它自证。我实测了 3 招,把最强旗舰模型的幻觉率从 30% 压到可逐条核对。

上周三下午,我让 WorkBuddy 核一个 API 的默认连接超时。它秒回,语气笃定得像念教科书:"根据公开资料显示,默认超时 30 秒,行业通用配置。"我随手一搜——15 秒,而且那篇"公开资料"它压根没真读过。

最离谱的不是它答错,是它答错时那股自信,比答对还足。

我干了 20 年 AI 落地,比这离谱的编法见多了。今天不聊"AI 又翻车"的乐子,聊怎么让它当场给自己找证据——把嘴硬变成认怂。

一、AI 为什么"一本正经胡说"?

先翻个案。大模型本质是"概率补全机器":它预测下一个最可能的词,不是翻数据库核对事实。你问它不确定的事,它不会说"不知道",而是编个"听起来最对"的答案。

两个坑叠加:一是"危险中间地带"——那些真实存在但资料稀少的小众知识,AI 知道个大概,就发明缺失细节去补全(日期、人名、条款全是现编的,读着却无比合理);二是很多评测把"承认不知道"和"答错"罚得一样重,变相鼓励它"宁可自信地错,也别诚实说不知道"。

所以你看到的"一本正经",不是演,是出厂设定:能编,就别认怂。

这段转给你家管 AI 的同事,省得他哪天替 AI 背锅。

二、现场实录:WorkBuddy 怎么胡说的

我把那次对话复盘(脱敏,不点协议名)。我问超时多少,它答"30 秒,行业通用配置"。三个破绽全中:

第一,甩"根据公开资料显示"——真读过会甩链接、给段落;甩空话多半是脑补。第二,说"行业通用配置"——把训练记忆里的泛化结论当事实,典型的危险中间地带补全。第三,真实值是 15 秒,差一倍。

我回了句:"证据呢?把那篇公开资料链接发我。"它支吾半天给个含糊引用,我一查,那篇根本没提超时。

更坑的是多轮"自我强化":首轮 3%–20% 的错误引用,会在后续轮次重现。所以第一次就要它认错,别聊到第 5 轮。

三、三招让它当场自证(附可直接抄的提示词)

发现它嘴硬,别吵,用这三招让它自己查自己。我把它做成一张「AI 幻觉排错清单」,建议截图存着:

排错动作
一句提示词(直接抄)
能降多少幻觉
① 要来源
"每条事实必须给可点击来源,找不到就明说不确定,不许编"
45%–60%
② 问证据
"逐项验证:官方文档哪段写了?有无版本差异?给可核实来源,核实不了的划掉"
配合检索再降一截
③ 只信文档
"只基于我给的文档答,文档没有就直说"
整体压到 2%–5%

我用 ①+② 怼 WorkBuddy,它重新检索后认了:"你说得对,默认 15 秒,我之前那条没有可靠来源。"

真实案例佐证:某零售客服机器人误报 holiday 退货期(1/15,实际 12/24),团队加了文档版本号 + "禁止臆测" + 强制引用,48 小时内幻觉率从 23% 掉到 2.6%——没换模型,只换了"喂什么、怎么答"。

这段转给老板:AI 翻车的锅,终究是公司的。

四、数据说话

回到开头那次,不是个例。EPFL 和 ELLIS 2026 年的 HalluHard 基准,专测"已开联网搜索"的旗舰模型:Claude Opus 4.5(联网)幻觉率仍有 30.2%,GPT-5.2-thinking 38.2%;不开搜索直接飙到 60%——连最强的 AI,每三到两次就编一次。

检索(RAG)能把幻觉压一大截:不同口径降幅 40%–71%,成熟系统压到 2%–5%。强制引用单独用,最多降约一半。宏观点:2026 年估算全球每天约 2750 万条 AI 假答案(每秒 320 条),Forrester 估企业年成本约 674 亿美元。

关键提醒:别把"它给了链接"当"它对了"。HalluHard 发现,联网把"引用不存在来源"从 38.6% 降到 7.0%,但"引用内容其实没支撑说法"只从 83.9% 降到 29.5%——链接可能是真的,但 AI 用错了。要看链接里的原话,别只看它说"我引用了"。

这段转给所有怕 AI 胡说的人,三招收好。

五、边界与坑:什么时候别信它的"笃定"

专业高危领域(医疗、法律、金融),复杂查询幻觉率 10%–40%,斯坦福 2026 AI Index 说专业级复杂询问约 92% 会出现某种幻觉——这种必须人工复核,别拿"自证"当免死金牌。开放式常识问答也有 10%–20%。最危险的是"它答得飞快还特别顺":答案越长越详细,出错概率反而越高,推理并不天然等于更准。

金句卡|记住三个字:证据呢。一句"证据呢",让 AI 从嘴硬变成认怂,把幻觉变成可核对的事实。

结语:最危险的 AI,是犯错还特别自信的那个

给你三句速记:① 要来源 ② 问证据 ③ 只信文档。

我 20 年最想告诉你的话:最危险的 AI 不是会犯错的,是犯错还特别自信的。而那份自信,恰恰是你该警觉的信号。

你被 AI 胡说坑过最离谱的一次是什么?评论区聊聊。有用的话,点在看 / 转给同事,让他也少背几次锅。

相关学习资料