夜雨聆风你的 AI 助手，可能比你以为的更「敢编」
问 AI 一个简单的事实问题，它给你一个斩钉截铁的答案。
你信了。
然后你发现——答案是错的。
这种事在 2026 年仍然每天都在发生。不管是 GPT、Claude、Gemini 还是别的什么 frontier model，在最简单的事实问答上，大模型仍然会自信地犯错。
问题出在哪？
▲ AlphaSignal AI 转述 Google 论文，称"模型无法可靠区分自己知道什么和在猜什么"
5 月 23 日，AlphaSignal AI 在 X 上发了一条帖子：
"Google just figured out why AI lies with confidence."
「Google 搞清楚了为什么 AI 会自信地撒谎。」
帖子引用了一篇来自 Google Research 和 Tel Aviv University 的论文，给出了一个让人不太舒服的诊断——
大模型的问题，不只是知识不够多。更深层的问题是：它分不清自己到底是"知道"还是"在猜"。
论文说了什么：幻觉的定义该改了
这篇论文标题叫《Hallucinations Undermine Trust; Metacognition is a Way Forward》（幻觉摧毁信任，元认知才是出路），作者 Gal Yona、Mor Geva、Yossi Matias，5 月 2 日提交至 arXiv，已被 ICML 2026 position track 接收。
▲ 论文摘要页：作者来自 Google Research 和 Tel Aviv University
论文上来就挑战了一个常见假设：过去几年大模型在事实性上的进步，主要靠的是让模型记住更多事实（扩大知识边界）——但模型到底清不清楚自己哪些知识靠谱、哪些在瞎猜（边界意识），进展远远没跟上。
"We argue that most factuality gains in this domain have come from expanding the model's knowledge boundary (encoding more facts) rather than improving awareness of that boundary (distinguishing known from unknown)."
「我们认为，事实性的提升主要来自扩大模型的知识边界（记住更多事实），但对这个边界的意识（区分已知和未知）并没有同步提升。」
换句话说，模型变聪明了，但没变得更自知。
而且，论文重新定义了什么才算"幻觉"。作者认为，把所有错误都叫幻觉太粗糙。真正危险的是"自信错误"（confident errors）——模型把错误信息用确定的口吻说出来，让你以为那是事实。
如果模型说"我不太确定，但我猜答案可能是 X"，你会当参考。如果模型说"答案就是 X"，你会当真。
两者的社会成本完全不同。
一个残酷的数字：纠错的代价
论文最扎心的部分是一组数字。
作者用 AUROC（一个衡量"置信信号能否区分正确答案和错误答案"的指标）来量化模型的"自知之明"。综合现有文献，在现实事实问答任务中，这个值通常只有 0.70–0.85。
▲ 论文 Figure 2 展示的 tradeoff：降低错误率会大量丢弃正确答案
这意味着什么？
论文做了一个模拟：假设模型有 25% 的基础错误率。你想通过设置更高的拒答阈值把错误率降到 5%——听起来很合理对吧？
代价是：你会丢掉 52% 本来正确的答案。
"Reducing the hallucination rate from 25% to 5% requires discarding 52% of valid answers."
「把幻觉率从 25% 降到 5%，需要丢弃 52% 的有效答案。」
论文把这叫做utility tax（效用税）。即使 AUROC 达到 0.85，这个税仍然高达 28%。只有 AUROC 达到 0.95 以上，代价才能降到 5% 以下。
问题的根源在于：正确答案和错误答案在模型内部的置信度分布高度重叠。你画一条线想把错的筛掉，必然连带大量对的也一起筛掉了。
这就解释了一个反直觉的现象：为什么一个模型可以在整体校准上看起来不错——比如它说 70% 确定的答案确实大约 70% 正确——但在单个问题上，你仍然无法靠它的置信度来判断这个具体答案到底对不对。
整体校准（calibration）不等于逐条区分（discrimination）。
解法不是让模型闭嘴
面对这个困境，一种直觉是：让模型对不确定的问题直接拒答。
但论文指出，这条路走到底会让模型变得过于沉默，丧失大量实用价值。
作者提出的方向叫faithful uncertainty（忠实不确定性）——
核心思路：让模型在回答时表达出来的不确定程度，真正反映它内部的置信状态。
"We propose faithful uncertainty: aligning linguistic uncertainty with intrinsic uncertainty."
「我们提出 faithful uncertainty：让语言上的不确定性与内在的不确定性对齐。」
注意，这跟普通的"加个'可能'就行"完全不同。
普通的 hedging 是话术——在每句话后面加"我认为""可能""不确定"。问题是，如果模型不管知不知道都加这些词，用户很快就会无视它们，这些修饰就变成了噪音。
Faithful uncertainty 要求的是实例级对齐：模型在这个具体问题上有多不确定，它表达出来的语气就有多谦逊。该自信的时候自信，该犹豫的时候犹豫。
"我觉得"不能是客套话，得是真实信号。
对 AI Agent 来说，这可能更致命
论文还专门讨论了 agent 场景，这才是 faithful uncertainty 真正重要的地方。
在聊天场景里，模型胡说影响的是用户信任。在 agent 场景里，模型胡说影响的是行动路径。
论文把 agent 面临的问题分成两类：
存储问题（storage problem）：工具和搜索可以解决——模型不用把所有事实都记在参数里，需要时搜一下就行。
控制问题（control problem）：这才是难点——什么时候该搜索？搜到的结果和模型自己的知识冲突了信谁？什么时候该停下来？
一个有元认知能力的 agent，可以把内部置信度当控制信号：置信度低就去搜索，证据冲突就表达不确定或继续验证，对自己高置信的事实就省掉无效检索。
反过来，一个"不知道自己不知道"的 agent，要么自信捏造，要么盲目过度搜索。两种都是灾难。
社区怎么看
▲ Hugging Face Papers 页面，该论文获 #3 Paper of the day，作者留言称是 ICML 2026 position track
论文发出后，作者 Gal Yona 在 Hugging Face 留言：
"Why do frontier LLMs still hallucinate? Our ICML 2026 paper (position track) offers a simple diagnosis and a constructive path forward."
「为什么前沿大模型仍然会产生幻觉？我们的 ICML 2026 论文给出了一个简单的诊断和一条建设性的前进路径。」
▲ AI 周报 TheSequence Radar #857 将该论文列入研究亮点
AI 周报 TheSequence 也收录了这篇论文，概括为：
"This paper reframes AI hallucinations as confident errors…"
「这篇论文把 AI 幻觉重新定义为自信错误……」
X 上的讨论也值得看。开发者 Fayez 的评论直接把问题拉到了产品层面：一个自信胡说的模型，比一个承认不知道的模型危险得多。Calibrated uncertainty 是 demo 和真正部署之间缺失的一层。
另一位开发者 Justin Hudson 则把论文当成了对过度乐观预测的现实提醒：如果模型在简单事实问答上都无法可靠区分已知和未知，那些"24 个月内 AI 替代外科医生"的预测，恐怕需要更强的证据。
也有日文回复质疑"Google 解明了"这个说法过头了——这确实是个合理的提醒：这篇论文是 position paper，提出的是诊断和研究方向，不是已经上线的产品方案。
论文自己也承认的难题
值得一提的是，论文并没有声称已经解决了问题。作者在最后列出了几个开放挑战：
Bootstrapping 悖论：基础模型不天然表达怀疑。你可以用 SFT 教它 hedge 的句式，但"不确定"这个标签会随模型知识状态变化。用静态数据集训练，可能让模型对自己知道的东西假装不知道，或者对不知道的东西过度自信。
后训练信号衰减：预训练模型可能已经有不错的不确定性表征，但标准的 alignment / instruction tuning 可能会诱导 overconfidence，把这些微妙信号磨平。
评测陷阱：模型可能学会"看起来像 faithful uncertainty"的风格——用正确的语气说正确的套话——但内部根本没在读自己的状态。评测需要能穿透这层伪装。
这些都是实打实的研究难题，不是调几个参数就能搞定的。
最后回到那个问题
为什么 2026 年了，AI 还在自信地胡说？
Google 这篇论文给出的答案很简洁：因为我们一直在让模型学更多事实，却没有同步让它学会分辨——哪些事实它真的知道，哪些只是在猜。
模型的知识量在暴涨，但自知之明没跟上。
而 faithful uncertainty 指向的方向是：与其追求一个永远不犯错的 AI，不如先让 AI 学会一件人类早就会的事——
说"我不确定"的时候，是真的不确定。
— END —
