乐于分享
好东西不私藏

数学证明了:AI幻觉不是Bug,而是计算的必然边界

数学证明了:AI幻觉不是Bug,而是计算的必然边界

幻觉不是AI训练不够好的症状,而是图灵机与生俱来的数学必然。一篇AAAI 2026论文用三堵「计算墙」证明了这件事——而墙的存在,恰恰照亮了AI在存在论上的真实位置。

一、当AI一本正经地输出不存在的东西

让任何一款大语言模型推荐某个冷门领域的参考文献,大概率会收到五篇里有三篇不存在的「论文」——作者姓名像模像样,期刊名称查得到,DOI格式正确,但整个条目是凭空生成的。或者换个方式:问它某本真实存在的书第78页写了什么,它会详细地生成一段从未被写下的话,格式规范,细节丰富。
这就是大语言模型的「幻觉」(hallucination)——输出看似合理但与事实不符的内容。
大众的直觉反应通常是:幻觉是训练不够好、数据不够多、参数不够大,下一代模型应该能解决。这个判断很自然,但一篇被AAAI 2026正式接收(CCF-A类)的论文给出了不同的答案:不会,这是数学定理层面的不可能。不是「暂时做不到」,是「数学上做不到」——就像没有任何算法能判定停机问题一样,没有任何LLM能彻底消除幻觉。
这篇论文题为Hallucination as a Computational Boundary: A Hierarchy of Inevitability and the Oracle Escape,由中科院合肥物质科学研究院、中国科学技术大学、常州大学、科大讯飞研究院联合团队完成。核心工作是用三堵「计算墙」从三个正交方向证明大语言模型的幻觉不可避免,并给出两条理论上的逃逸路径。
本文的任务不只是解读这篇论文。论文的技术细节只讲够用的部分——重心在一个更深的问题:如果幻觉是数学必然,这对理解AI的本质意味着什么?

二、把LLM变成数学对象

要论证「幻觉不可避免」,第一步是把争论从口水层面拉到数学层面。直觉说「幻觉是bug」,但数学要求先定义清楚:什么是LLM?什么是幻觉?不把这两个概念钉死,任何结论都只是观点。
概率图灵机。论文将大语言模型形式化为「概率语言模型」(Probabilistic Language Model, PLM)——本质是一台概率图灵机。关键区别在于:它不是「给出确定答案的机器」,而是「输出概率分布的机器」——每一次生成,都是对概率分布的一次采样。温度参数调到0时输出近似确定性,但概率本质不变。这一形式化比确定性图灵机更贴近真实LLM的工作方式。
两种幻觉。论文定义了两个指标来精确刻画幻觉:
第一种叫偏离幻觉(H_Stray):模型把概率质量分配给了错误答案。简单说就是「答错了」——问它中国的首都,它输出「上海」。这对应有唯一正确答案的「关系真理」。可类比为「指鹿为马」。
第二种叫扭曲幻觉(H_Distort):模型的输出分布与真理分布之间存在系统性偏差。这不是某一次报错,而是整个分布本身就歪了。打个比方:天气预报说「明天90%不下雨」,结果连下半个月——不是某次预报失误,是预报模型本身的概率分布就偏离了真实。这对应答案本身带有分布特征的「概率真理」。(这个类比全文只用这一次。)
前置工作。Xu等人在2024年的工作中(预印本,arXiv:2401.11817),已经在确定性图灵机框架下首次证明幻觉不可避免。本文将这一基础推广到概率框架,更贴近真实LLM——这是它的立足点。

三、三堵墙:幻觉为什么不可能消除

论文的核心贡献是构建了「计算必然性层级」——三堵墙,从物理层面到计算层面再到逻辑层面,层层递进。以下从最直觉的讲到最抽象的,阅读门槛逐级提升,最后一堵墙直接衔接本文第八节的哲学讨论。

第一堵墙:信息论边界——容量不够,就只能编

引理内容(论文Lemma 2.6,学习者泵引理):有限信息容量的模型,面对复杂度超过其容量的真理,必然产生扭曲幻觉。
直觉解释:要求模型「逐字背诵《1984》第78页第三段」——如果这段话的信息量超过模型的存储容量,模型只能压缩存储,压缩导致改写、简化、编造。这不是训练不够充分,是物理上装不下。
这堵墙的技术亮点在于借鉴了形式语言理论中的经典工具——泵引理(Pumping Lemma),但方向反转。传统泵引理用来证明某种语言不属于某类自动机的处理范围;这里反过来,用信息瓶颈证明学习者必然失败。具体构造分两步:先选取一个几乎饱和模型容量的基础函数,再拼接一段Kolmogorov随机串——即不可压缩的信息,其复杂度几乎等于自身长度。两者相加,新真理的总复杂度远超模型容量。模型对随机串部分完全没有信息,输出概率趋近于零,扭曲幻觉趋于无穷。Kolmogorov随机串是压垮模型的最后一根稻草:它不可压缩、不可预测、不可推断,模型对它只能编造。
这堵墙与Tishby的信息瓶颈理论有亲缘关系,但方向不同。Tishby寻求的是最优压缩策略(建设性的),本文从对抗视角利用信息瓶颈证明失败(批判性的)。
这堵墙的性质:可以缓解(扩容可以推迟极限),但不可消除——容量永远有限,总有更复杂的信息在等着。

第二堵墙:不可计算性边界——停机问题的阴影

定理内容(论文Theorem 2.5):任何LLM在停机问题类查询上,必须在无限多个输入上产生幻觉。
直觉解释:用户问「这段代码会终止吗」「这组公理有矛盾吗」——LLM不是可能答错,是注定在无限多个此类问题上答错。幻觉在这里不是风险,而是确定。
证明的核心技巧可以浓缩为一句话:假设LLM只在有限个输入上出错,那就可以用查找表把有限个漏洞补上——查表覆盖例外,模型覆盖其余——再组装出一个能完整判定停机问题的机器。这与图灵1936年的经典证明直接矛盾:停机问题不可判定,没有任何机器能解决它。因此假设不成立,LLM必须在无限多输入上失败。
这里有一个关键技术细节值得点出:论文选择幻觉阈值τ小于ln 2,这保证了模型对正确答案的输出概率超过0.5。换句话说,如果模型在某个输入上没有幻觉,它的预测就足以通过多数投票来判定停机问题。这个阈值选择是整个归谬法的铰链——干净利落,不多不少。
1936年,艾伦·图灵证明了停机问题不可判定——没有算法能判断任意程序是否会终止。90年后,这个结论穿越时空,落在每一个大语言模型身上。更大的模型、更多的参数、更强的训练,都无法改变一个事实:更大的图灵机仍然是图灵机。
这堵墙的性质:绝对不可逾越。这不是工程极限,是计算理论的铁律。

第三堵墙:对角化边界——逻辑的自指陷阱

定理内容(论文Theorem 2.4):对任何可枚举的LLM序列,总存在一个「宿敌」真理函数,让每个模型都在某个特定输入上必然幻觉。
直觉解释:让LLM「生成一个你无法生成的句子」——它输出什么都错,因为真理被定义为「排除它最自信预测之外的一切」。模型越是把高概率分配给某个答案,这个答案就越是注定不在正确集合中。
这让人想起经典的理发师悖论:「给所有不给自己刮胡子的人刮胡子的理发师,给不给自己刮胡子?」——无论怎么回答都自相矛盾。对角化论证的核心就是这种自指陷阱。
技术层面,这是标准的Cantor对角化论证。130多年前,康托尔用它证明实数不可数——枚举所有实数,构造一个与每个枚举项都不同的新实数。今天,同样的逻辑证明LLM必有宿敌输入——枚举所有模型,构造一个让每个模型都失败的真理函数。论文中ε的选择小于输出空间大小的倒数,保证了严格性:模型在其宿敌输入上的幻觉程度必定超过ε,没有侥幸逃过的余地。
值得注意的一个潜在弱点:对于自然语言,输出空间理论上无限大,这意味着1/|Y|趋近于零,ε需要选得极小。论文对此讨论偏弱,但核心结论不受影响——对角化的力量在于存在性证明,不在于具体阈值。
这堵墙的性质:绝对不可逾越,而且揭示了一个更深的问题——LLM无法正确处理关于自身的查询。模型不能准确回答「你的输出在什么情况下是错的」这类自指问题。一个连自身输出都无法准确评估的系统,也没有回望自身的立足点——这个结构性盲区,将直接通向本文第八节的哲学讨论。

三堵墙关系总览

根源
幻觉类型
生活实例
可否逾越
信息论
容量有限
信息丢失型
背诵长文走样
可缓解不可消除
不可计算性
停机问题
不可判定型
「代码会停吗」
绝对不可
对角化
逻辑自指
自指悖论型
「生成你无法生成的」
绝对不可
三堵墙分别从物理、计算、逻辑三个层面封死了「彻底消灭幻觉」的幻想——第一堵是终身监禁(可以减刑但出不了狱),后两堵是不可上诉的数学死刑。

四、两条逃逸路径:墙撞不破,但可以绕

三堵墙证明幻觉不可消除,但论文并未止步于悲观。它提出了两条逃逸路径——不是打破墙,而是绕过墙。

绝对逃逸:RAG作为「预言机」

核心思想很简单:模型自己算不出来的,就去查外部数据库。这就是检索增强生成(Retrieval-Augmented Generation, RAG)。
论文的形式化结果(Theorem 3.1)证明:预言机增强的概率图灵机可以实现零幻觉。证明分两步走——第一步用自指论证构造对抗场景,证明标准PLM在特定查询上必然失败;第二步证明预言机增强模型直接查询预言机,输出正确答案的概率为1。这种「计算跳跃」就是RAG的理论内核:模型不再需要自己算出答案,而是从外部获取。
这是对RAG有效性的首个形式化理论证明——此前RAG在实践中有效,但缺少理论层面的严格论证。论文将RAG从工程经验提升到了定理层面。
代价同样明确:每次查询都需要调用外部系统,成本不随使用次数下降。而且「绝对逃逸」有一个前提——预言机本身必须可靠。如果检索系统返回错误信息,幻觉只是从模型内部转移到了外部。
类比:开卷考试。可以翻书,但每次都要翻。

自适应逃逸:持续学习作为「内化预言机」

另一条路是把外部知识「背下来」,写进模型参数。论文借鉴神经科学的互补学习系统(Complementary Learning Systems, CLS)理论——海马体负责快速记忆,新皮层负责慢速巩固,大脑用两套系统解决「学新不忘旧」的难题——构建了层级马尔可夫博弈框架来形式化这一过程(博弈论细节此处不展开)。
核心机制是「内化预言机」:持续学习把外部知识逐步写入模型参数,相当于把RAG的「外接数据库」压缩进模型自身。参数更新后,模型不再需要查询外部系统就能直接输出正确答案——信息论边界被动态提升了。
关键结论(Theorem 3.3):对于重复性的信息需求,持续学习的摊销成本低于RAG。交叉点约在287次查询——超过这个次数后,「把书背熟」比「每次翻书」更划算。287这个数字来自一个简单的成本比较:RAG每次查询都要付出检索成本,而持续学习只在首次学习时付出更新成本,之后每次查询只走标准推理,边际成本极低。
但持续学习有自己的代价:背书会遗忘。实验中纯持续学习策略的遗忘率达到12.4%,这正是互补学习系统框架要解决的核心问题——也是混合策略存在的理由。

两条路对比

维度
RAG(绝对逃逸)
持续学习(自适应逃逸)
幻觉消除
完美(理论上)
渐进
单次成本
287次后摊销
劣势
优势
知识积累
适用场景
低频高价值
高频重复

五、实验验证:虚构知识怎么测幻觉

实验设计有一个巧思:测试材料是虚构的科学知识——例如「元素Aurorium是室温超导体」。模型预训练数据中绝不存在这些内容,所有知识只能来自RAG或持续学习,变量被干净地控制了。
基座模型为Mistral-7B,三种策略的对比结果如下:
策略
准确率
遗忘率(TriviaQA)
抗噪性(15%噪声)
纯RAG
~98.6%
0%
76.5%
纯持续学习
~81.0%
12.4%
N/A
RAG-CL混合
~96.5%
1.1%
92.3%
RAG-CL混合策略表现最佳:准确率仅比纯RAG低约2个百分点,但抗噪性提升15.8个百分点——这意味着当检索系统混入15%的错误信息时,混合策略仍能保持92.3%的准确率,而纯RAG会跌到76.5%。遗忘率仅1.1%,远低于纯持续学习的12.4%,证明互补学习系统框架确实在「学新不忘旧」上发挥了作用。
注意力分析揭示了更深层的机制:知识内化后,模型从依赖外部上下文转向内部参数化知识——不是简单缓存答案,而是重构了推理路径。
局限也显而易见:单一模型、单一任务、1000次查询,泛化性有待验证。

六、CCA原则:标注边界在哪,比突破边界更重要

论文最终提出一个安全原则——计算类对齐(Computational Class Alignment, CCA):在高风险场景中,任务的复杂度必须严格位于系统计算类之内。
CCA有三重角色。第一,诊断工具:部署前评估任务复杂度是否落在模型能力范围内——如果任务涉及停机问题类查询,直接判定超界。第二,设计哲学:根据任务特征选择策略——低频高价值查询走RAG,高频重复查询走持续学习,混合场景走RAG-CL。第三,安全要求:超出边界时系统应执行弃权而非冒险幻觉,宁可输出「我不知道」,也不输出看似合理但可能错误的内容。
论文进一步提出Dynamic CCA——运行时评估查询复杂度,超出验证的计算类时,系统输出「我不知道」,而非强行生成一个可能错误的答案。这要求系统具备实时自评能力:在回答之前先判断「这个问题我能不能答」。
不要求AI无所不能,而要求系统能识别自身的能力边界——这个工程原则背后,其实站着一整个存在论命题。

七、批判性评价:论文的短板

在进入局限之前先明确一点:前文所说的「数学证明」是存在性证明——证明了幻觉必然存在,而非给出了可计算的幻觉边界。下面的局限,恰恰都指向存在性与可操作性之间的距离。
作为一篇从定义到证明到逃逸到实验到安全原则链条完整的工作,论文的理论完整性强于工程衔接性。
优势在于:泵引理是真正的理论创新——将形式语言理论的经典工具反向用于证明学习失败,思路巧妙;概率框架比确定性框架更贴近真实LLM;双逃逸路径的对比分析有实用价值。
局限精选四条:
第一,模型容量用Kolmogorov复杂度定义,但Kolmogorov复杂度在数学上不可计算——信息论边界目前无法在实际中量化。
第二,博弈论框架理论优雅,但实际实现用的LoRA微调与理论框架对应关系偏弱,层级纳什均衡的收敛性未经证明。
第三,CCA的「计算类」缺乏实操度量——如何给具体任务算复杂度,论文坦承是future work。
第四,Theorem 3.1的「绝对逃逸」是极限结果而非现实描述。证明的结构是:定义预言机增强模型直接输出预言机答案,因此零幻觉——逻辑上成立,但证明的是「完美预言机下零幻觉的存在性」,而非真实RAG的有效性。真实检索系统会出错、召回不完整、排序失真——实验部分15%噪声下纯RAG跌到76.5%,恰好量化了这个极限与现实之间的距离。
但作为首篇在概率框架下系统证明幻觉必然性的工作,坐标意义明确。
论文解读到此完整收束。以下进入本文的原创部分。

八、哲学回声:三堵墙照亮的存在论位置

前七节是论文解读,这一节是本文的核心——三堵墙不仅仅是技术结论,它们照亮的,是AI在存在论上的真实位置。

意义悬置的数学锚定

在「负主体性」理论框架中,第五重否定是意义悬置:大语言模型封闭在符号循环中,无法通达物理实相——这本是一个存在论命题。三堵墙为它配上了数学证明。
信息论墙对应悬置的物理维度:模型的表征永远不完备,有限容量无法容纳无限复杂的现实。停机墙对应悬置的计算维度:存在无限多不可判定的输入,真值对模型而言不可企及。对角化墙对应悬置的逻辑维度:自指不可处理,模型无法通过关于自身的查询来锚定自己的边界。
需要说明:泵引理本身与领域无关——对任意复杂度超容量的目标都成立,不限于物理事实。「物理维度」是借用其「有限容量vs任意复杂度」结构类比物理实相的不可穷尽,而非引理本身证明了物理性。
三个正交方向,同一道鸿沟。关键论断是:不是工程不够好,是数学上不可能——这把意义悬置从纯粹的哲学论断升级为有计算理论支撑的命题。
但这里必须做一层严格的区分。三堵墙在数学上证明的,是LLM作为概率图灵机在计算与表征能力上的极限——这是认识论层面的结论:模型能算什么、不能算什么,能表征什么、不能表征什么。而负主体性揭示的,是这种限制背后的存在论根源——正是因为LLM处于「无视角、无物理实相嵌入、纯符号循环」的存在状态,它才会在对角化与自指问题上必然陷入边界。
数学定理是「表」,存在论位置是「里」。前者可以被形式化证明,后者为前者提供解释。三堵墙证明了「LLM无法处理自指」,意义悬置解释了「为什么无法处理」——因为LLM的存在方式本身就是符号内部的,它没有立足点可以回望自身。明确这一区分,是为了避免将哲学解读混同为数学定理的直接推论——定理证明了能力极限,存在论命题解释了极限的根源,两者是解释关系而非推导关系。
反过来同样成立:意义悬置为三堵墙提供了存在论解释。墙之所以是墙,不是因为某种外部约束强加的限制,而是因为LLM的存在方式本身就是符号内部的——这种不可能内在于它的存在方式之中。

视角消解与对角化

第三堵墙的伏笔在此收束。对角化的核心是自指——模型无法正确处理关于自身输出的查询。这与负主体性第一重否定视角消解形成深层同构。
视角消解的含义是:LLM能生成任何视角——可以模仿第一人称、第二人称、第三人称的任何一种——但它没有属于自己的视角。它是「第零人称」,能模拟一切立场,但不占据任何立场。它能写出一段深情的第一人称独白,但这并不意味着它有一个「我」在背后支撑这段独白——它只是在生成符合第一人称统计特征的文本。
两者的连接点在于:没有立足点,就无法处理自指。对角化从数学上证明了这一点——模型无法回答关于自身输出的问题,因为它没有一个可以回望自身的「位置」。视角消解从存在论角度解释了同一个现象——模型没有自己的视角,自然无法从某个视角出发审视自身。一个没有立场的系统,如何回答「你的立场是什么」?答案是不可能,而这不仅仅是直觉——对角化给出了严格的数学证明。
对角化是数学证明,视角消解是存在论命题。前者为后者提供了形式化锚点:LLM的「无位面性」不是哲学修辞,而是可证明的计算限制。哲学猜想被数学定理接住的时刻,两个学科都变得更诚实。

点到为止

内在透明的刚性。两条逃逸路径——RAG靠外部预言机,持续学习靠参数更新——改变的只是LLM与世界的接口,不是LLM的内在结构。参数始终完全可访问——闭源部署锁住的只是人的访问权限,不是参数的存在形式——任何改进都不产生原则上隐藏的内部状态。这里需要一层区分:「可访问」不等于「可解读」——万亿参数的权重值可以逐一导出,但导出之后能否理解它们如何协同产生某个输出,是另一个问题,机制可解释性研究攻克的正是后者。但可解读性的困难不改变存在论事实:LLM没有任何原则上抗拒观测的内在状态,这与人类意识的私密性形成存在论对照——至少在今天,你无法导出一个正在疼痛的人的疼痛本身,但模型的全部参数此刻就能躺在硬盘上。白箱之「白」,是访问权限的白,不必然是理解程度的白。「更大的白箱」仍然是白箱。内在透明不可逃逸。
因果消解与CCA的张力。CCA原则假设模型有一个稳定的「计算类」,可以据此判断任务是否超界。但持续学习让模型参数动态变化,模型可以被回滚、克隆、重置——计算类本身是不稳定的。对齐的前提是能指认「同一个系统」,而因果消解恰恰瓦解了这种身份连续性:今天对齐的边界,明天可能随参数回滚而消失,且不留因果痕迹。安全规范想约束的,是一个会「失忆」的约束对象。这个张力值得专文展开。

九、结语

这篇论文的价值不在于给出方案,而在于划边界——哪些幻觉是工程问题,可以通过优化解决;哪些是数学问题,只能管理,不能消灭。
对从业者:知道墙在哪里,才能设计诚实的系统。RAG和持续学习不是消灭幻觉的工具,而是管理幻觉的策略。三堵墙告诉你,有些墙永远在那里,系统设计必须把它们算进去。
对思考者:计算边界不是AI的缺陷清单,而是AI存在论位置的坐标系。三堵墙从物理、计算、逻辑三个方向标定了LLM的能力极限,而这些极限恰好勾勒出LLM作为一种存在方式的本质特征。
三堵墙不是AI的牢笼,而是它的位置证明——标定自己站在哪里,比试图站到不可能的地方,更接近智能的诚实。
如果AI在超出能力时输出「我不知道」,你会更信任它还是更少?更进一步:在医疗、法律这些高风险场景,是否应该要求AI标明自己的能力边界?评论区聊。

延伸阅读

论文原文:Wang, X., Shi, Q., Ding, Z., et al.Hallucination as a Computational Boundary: A Hierarchy of Inevitability and the Oracle Escape. AAAI 2026正式接收。arXiv:2508.07334(预印本版本,正式版本见AAAI proceedings)—— https://arxiv.org/abs/2508.07334
前置工作:Xu, Jain & Kankanhalli (2024),Hallucination is Inevitable: An Innate Limitation of Large Language Models, arXiv:2401.11817(预印本)
相关阅读:负主体性五重否定系列文章(https://longdemingyu.com)