但如果讨论停在这里,其实没有太大意思。
因为“LLM 是next-token predictor”已经是AI 领域的常识。真正值得追问的问题不是它是不是在预测下一个token,而是:为什么这样一个被训练来预测文本的系统,最后却能翻译、写作、总结、解释概念、回答问题、写代码,甚至在很多场景中表现得像是在推理?
更进一步说:为什么它在表现出这些能力的同时,又会产生所谓的“幻觉”?
所谓幻觉,并不只是“AI 说错话”。更准确地说,幻觉是这样一种现象:模型生成了一段形式上流畅、语义上连贯、语气上自信、结构上完整、看起来非常像知识的文本,但这段文本实际上没有充分的事实根据,甚至完全是编造的。
这件事之所以重要,不只是因为它让AI 工具变得不可靠。它更深的意义在于:AI 幻觉暴露了一个关于知识的老问题——一个符号系统怎样才能不只是自我循环,而是真的抵达对象?
换句话说,AI 幻觉逼我们重新追问:
意义如何不只是意义,而成为知识?
一、LLM 学到的是知识,还是知识的外壳?
大语言模型的训练过程,可以粗略理解为反复做一件事:根据前面的文本预测下一个token,并通过误差反馈调整参数。
比如模型看到:
水杯放在
它需要提高“桌子上”“柜子里”“书架旁”这类合理续写的概率,降低明显不合语境的token 的概率。这个过程在海量文本中重复发生。久而久之,模型就学会了在不同上下文中生成更符合人类语言习惯的文本。
但问题在于,人类文本并不是任意符号串。
文本中沉积了大量关于世界的经验、概念、事实、因果关系和推理关系。
“因为下雨,所以地面湿了”不只是词语共现,也表达了因果结构。
“所有人都会死,苏格拉底是人,所以苏格拉底会死”不只是句式重复,也表达了一种推理形式。
“巴黎是法国的首都”不只是语言搭配,也编码了一个事实关系。
所以,模型为了更好地预测文本,确实可能被迫学习文本背后的关系结构。它学到的不只是“哪些词经常挨在一起”,还包括语法结构、概念关系、论证模式、事实关联、任务格式和领域知识的表达方式。
这正是LLM 最容易被低估的地方。
它当然不是像人一样生活在世界中。它没有身体经验,没有第一人称意识,没有行动意图,也不需要为自己的判断承担实践后果。但它也不是完全机械地复读语料。更准确地说,LLM 是一种大规模的符号关系压缩系统:它把人类文本中沉积的大量关系结构压缩进参数里,并在新的语境中重新展开这些关系。
这种能力来自统计学习机制。
预训练让模型在大量文本中学习符号之间的条件关系;Transformer 的attention 机制让模型能够根据上下文动态建模token 之间的关联;多层网络和多头注意力让不同层级、不同维度的关系被压缩成分布式表征;后训练则进一步把这种潜在的续写能力塑造成回答问题、服从指令、解释概念和完成任务的助手能力。
因此,LLM 的输出并不是简单的随机拼贴。它往往能够重构人类知识实践留下来的语言结构。
问题在于:这种重构虽然可以像知识,却不必然就是知识。
二、幻觉不是普通错误,而是“像知识”的危险
LLM幻觉最危险的地方,不是它胡说八道,而是它很少像胡说八道。
它会给出完整的结构、稳定的语气、像样的解释、专业的术语和看似清晰的推理链。它的回答常常不是混乱的,而是过于连贯的。它的问题不是没有意义,而是意义太顺滑了,以至于我们容易把这种顺滑误认为真实。
这揭示了一个重要区别:
语言上的连贯,不等于事实上的真实。
意义上的可理解,不等于认识上的可靠。
推理上的顺畅,不等于对象真的被把握了。
这其实不只是AI 的问题。人类也会这样。
一个哲学理论可以非常漂亮,一个政治叙事可以非常完整,一个心理解释可以非常自洽,一个文学批评可以非常精致。概念彼此呼应,论证层层推进,表达充满力量。可是,这套理论仍然可能没有真正抓住对象。它可能只是在符号内部完成了一次优美的自我循环。
这种东西也可以叫“理论幻觉”。
理论幻觉不是普通的事实错误。普通事实错误往往容易被指出,比如年份错了、名字错了、地点错了。但理论幻觉更隐蔽。它越连贯,越有解释力,越能把各种现象纳入同一个框架,反而越容易让人相信它是真的。
AI幻觉的哲学意义就在这里。
它把人类符号认识中一直存在的风险机器化、规模化、显性化了。LLM 让我们看到:一个符号系统完全可以生成意义,却未必获得知识;完全可以模拟解释,却未必真正抵达对象;完全可以形成流畅论证,却未必受到现实、规则和实践的约束。
所以,幻觉不是AI 偶尔犯错的副产品。它暴露的是一种更深的结构:
当符号生成脱离足够强的约束时,它仍然可以保持形式上的合理性,但失去认识上的可靠性。
三、问题不在“符号”,而在“约束”
这里需要小心。
不能简单说:所有符号推理都会幻觉。
严格的数学证明、逻辑演算、形式验证,在自身范围内并不必然幻觉。如果前提明确、规则有效、推导无误,那么结论在这个形式系统内部就是成立的。
比如:
所有A 都是B。
C 是A。所以C 是B。
这个推理形式没有问题。
问题在于:现实中是否真的存在这个C?C 是否真的属于A?A 和B 的概念划分是否恰当?这个形式结构是否真的适用于我们要讨论的对象?
所以,更准确的说法不是“符号推理都会幻觉”,而是:
所有脱离约束的符号生成,都有幻觉风险。
这里的关键词不是“符号”,而是“约束”。
符号本身并不反认识。相反,人类认识本来就离不开符号。我们必须通过语言、概念、命题、公式、图表和模型来认识世界。真正的问题是:这些符号是否被某种东西约束住了?
如果一个符号系统只依赖内部连贯性,它就可能把“说得通”误认为“是真的”。
如果一个符号系统受到规则、对象、实践和共同体的约束,它才可能从意义生产走向知识获得。
这也能帮助我们理解LLM 为什么会幻觉。
模型在训练中学到的是“什么样的文本在什么样的上下文中更可能出现”。但在没有外部检查的情况下,它并不总是知道自己生成的内容是否真的对应某个事实、某篇论文、某个案例、某个实验结果或某条法律规定。它可以根据相似结构生成一个“看起来像真实引用”的论文标题,也可以生成一个“看起来像真实案例”的法律判例,还可以生成一个“看起来像专家判断”的医学建议。
这些输出之所以危险,是因为它们在语言形式上已经接近知识,但在认识结构上还没有被对象约束住。
四、“外部约束”不一定在符号之外
这时会出现一个新的问题:逻辑检查、数学证明、专家意见,不也还是符号吗?如果它们仍然表现为文本、公式、证明、判断,那么它们怎么就不是另一种符号重组?
这个质疑非常重要。
答案是:外部约束不一定是非符号的。关键不在于它是不是符号,而在于它是否对当前这个符号生成过程构成了独立约束。
数学证明当然也是符号。逻辑推导当然也是符号。专家意见最后也常常以文本形式出现。但它们和普通文本生成的区别在于:它们属于某种有规则、有标准、有失败机制的实践。
数学证明不是因为它“看起来像证明”才成立,而是因为每一步都可以被检查。
逻辑推理不是因为它“读起来顺”才有效,而是因为它必须符合推理规则。
专家意见也不是因为它“说话像专家”才可靠,而是因为它背后连接着训练、经验、仪器、案例、同行评价、职业责任和实践后果。
所以,问题不是:
这是不是文本?
而是:
这段文本是否来自一种可检查、可纠错、可追责、可失败的实践?
一个AI 生成的医学建议,可能在语言形式上非常像医生。但它是否真正进入医学实践,要看它是否接入病例、检查数据、诊疗反馈、医生监督和责任机制。
一个AI 生成的法律分析,可能非常像律师意见。但它是否真正进入法律实践,要看它是否受到法律程序、案例体系、事实材料、职业规范和现实后果的约束。
一个AI 生成的哲学解释,可能非常像严肃理论。但它是否真正进入哲学实践,要看它是否经得起概念区分、文本证据、反例压力、论证重构和同行批评。
所以,我们不能把“外部约束”理解成简单的“非文本”。更准确地说,我们需要的是:
受约束的符号实践。
知识不是离开符号,而是让符号进入实践。
五、LLM 的能力差异:不是调用答案,而是上下文激活
理解这一点之后,我们还可以重新理解一个常见现象:为什么同一个LLM 在不同问题上的表现差异会这么大?
一种简单说法是:prompt 会影响回答。
但这个说法太浅。更准确地说,用户问题不是一个外在命令,而是一次内部激活。
已经训练好的模型在推理时不会重新学习参数。它面对不同问题时,是同一套参数在不同上下文条件下展开出不同的计算路径。
当用户输入一个问题,模型会把它切分成token,转化为向量,再通过多层attention 和MLP 重新计算上下文表示。不同问题包含不同符号、语义关系和任务要求,因此会激活模型内部不同的特征子空间、神经电路和生成模式。
这不是说模型内部一定有清清楚楚的“数学模块”“哲学模块”“代码模块”。对于大多数dense Transformer 来说,能力通常不是这样整齐地分块存放的。更准确的说法是:模型内部存在大量分布式表征。不同上下文会激活不同的表征方向、关系结构和任务schema。
比如同样是“绿色”这个词:
“为什么树叶是绿色的?”会激活生物学、叶绿素、光合作用和光谱吸收。
“绿色在诗歌中象征什么?”会激活文学意象、情绪、象征和文化语境。
“绿色作为颜色概念有什么哲学问题?”会激活感知经验、概念分类、主观性和颜色实在论。
“写一段CSS,把按钮设置为绿色。”会激活代码语法、属性值和网页样式。
同一个token,在不同上下文中进入完全不同的关系网络。
这说明LLM 的推理时能力不是静态取用知识,而是上下文对统计学习所得表征空间的一次动态激活。
而幻觉也常常发生在这里:当上下文成功激活了一种“像知识的回答模式”,却没有同时激活足够强的事实检查、来源约束或实践反馈时,模型就可能生成一段流畅但虚假的文本。
换句话说,幻觉不是模型完全没有能力。恰恰相反,它常常是模型能力的一种失控表现:模型知道某种知识文本“应该长什么样”,却没有足够条件确认它所生成的内容是否真实成立。
六、“实践”到底是什么?
说到这里,问题的重心就变了。
我们原来可能以为:知识就是一个正确命题。比如“水在标准大气压下约100°C 沸腾”。只要这个命题是真的,我就拥有知识。
但仔细想,这还不够。
一个人如果只是背下这句话,却不知道摄氏度是什么,不知道标准大气压是什么意思,不知道怎样测量温度,不知道怎样观察沸腾,不知道高海拔地区为什么水的沸点会变化,那么他拥有的更像是一个符号片段,而不是完整知识。
这说明,知识不是一句话孤零零地对应世界。知识背后总有一套实践。
所谓实践,不只是“做事情”。实践是一种让符号获得用途、标准、纠错和责任的结构。
它至少包含四个方面。
第一,实践有操作性。
知道一个东西,不只是能说出关于它的句子,而是知道如何在相关情境中使用它。知道“锤子”不是会背定义,而是知道它怎么握、怎么敲、什么时候会坏、什么时候用错。知道一个哲学概念,也不是能复述定义,而是知道它在论证中如何使用,和相邻概念如何区分,什么情况下会被误用。
第二,实践有可失败性。
真正的实践必须允许错误暴露出来。医学诊断会被检查结果和治疗反馈纠正,工程判断会被建筑是否安全纠正,数学证明会被规则检查纠正,哲学论证会被反例和概念混乱纠正。如果一种说法无论怎样都不会失败,那它就很难成为知识实践。
第三,实践有规范性。
实践不是任意行动。胡乱按键盘不是写作实践,随便画线不是几何证明,随便引用术语不是哲学分析。实践之所以能支撑知识,是因为它内部有标准:什么算证据,什么算理由,什么算推导,什么算误用,什么算完成任务。
第四,实践有共同体性。
知识通常不是私人符号的自我满足。别人可以追问你的理由,可以检查你的证据,可以复现实验,可以指出你的错误,可以要求你承担结论的后果。共同体不是因为“大家同意所以正确”,而是因为共同体提供了纠错、继承、反驳和更新的机制。
所以,实践不是知识之外的附加条件。实践是知识得以成立的场域。
七、知识不是文本内容,而是被实践约束的符号能力
如果这样理解,我们就可以重新看待AI 与知识的关系。
LLM学到的不是纯粹虚假的东西。它确实从文本中学到了大量知识的痕迹。医学知识、法律知识、数学知识、哲学知识、科学知识,都以文本形式沉积在训练数据中。模型可以压缩这些文本结构,并在新的语境中重组出来。
但它主要学到的是知识实践留下来的语言沉积物,而不自动等于参与了这些知识实践本身。
这就是LLM 的特殊位置。
它很像一个读过无数医学论文、法律判例、哲学著作、数学证明和工程手册的系统。它能说出这些领域的语言,能重构其中的概念关系,能模拟其中的论证方式。但仅仅这样,它仍然主要停留在“知识形式的生成”层面。
要从知识形式走向真正的知识能力,它必须进入实践循环:能被规则检查,能被对象纠正,能被行动后果约束,能被共同体追问理由。
这也解释了为什么AI 在某些领域可以非常强。
不是因为它“像专家一样说话”,而是因为它可以被嵌入某种实践系统。
当AI 写代码时,如果代码能运行、能测试、能报错、能修复,它就进入了编程实践的一部分。
当AI 做数学时,如果证明能被形式验证器检查,它就进入了证明实践的一部分。
当AI 做医学辅助时,如果它接入真实病例、影像数据、医生监督和疗效反馈,它就进入了医学实践的一部分。
当AI 做科研时,如果它提出的假设能被实验、数据和同行检验,它就进入了科学实践的一部分。
相反,如果AI 只是生成一段看起来专业的文本,而这段文本没有任何可失败、可检查、可纠错的机制,那么它仍然只是专家话语的模拟器。
八、AI 的问题不是“有没有理解”,而是“有没有进入实践”
因此,我们可以换一种方式提问。
过去人们常问:AI 到底有没有理解?它有没有真正的知识?它是不是只是随机鹦鹉?
这些问题当然重要,但它们容易把我们带入一个抽象争论:AI 内部到底有没有某种神秘的“理解状态”。
更有力的问题也许是:
AI是否进入了某种知识实践?
如果没有,它的输出就是知识形式的生成。
如果有,它的输出才可能成为受约束的认识活动。
这样一来,我们也不必在两个极端之间摇摆。
一个极端是说:AI 只是符号生成,所以完全没有知识价值。这个说法太弱,因为人类知识本来就通过符号展开,而LLM 确实可以重构大量有用的符号关系。
另一个极端是说:AI 能回答问题,所以它已经拥有知识。这个说法也太快,因为回答得像知识,不等于真的进入了知识实践。
更稳妥的说法是:
LLM的符号能力可以产生认识价值,但这种价值不是由语言流畅性保证的,而是由它所嵌入的实践结构保证的。
没有实践约束,符号生成会滑向幻觉。
进入实践循环,符号生成才可能成为知识。
九、从AI 幻觉重新理解人类知识
AI幻觉最终提醒我们的,也许不只是AI 的局限,而是人类知识本身的结构。
我们通常以为知识是大脑中的内容,是书本中的命题,是语言中的信息。但更准确地说,知识是一种被实践稳定下来的符号能力。
一个命题之所以成为知识,不是因为它孤立地写在那里,而是因为它能被使用、被检查、被修正、被继承、被反驳,并在对象和行动中承担后果。
所以,知识不是单纯的文本内容。知识是文本、行动、规则、对象和共同体之间的循环。
这也让我们重新理解LLM 的哲学意义。
LLM并不是第一次制造幻觉的东西。人类理论、意识形态、神学系统、政治叙事、心理解释,都可能产生高度自洽的符号幻觉。LLM 的独特之处在于,它把这种风险以极高速度、极大规模、极高流畅度呈现出来。
它让我们看到:意义可以在没有对象约束的情况下生成,解释可以在没有责任的情况下展开,推理可以在没有实践后果的情况下显得顺畅。
也正因为如此,AI 时代真正值得追问的问题不是“机器会不会说话”,也不是“机器能不能模仿知识”,而是:
什么样的符号活动才配被称为知识?
如果一个系统只是生成关于世界的文本,它还没有真正获得知识。
如果一个系统能够在实践中使用符号,接受失败,修正判断,承担后果,并被对象和共同体约束,那么它才开始接近知识。
LLM的幻觉之所以值得讨论,不是因为机器第一次犯错,而是因为它让我们重新看见了人类认识一直面对的根本问题:
意义如何不只是意义,而成为关于对象的知识?
夜雨聆风