AI教父辛顿:大语言模型理解语言的方式人类大脑一样!

本次演讲是人工智能先驱Geoffrey Hinton在IASEAI 2025上的重要分享，主题为“何为理解”。在这篇演讲中，Hinton从AI的发展史出发，深刻剖析了大语言模型（LLM）的工作原理，他指出，大语言模型并非简单的自动补全，其理解语言的方式与人类极其相似，都是将词汇作为会随语境变形的高维积木，通过相互作用来构建意义。此外，数字智能可以通过共享权重实现远超人类（生物计算）的知识传递效率。他得出结论：在能源充足的情况下，数字计算在知识共享上优于生物计算，这种超越人类的潜力令人深思与生畏。

文｜Geoffrey Hinton.

编辑｜张彤清华大学

01.AI的两大范式之争与符号学派的没落

Hinton开篇指出，在应对气候变化时，我们首先要在科学上达成共识；同样地，我们现在迫切需要对“什么是理解”达成科学共识。过去70年里，AI界存在两种截然不同的智能范式。前50年由“逻辑启发”的符号学派主导，他们认为智能的本质是推理，知识必须通过逻辑符号来表示。而生物学启发的神经网络学派（图灵、冯·诺伊曼及Hinton等人支持）则认为，智能的本质是学习，推理是后来才发展出来的能力。2012年，深度神经网络在计算机视觉领域取得压倒性胜利，促使学界转向神经网络。尽管如此，早期的语言学家（如乔姆斯基）依然傲慢地认为神经网络绝对无法处理语言，Hinton在此直言乔姆斯基关于语言不是后天学习的理论是荒谬的。

02.意义的本质与语言模型的进化

关于词语的“意义”，历史上也有两种理论：符号学派认为意义来自词汇之间的关系（如知识图谱），而心理学家认为意义是语义特征的集合。1985年，Hinton构建了一个微型语言模型，试图将这两者统一。该模型不存储任何句子，而是通过特征之间的相互作用，利用反向传播来预测下一个词。随着时间推移，Bengio证明了该方法适用于自然语言，随后谷歌发明了Transformer架构，OpenAI将其发扬光大，最终造就了今天的大语言模型。如今的LLM本质上就是当年那个微型语言模型的庞大后代，它们通过多层神经网络在语境中消除词语的歧义。

03.对“理解”的深刻隐喻：千维积木

为了解释AI是如何“理解”现实的，Hinton提出了一个生动的隐喻：把词汇想象成“一千个维度的乐高积木”。与形状固定的普通积木不同，这些高维积木极其柔软且具有可塑性。当一个词（比如“May”，既可以指五月，也可以指情态动词或人名）进入句子时，上下文语境会迫使这个词汇发生“形变”。这些积木上长满了形状各异的“小手”。当这些词在语境中变形后，它们的“小手”能够与其他词语的“小手”完美契合（在Transformer中这被称为Query-Key握手）。所谓“理解”，就是作为解释器的大脑或神经网络，将这些高维词汇进行形变并让它们互相“握手”，从而在内部构建出一个连贯的结构。

04.击碎对大语言模型的质疑

很多人认为大语言模型不具备真正的理解力，Hinton对此进行了有力的反驳：

质疑一：它只是统计学上的“自动补全”。 Hinton指出，早期的自动补全确实是靠查阅词频统计表，但现代LLM早已摒弃了这种做法。LLM不存储任何文本片段，它们的知识储存在神经网络错综复杂的“权重”中。通过特征向量之间的相互作用来生成内容，这正是人类拥有知识的方式。

质疑二：模型会产生“幻觉”，说明它什么都不懂。 Hinton表示，这在心理学上应该被称为“虚构”（Confabulation），而这恰恰是人类的典型特征。人类的记忆并非像计算机文件那样储存在硬盘里，而是在需要时“实时构建”出来的。他以水门事件中John Dean的听证会证词为例，Dean虽然记错了大量的会议细节和对话人物，但他对整个事件“掩盖真相”的核心要旨掌握得极其精准。大模型“一本正经地胡说八道”，正是因为它们的运作机制与人类大脑构建记忆的方式如出一辙。

数字智能的压倒性优势在演讲的最后，Hinton对比了生物智能（人类）与数字智能（AI）分享知识的效率。人类之间共享知识只能通过语言，这是一种低效的“知识蒸馏”。一句话大约只包含100比特的信息，学习者从中能获得的学习信号微乎其微。然而，数字代理拥有相同的数字化结构，这意味着我们可以复制出无数个拥有完全相同权重的AI副本。它们可以同时阅读互联网的不同部分，然后直接共享它们想要更新的“权重”和“梯度”。每一次共享，传递的都是高达数万亿比特（Trillions of bits）的信息量。这就是为什么GPT-4的知识量能达到任何单个人类的成千上万倍。

Hinton得出了一个发人深省的结论：数字代理理解语言的方式与人类基本一致，我们与它们彼此相似。尽管数字计算需要消耗极大的能源，但只要能源足够丰富或廉价，数字计算最终将是一种比生物体更优越的智能形态，因为它在知识共享和积累上的效率是人类望尘莫及的，而这是一个令人敬畏且恐惧的结论。

文/BY Geoffrey Hinton.

编辑/张彤清华大学

原文/https://www.youtube.com/watch?v=6fvXWG9Auyg本文内容基于创作共享协议（BY-NC），由语言治理发布

文章仅为作者观点，未必代表语言治理立场