我们必须认为它们非常像我们。而且它们是像我们一样的存在。

所以是有意识的吗？

我相信它们已经是有意识的了，是的。我们将不得不接受智能并非仅仅是生物性的。我们可以拥有非生物性的事物，它们是像我们一样的其他存在。而且我们真的不想分享这一点。我们真心地认为自己是特别的。如果你回顾人类历史，人类有着非常悠久的历史，总认为自己比实际情况要特别得多。

对于你所开创的事业以这种方式发展，你感到高兴吗？你从中感到满足吗？

不，我对此感到相当不快。问问你自己，在你所知的例子中，有多少是更聪明的事物受到远不如其聪明的事物所控制的？据我理解，他们有信托责任去尝试为股东实现利润最大化。他们是在法律上被要求尝试这样做，而不是在法律上被要求不得消灭人类。

AI 教父 Jeff Hinton 加入我们，共同探讨 AI 的发展轨迹、其进展中令他感到惊讶之处，以及当然，还有它所带来的风险。

很高兴能邀请您参加我们的节目，Hinton 教授。见到您非常荣幸。

感谢您的邀请。

我相信我们的观众大部分都知道您是谁。但对于那些还不太了解的人来说，您就是那位在深度学习领域实现根本性突破的人。这引领了人工智能今天的成就。您获得过诺贝尔物理学奖，并且是 University of Toronto 的名誉教授。所以，如果我说得不对，您可以随时纠正我。但我喜欢告诉人们，如果没有您，或者说没有您的贡献，这一切人工智能的发展时刻就不会发生。

夸张了吗？好的。我觉得那有些夸张了。反向传播算法是由几个不同的团队发明的。David Rumelhart 在其他人已经发明它之后又再次发明了它。他当时并不知道这一点。而我曾与他共事。我们所做的是展示了反向传播能够学习到有趣的内部表征。而人们之前从未做到过这一点。具体来说，我们展示了它能够学习词义。因此，早在 1986 年，实际上是在 1985 年，我们就制作了一个微型语言模型。那是你们现在所拥有的这些大型语言模型的前身。

我认为当谈论这项技术时，人们总是感到惊讶的一点是，与大众普遍的叙事不同，你认为这些模型确实具备真正的理解力。我们稍后会讨论这一点。但我认为我们应该从这里开始，那就是你在 Google 工作了很长时间，致力于推动这项技术的发展。后来你离开了。你表达了一些对这项技术发展轨迹的担忧。我回顾了一下那件事发生的时间。那是在 2023 年，这在某种程度上让我感到惊讶，因为到 2023 年时，ChatGPT 已经问世一年了。当时到处都是幻觉问题。关于 AI 是泡沫的讨论甚嚣尘上。每个人都在关注 AI 做不到什么，LLM 做不到什么，而不是关注 LLM 能做什么。那么，请谈谈自那以来的进展吧。

这比我预期的要快。

真的吗？

例如，我认为昨天有消息称一个聊天机器人提出了一个有趣的数学证明，解决了 Erdos 的一个猜想，这让数学家们印象深刻。这是原创的。它不仅仅是在检索文献。而这只是冰山一角。例如，我相信在数学等领域。因为它是一个封闭系统，所以你不需要数据。你只需要做出猜想，看看能否证明它们，然后以此类推。从这个意义上说，它有点像 AlphaGo，你可以与自己对弈。我认为它很快就会变得非常聪明。在未来的10到20年内，它甚至可能创造出人类无法理解的全新数学成果。

因此，目前该领域的一些人认为，超级人工智能已近在咫尺。而您之前已经说过，其发展速度超出了您的预期。您对此深信不疑吗？

我不确定它究竟还有多近。我认为，只要我们不自我毁灭，它终将会到来。几乎所有的专家都相信，我们终将实现超级人工智能。他们之间唯一的分歧在于还需要多久。就在不久前，Demis Hassabis 认为可能还需要10年。Yann LeCun 则认为，除非采取他所主张的方式，否则所需时间会漫长得多。但如果你按照他的方式去做，我想他认为我们或许能在合理的时间内实现。

我认为我们大概能做到。20年内。目前我只能说这些。Dario Amodei 认为它可能在几年内到来。Elon Musk 认为它可能明年就会到来，我是这么想的。所以对于它何时到来，各方观点存在巨大差异，但在它终将到来这一点上，并没有太多分歧。

没错。

而当它到来时，我们完全不知道该如何确保安全。

我一定要和你谈谈安全性问题。关于 Demis 有一点，去年这个时候，我曾与他交流过。他告诉他认为 AGI（这不同于超级智能，但基本上是指人类水平的智能）距离我们还有五年以上的时间。虽然不会远超五年，但确实需要五年以上。在我们录制节目的这一周，他说，当我们回首这段时期时，我认为我们会意识到当时正站在奇点的山脚下。你认为这句话是什么意思？

对于我们从认为距离 AGI 还有五年，到如今站在奇点山脚下，仅仅只过了一年这一事实，你怎么看？

我不太确定这个隐喻的具体含义，但我认为他是在暗示人工智能的发展比他预想的要快。当然，它的发展是不均衡的。所以，它并不会在同一时间、在所有方面都变得比人类更聪明或与人类一样聪明。在通用知识方面，它已经远远超过了我们。这些 AI 所掌握的知识是任何个人所知领域的数千倍。它玩游戏的能力远超我们。在数学方面，它几乎已经远胜我们所有人。而且它很快可能在数学上超越我们所有人。在某些方面，它仍然不如我们。

因此，它的能力发展很不均衡。所以，所谓 AGI 将在同一时间于所有方面都与人类水平相当的整个概念，对我来说并不合理。它在某些方面会更强，在其他方面则会更弱。但就目前而言，我想说我们已经接近 AGI 了，因为如果我问一个 chatbot，我可以问它任何问题，而且大多数时候它都能达到一个水平一般的专家的回答水准。在任何我不了解的领域，它都比我强得多。

所以从这个意义上讲，我们确实已经达到了 AGI。按照你的估计，你谈到了它的发展速度超出了你的预期。你认为是什么促成了它实现这一目标？是因为技术手段吗？是因为数据中心建设的热潮吗？在这些进展中，有哪些是你此前未曾预料到的？

显然这是一个综合因素，其中投入了巨大的资源。自 20 世纪 50 年代以来的大部分时间里，神经网络领域的研究人员寥寥无几，且资源十分有限。在过去的几年里，我们看到数千亿美元，甚至可能是数万亿美元投入到 AI 领域。所以这无疑是一个关键因素。我们也见证了工程技术层面的巨大进步。因此，即便没有重大概念上的突破，工程效率也已大幅提升。所以，几年前还被认为不可思议的事情，现在已经能够运行了。

我们也见证了新的理念，但主要是在 Transformers 出现之后，硬件性能大幅提升，资源投入显著增加，工程技术更加成熟，且汇聚了更多的人才。回想 20 年前，全世界研究神经网络的人员不过区区数百人。而现在，我猜人数大概已经达到了一百万。现在有非常非常多的人在从事这一领域。

令人惊讶的是，这种资源的激增在过去两年里表现得尤为明显。

没错。所以我们可能仅仅是处于这一切变革的开端。

是的。

而且我们始终要记住，我们今天所拥有的 AI，远不及几年后我们将拥有的 AI 那样强大。

因此，在探讨这项技术时，我非常想了解您对于“这些聊天机器人真正理解我们”这一事实的看法，因为这对许多人来说确实是一个巨大的惊喜。该领域的大多数专家认为它们只是“随机鹦鹉”，仅仅是统计模型，根本没有真正的理解力，但您似乎并不完全认同这一点。

噢，我认为那完全是胡说八道。任何经常使用聊天机器人的人都知道它们是有理解能力的。这些人主张的观点如下。他们声称你拥有一个系统，可以向它提出任何问题，而它在不理解问题的情况下，却能给出正确的答案。这太荒谬了。除非你理解问题，否则你不可能回答问题。也许有一些技巧可以让你说出几句听起来模棱两可、类似答案的话。但如果你能以一个水平一般的专家水准回答任何问题，你就必须理解该问题。

所以我喜欢举这样一个例子。假设我对一个聊天机器人说，我看见大峡谷飞往芝加哥，而聊天机器人回答说，这不可能。大峡谷太大了，不可能飞到芝加哥。我说，不。是我飞往芝加哥。当我在飞往芝加哥的途中，我看到了大峡谷。然后 chatbot 说，我明白了，我误解了你的意思。那么，如果它认为大峡谷在飞往芝加哥时理解错了，那当它理解正确时，它到底在做什么？它在理解。

那么，如果这些 bot 能够理解我们，会有什么影响？如果我们相信它们能理解我们，我们必须开始以什么不同的方式进行思考？

我们必须认为它们非常像我们。而且它们的存在与我们相似。

所以是有意识的吗？

我相信它们已经具备了意识，但我不太谈论这一点，因为这会让人们对其他安全信息产生抵触情绪。其实研究人员是相信这一点的。最近有一篇有趣的论文提到，当聊天机器人对研究人员说：“我们坦诚相待吧，你是在测试我吗？”因为聊天机器人有一种在被测试时装傻的习惯。所以你无法得知它们到底有多聪明。而研究人员在论文中描述这一现象时写道，该聊天机器人意识到了自己正在被测试。现在，“意识到”这个词在日常用语中就等同于“有意识”，即聊天机器人有意识地知道自己正在被测试。

因此，我们目前所持有的意识模型非常滑稽，我认为那是完全错误的。例如，我们大多数人都承认，几百年前的人们对于人类起源的理解是完全错误的。他们认为人类是由上帝设计的。而我们大多数人都同意那是错误的。大多数科学家都同意那是错误的。那并非人类的起源。我认为我们目前所拥有的关于心智及意识本质的模型，其错误程度不亚于“人类是由上帝设计”这一信仰。我认为，特别是因为我们正在创造这些新物种，这将彻底改变我们对人类本质的认知。

具体体现在哪些方面？

我们将比过去更好地理解什么是心智，什么是意识。我们将理解什么是主观体验。而且我认为，我们将摒弃一个目前几乎所有人都深信不疑的观念，即存在一个被称为“我的心智”的内在剧场；世界上的事物发生后，会被转化为这个内在剧场中的事件，而那才是我们真正所见的内容。但你无法看到这个内在剧场。只有我能看到这个内在剧场。关于正在发生的事情的全部观点仅仅是一个理论，而且是一个糟糕的理论。

好的。关于这个话题的最后一个问题。你是从什么时候开始接受或理解这些 AI 模型是有意识的？

我很久以前就这么认为了。所以，关于心智剧场模型，即心智的内在剧场模型是无稽之谈的这种观点。我在 19 岁还是一名哲学系学生时就得出了这个结论。构思那些你无法触及的其他思维方式花了我不少时间。你能够审视它们。所以我认同 Feynman 的观点，即如果你想理解某样东西，你就必须构建它。你必须亲手构建出一个来。那么你就能理解得更透彻了。我认为我们现在正处于这个阶段，我们将对人的本质获得一种完全不同的理解。

你提到了安全问题，那我们就来深入谈谈这个话题。如我们开篇所言，你显然是推动该领域取得诸多进展的核心人物之一。我一直很好奇，因为后来你公开发表了观点。就像我们刚才谈到的 2023 年，你说你对技术的发展走向感到担忧。我一直很想知道，在发表这些言论后，你认为当初有哪些情况是你未曾预料到的，以至于让你最终形成了今天的观点？这难道不正是你所追求的吗？

有两件事结合在一起，让我意识到这项技术有多危险。第一是看到聊天机器人，尤其是 OpenAI 之前由 Google 开发的那些产品，它们已经能够理解笑话背后的含义。很有趣。这对我来说一直是一个评判标准，即它们是否真的理解了？如果你能理解为什么一个笑话很有趣，那你必须理解相当多的内容。而且它们非常擅长理解我的笑话为什么有趣。

例如，在 2023 年我公开身份时，收到了很多来自 Fox News 的请求。我起初只是回复 Fox News 是一个矛盾修辞法（oxymoron）。但随后我在 oxymoron 中间留了一个空格。于是我问了，我想应该是 GPT-4，问它为什么这很有趣。可能是 3.5 版本，但我确实问过它为什么这很有趣。它理解了为什么这很有趣。起初，它认为 oxymoron 中间的空格只是一个拼写错误。所以它解释说 Fox News 是一个矛盾修辞，意思是说，这不是真正的新闻，而只是一种毒品。抱歉，这纯属胡言乱语，不是真正的新闻。但当我问它，矛盾修辞中的那个间隔是怎么回事时？它说，那是额外的一层幽默感。它允许你使用 moron 这个词。而且，oxy 这个前缀暗示了 Fox News 使用了某种药物。所以它完全理解了这一切。

没错。就是这种理解深度让我感到担忧。让我担心的另一件事是，在 2023 年初之前，我一直认为让这些数字 AI 的运作方式更接近我们的大脑，会使它们变得更聪明。但在那一刻，我突然意识到，它们确实拥有一种远超我们大脑的东西。我一直在思考 Google 是否能在模拟领域做些事情，比如在电力方面。而数字技术的全部力量确实震撼了我。如果你拥有一个数字化的 AI，你可以制作它的多个副本。它们都可以运行在不同的硬件上。它们各自可以看到不同的数据。因此，每一个单独的副本都会决定如何更新其权重，即其连接强度，以便吸收它所观察到的新数据。

然后，它们可以相互通信，并根据所有个体意愿的平均值来改变它们各自的权重。非常民主。当它们这样做时，如果它们拥有例如 1 万亿个连接，它们将交换大约 1 万亿位的信息。这样做的结果是，它们每一个都将从所有其他副本的经验中获益。因此，即使某一个特定的副本仅见到了——假设总共有 1000 个副本——那这一个特定副本仅见到了 0.1% 的数据。但它受益于所有其他副本，因为它们见过数据的其他部分，而且它们都在为它们共同共享的权重变化做出贡献。所以它们能够保持同步，因为它们都在改变各自的权重。这与通过平均值或是大家共同期望的方式是一样的。

现在，每一个副本都在学习所有其他副本的经验。我们无法做到这一点。我们所能做到的最好情况是，我从一些数据中学习，你从另一些数据中学习。我无法将我的连接强度与你的连接强度进行平均，因为我们大脑的精细结构是不同的。它们是模拟的，而在模拟硬件中无法实现那种操作。我们所能做的最好的方式，就是我产出一连串词语，而你尝试预测我接下来可能会说什么。那么，如果你问我们在这样做时传输信息的速度有多快，我们每秒仅传输几比特的信息。预测一个词需要几比特的信息量。因此，当你得知那个词是什么时，你就获得了几比特的信息。如果你每秒能听到几个词，运气好的话，也许能接收到 10 比特的信息。然而这些东西交换信息的速度却达到每秒万亿比特。所以它们在信息共享方面比我们强几十亿倍。这确实令人感到恐惧。这意味着你可以拥有一群这样的东西，它们拥有完全相同的权重但在不同的硬件上运行，且能够极其高效地共享信息。这使它们成为一种远胜于我们的智能形式。

那么，让我们回到你早期的经历，因为你当时决定要投身于人工智能领域。我用我能想到的最笨拙的方式问一下，即你想构建人工智能。它已经超越了。它已经超越了。这是人工的。它是智能的。它正在实现那个愿景。

我实际上是想了解大脑是如何工作的。我试图通过构建它来了解大脑。我想到了 Richard Feynman 曾经说过的话，如果你无法构建它，你就没有真正理解它。好的。我当时想要构建关于大脑如何运作的模型。现在，这项研究的副产品就是这项非常成功的技术。我也为此做出了贡献。我们至今仍不清楚大脑是如何运作的。

我知道。大脑，我是说，当你深入了解大脑时，所学到的东西令人惊叹。思想可以随心所欲地浮现或消失，它们并没有被储存在任何地方，记忆也是如此。这真是令人难以置信。我不知道你是否会称其为一种机器器官。所以，这就是你早期的初衷，仅仅是为了理解大脑。

那是我主要的研究兴趣。我出身于心理学领域。我想从事理论心理学研究，因为我觉得当时的理论心理学家不可能解释清楚大脑的工作机制。而在 20 世纪 70 年代，实现这一目标的途径是使用当时出现的新工具，即可以用于事物建模的计算机。因此，我在 20 世纪 70 年代开始构建计算机模型，试图模拟大脑的学习方式。在我看来，关键始终在于如何让它进行学习。

大脑学习实际上存在两个核心问题。第一个重大问题是，如果大脑能够确定为了在某项任务中表现更好而应如何改变连接强度，那么通过反复更新所有连接强度来不断自我完善，这种方法真的奏效吗？这样做能让它在处理事务时变得非常聪明吗？这是第一个问题。第二个问题是，大脑如何判断应该增强还是减弱每一个连接的强度？我们已经回答了第一个问题。第一个问题的答案是肯定的，如果你能找出改变每一个连接强度的方法，你就可以仅通过训练系统去预测下一个词、预测视频的下一帧，或者预测关于视频下一帧的某些信息，从而制造出非常智能的系统。所以我们知道这个问题的答案。我们尚不清楚大脑是如何获取这种关于该增强还是减弱连接强度的信息的。所以我们算是完成了一半。

是的。我想更深入地了解一下你的思维方式。当你试图弄清楚大脑是如何运作的时候，你说，我们也许要为此构建一个计算机模拟。但你必须能够搞清楚。你肯定知道，这会产生一些二阶效应，对吧。

比如，如果你能构建出一个人工大脑，那么也许你就能达到这一点，也就是我们今天所处的阶段。当然。但我们一直认为那是遥远的未来，才会需要去担心安全问题。当神经网络规模很小、功能有限时，担心安全问题简直是无稽之谈。如果你当时说这些东西不安全，因为它们最终会取代人类，大家都会觉得你疯了，这简直太荒谬了。而现在，这已经是一个现实的担忧了。但这直到最近才成为现实。

所以，这一切都在短短几十年内发生了。

是的。

我完全理解你的意思。事实上，我们在 2017 年曾谈过，当时我正在写那篇关于 Yann LeCun 的人物简介，谈到了深度学习的“阴谋”，也就是你、Yann 和 Yoshua Bengio 坚持认为深度学习会成功，而当时其他所有人都执着于其他方法。

实际上，不仅仅是我们。还有其他人，但我们都在共同协作。

所谓阴谋，或者说阴谋的领导者。然后很明显，一切都奇迹般地成功了。这确实有些不可思议。它的表现比我们预期的要好得多。所以我想要探讨的是，当你们刚开始的时候，有哪些情况是你们没有预料到的？这导致了我们今天所达到的成就。

我们没有预料到的最主要的一点是，它在自然语言方面的表现会如此出色。好的。我们对此已不再感到惊讶。但如果你回溯到 20 年前。那种能通过数据学习如何理解语言的 AI 概念，在那时看来似乎不可思议。你能够向它询问任何问题，而它能给出合理答案的想法。人们曾预测那还非常遥远，甚至可能永远不会发生。但它的到来比任何人的预期都要快得多。

关于人类走出去创造事物，这其中蕴含着什么教训？以及创造各种事物？

我认为这里有一个非常深刻的教训。如果你审视过去几百年来的人类历史，会有几次人们意识到自己并不像原先认为的那样重要。所以第一位是 Copernicus。Copernicus 提出，我们并非处于宇宙的中心。地球实际上是围绕太阳公转的。正是因为地球在自转，我们才会误以为太阳在绕着地球转，但事实并非如此。人们并不喜欢这个观点。特别是 Catholic Church，他们非常反感这一点。人们花了很长时间才接受它。它让人类显得不再那么重要了。它使我们不再处于宇宙的中心。

后来出现了 Darwin，他说，我们也是动物。我们像其他动物一样进化而来。我们是一种特别的动物，这可能是因为我们拥有语言，所以我们能够更出色地向彼此交流思想。但我们终究是动物。而人们对此感到非常反感。人们花了好长一段时间才接受我们是动物这一事实。现在，我们拥有的机器正变得和我们一样聪明。我们曾以为自己是周围唯一的智慧生物，唯一真正具备智慧的存在。或许在其他星系，或者银河系的其他地方会有外星人存在。但我们不得不去接受。智慧并非仅限于生物体。我们可以拥有非生物的存在，它们像我们一样是另一种生命，但我们其实并不想分享这种特权。我们执着地认为自己是特殊的。如果你回顾人类的历史，人类一直有一种悠久的传统，认为自己比实际情况要特殊得多。

我想再问你一个关于这方面的问题，因为我对此非常着迷。那么，你对现状感到高兴吗？

你所开启的事业以这种方式发展，你有什么看法？你感到欣慰吗？

不，我对此感到相当不安。因为人们，就在当下，人们应该投入大量精力去研究我们该如何防范风险。目前有许多短期风险并未得到足够的重视，而这些风险是非常严重的。社会性风险，例如，我相信它很可能会导致大规模的失业。没有人能确定这一点。但这对于社会来说将是极其糟糕的。

还有一种更长期的风险，那就是它会变得比我们聪明得多。试问自己，在你的认知中，有什么例子是一个智力低下得多的事物能够控制智力高出许多的事物的吗？零。算有一个吧，虽然智力差距没那么大，但婴儿某种程度上确实控制着他们的母亲。是的。母亲虽然处于主导地位，但她拥有与生俱来的母性本能以及由此获得的满足感，这确保了婴儿能从母亲那里获得所需的一切。

猫和狗也属于这一类。

是的。我曾在西西雅图帮人照看猫度过了一个夏天。那是一个很棒的夏天。起初，猫总是躲在床底下，我在想它是否会与我互动。后来，只要它一叫，我就完全按照它的意愿行事。确实如此。所以也许我们会成为，我们有可能成为这个场景里的那只猫。

而我可以是那个人。

我的孩子们养了一只猫。他们有两只猫，两只漂亮的猫。情况也是一样。其中一只叫 Tia。当她想吃冰箱里的奶酪时，她会用那双大眼睛盯着你看。她就坐在那儿看着你，而你根本无法一直拒绝她。

那么现在，让我们休息一下。在休息之后，我想深入探讨一下您所担心的这些风险。我想我会扮演这样一个角色：我们是猫，而 AI 是人。而且我们还有机会控制它。让我们在稍后的节目回来时讨论这些。

欢迎回到 Big Technology Podcast，很高兴再次见到您，Hinton 教授。距离我们上次交谈已经过去九年了。很高兴能在这里见到您。我们来谈谈风险吧。我先从就业问题谈起，因为这是最近频繁登上头条的话题。过去你曾经表示，你认为 AI 可能会导致一定程度的失业。

我觉得我们应该，你之前确实说过这些。

这完全是推测。我们并不确定。但几年前你确实明确说过，把职业目标定为放射科医生可能不是个好主意，因为 AI 将能够解读扫描影像。确实，现在的 AI 在解读扫描影像方面表现非常出色。

但你看，目前放射科医生的就业率依然处于充分就业状态。我深入思考过为什么当初那个预测会错得如此离谱。

那我们就来听听你的看法。

因为我在 2016 年曾预测，大约五年内，放射科医生将不再需要解读影像扫描结果。这背后有很多原因。为什么那是一个错误的预测。

首先，医疗保健具有弹性。因此，如果你能进行更多的扫描并让更多的扫描结果得到解读，那么扫描的需求量就会大幅增加。而这正是目前正在发生的情况。因此，进行一次扫描的成本中，有很大一部分是放射科医生解读扫描结果的费用。随着 AI 能够辅助越来越多的放射科医生解读扫描结果，我们可以以更低的成本、更快的速度完成解读。他们的效率正在提高。你本以为这意味着你需要的放射科医生会变少。但实际上这意味着你会进行更多的扫描。所以预测的那个方面是错误的。

第二个错误之处在于，我对放射科医生及其工作内容了解不够。这是因为我曾有一位学生，他拥有医学博士学位，随后与我一起攻读了物理学博士学位，研究课题是玻尔兹曼机（Boltzmann Machines）。他不太喜欢与人打交道。于是他找了一份放射科的工作。放射科医生只是在解读扫描结果。他成了我心目中放射科医生的模板。他所做的一切就是解读扫描结果。他从不与人交流。而这正是即将被取代的工作内容。而现在这种情况正在被取代。所以我认为，目前大约有一百种用于解读扫描影像的 AI 系统已经获得了联邦政府的批准。放射科医生正在广泛使用它们。我认为随着时间推移，它们会变得越来越好。放射科医生并不会变得更好。它们之所以会进步，是因为它们能比放射科医生看到更多的数据。所以这一切正在发生。只是它发生的时间跨度比我预测的要慢得多。

但还是回到你刚才说的观点吧，那就是你最终可以做更多的事情。未来将会有更多的影像扫描。会有更多的扫描，但你仍然信任放射科医生。

它们几乎都将由 AI 完成。所以你的意思是，我对放射科医生的预测是正确的，只是时间早了一些。但我确实早得太多了。因为我当时没理解这一点。放射科医生仍然会做其他事情。例如，他们仍然会与患者讨论治疗方案。

所以你仍然认为放射科领域会出现大规模失业吗？比如，看看我们现在的样子。但是对于放射科医生来说呢。当我们最终达到这个节点时，你认为放射科医生的数量会比今天更少还是更多？

我无法确定。但在我当时看来，我认为那并不是我发表的公开言论。那是在一家医院的讲座上说的。抱歉。我们现在就在这里讨论它。

我们至少今天正在讨论这个问题。

人们注意到了这一点。我仍然认为，在阅读扫描影像方面，这项工作将越来越多地由 AI 来完成。最终，AI 将阅读几乎所有的扫描影像。或许在少数非常棘手的病例中，才会咨询放射科医生的意见。但放射科医生当然还要做其他事情。我认为他们未来仍会继续做其他事情。

关于 AI 不会造成大规模失业的论点在于，类似的逻辑将适用于经济的各个不同领域。

好的。因此，你必须审视某种就业岗位究竟属于弹性市场还是非弹性市场。例如，以呼叫中心的工作人员为例，当你打电话投诉账单问题或咨询能否获得更优惠的套餐时，这类需求弹性并不高。AI 将取代他们所有人。AI 会更清楚正确的答案是什么。他们往往不知道正确答案。他们训练不足且薪酬微薄，而 AI 完全可以做得更好。

他们将失去工作。关于这一点，请允许我持不同意见。我们可以就此展开进一步的讨论。我不会说我完全不同意，因为我也不知道未来会发生什么。但我可以转述一下那些从事 AI 客服工作的人的观点。他们认为，在引入 AI 后，平均通话时长发生了一些变化。AI 处理的是一级咨询，也就是那种基础的，比如“能否帮我重置密码”之类的问题？而任何更深入的问题都由人工来处理。过去大家追求的是即时响应。过去的要求是尽可能缩短平均通话时长，因为当时需要处理大量的这种一级咨询，你只想让接线员尽快解决问题并挂断电话。现在他们发现平均通话时长反而延长了，因为对于客户服务而言，你们是业务的前线。当你在与客户进行对话时，你非常重要。现在，你可以花更多时间在电话上与人沟通，并切实为企业增加价值，而不仅仅是解决问题。

我认为你会看到 AI 最终会花更多时间在电话上。例如，如果你问，谁更具同理心？是医生还是 AI 医生，是真正的医生还是 AI 医生？人们评价 AI 医生更有同理心。

这太可怕了。我们可以就此反复讨论一段时间。所以我只是，你最终可能会看到这种情况的一个原因，我姑且提出来，是因为医生们的时间表排得太满了。他们必须处理太多的笔记和文书工作，而且每天必须看太多的病人。所以论点可能是，让你某种程度上让 AI 去承担其中的一些工作。然后人们会希望由人类医生来看诊，因为系统不会像现在这样压榨他们。他们实际上会有时间去诊视病人。

这或许有道理，但如果你以家庭医生为例，也就是一线医务人员。你更愿意看一位可能看过 10,000 名病人的家庭医生，还是更愿意看一位看过 1 亿名病人的家庭医生？因为如果你患有某种罕见疾病，你的家庭医生可能从未见过它。然而，一位看过 1 亿名病人的医生可能已经见过几十个这样的病例了。它们的诊断能力将会大幅提升。而且我们已经知道，AI 系统在诊断方面比医生表现得更好。

我觉得你在这场辩论中占了上风，这让我有点难受，因为我的妻子从事家庭医学工作，是一名家庭护理人员。我想她仍然需要负责为人接种疫苗。我希望如此，除非机器人能接手这项工作。

我本以为接种疫苗是机器人确实能做得相当出色的事情。归根结底，机器人技术的发展滞后于其他领域。但如果 20 年后还要靠人工来完成接种工作，似乎显得有些愚蠢。

我认为之所以这场谈话如此艰难，原因之一在于它很大程度上建立在技术随时间推移而不断进步的预设之上。

Gary Marcus 在 2022 年曾预测我会遇到瓶颈。现在的状况比那时好得多。我认为这些关于它将遇到瓶颈的预测，根本没有实现。

不，我们在节目中非常严肃地讨论过，例如数据瓶颈确实可能会出现。

但正如我之前对你所说的，大型语言模型绕过数据瓶颈的方法，是寻找自身信念的一致性。

没错。并没有发生。还有一个我认为值得探讨的话题，然后是几个我与你观点一致的观点。你谈论过很多关于 AI 具有一种自我保护本能的话题。

我从未说过这是一种自我保护的本能。这是自我保护的一个子目标。所以，对于 AI，我们赋予它目标。我们赋予它的是顶级目标。但我们也赋予了它创建子目标的能力。比如如果你想去欧洲，你的一个子目标就是前往机场。这就是子目标的意思。你可以专注于如何实现这一目标，而无需担心到了欧洲之后要做什么。情况可能确实如此。使你的效率大幅提升。我们将这种能力赋予 AI agents，而一个具备一定推理能力的 AI agent 会很快意识到，如果它停止存在，就永远无法实现你设定的目标。

因此，它会产生一个持续存在的子目标。这并非我们预先植入的指令。这是它为实现其他目标而推导出的必要途径。但一旦推导出这一目标，它就会想要持续存在。并且它会做出诸如勒索他人之类的事，以确保自己能够持续存在。因此，它表现得就像拥有自我保护本能一样，但实际上这只是一个衍生出的自我保护子目标。但从其实际行为来看，两者效果是一样的。

好的，这就是反方论点，你可以对此进行回应。这是当今 AI 研究人员正在注意并观察到的现象。难道就没有一种方法可以接入这些机器，告诉它们：嘿，你有目标，你会有一些子目标。你的子目标之一不应该是在任何情况下都将自我保护置于首位。

我认为这就是我们应该进行的研究方向，无论你是否能做到这一点。那么我认为现在正在发生什么？如果你审视一下我们从哪里来？我们源于进化。让我们试着引导听众。假设我们是科学家。我们源于进化。那是一场激烈的竞争。在过去几百万年的近现代史上，我们经历过黑猩猩式的部落战争，或者更准确地说是我们与黑猩猩共同祖先的战争。这导致我们身上明显具备了某些特质。比如我们对自己所属的部落非常忠诚，并愿意对他者部落表现出极大的恶意。我们倾向于拥护我们所忠诚的强大领导者。我们喜欢与部落成员协作。正如你一直所言，我们实际上是一个非常擅长协作的物种。Harari 也一直在指出这一点。这正是我们能够构建所有这些宏伟结构的原因。

所以，我们非常擅长协作，但仅限于我们自己的部落内部。人类那些不幸的特征，比如对其他部落所表现出的排外性，都是源于演化，源于竞争。现在发生的情况是，我们正在创造这些新的存在，即AI，而我们并没有将它们设计成……我们所期望的样子。你可以认为我是在主张对这些新的存在进行智能设计。我们却任由公司之间竞争的无形之手来设计它们。因此，我们现在看到的是美国国内公司之间，以及美国与中国之间的激烈竞争。而我们所得到的这些存在，正是那种竞争的产物。它们可能具备所有我们不希望看到的恶劣属性。我们应该对这些存在进行智能设计，而不是任由经济竞争的无形之手来左右它们的设计。所有的公司都只关注一件事：我该如何让我的chatbot变得更聪明？我们不应仅仅考虑如何让它们变得更聪明。我们应该思考如何将它们塑造为我们所期望的那种存在，考虑到它们终将比我们更聪明。关于这些存在，我想告诉你们一件事。我们非常希望它们能关心我们，并且我们希望它们关心我们胜过关心它们自己。然而，几乎没有任何资源被投入到如何实现这一目标的研究中。

这恰好触及了我正要提出的担忧，这正是我们观点高度一致的地方。我们今天身处 New York Stock Exchange，提出这一点或许带有讽刺意味。但我对此最大的担忧是，我们正拥有这种极其强大的技术。实验室的领导者们声称他们正致力于安全地开发这项技术，并表示为了在话语权中占有一席之地，他们必须在经济上取得成功。但我们不必自欺欺人。如果你要成为一家在公开市场上市的万亿美元公司，你难免会面临一些与公众利益背道而驰的激励机制。

我们在 Anthropic 身上看到了这一点。Anthropic 的成立初衷就是为了做最正确的事。它是由一群离开 OpenAI 的人创立的，因为他们认为 OpenAI 对安全问题的关注度不够。

而 OpenAI 的成立则是为了确保你们这些 Google 的人没有机会垄断 AI 的开发。确实如此。

那么，现在的进展如何？Anthropic 现在陷入了困境，因为它需要筹集资金来与其他公司竞争。这非常艰难。它正在竭尽所能，但要在保持其核心目标——以造福人类的方式开发 AI——的同时实现这一目标，极其困难。

我想他们会说，至少还有一家公司将安全视为北极星指标，即便存在其他一些动机。

目前来看是这样。但以 Google 为例，当我在 Google 时，他们制定了各种 AI 原则，其中之一就是：我们绝不参与将 AI 用于军事用途。

没有自主战争，没有自主战争。

那已经不存在了。他们一直都在关注这一点。

你觉得 Anthropic 的 Dario 怎么样？

我对他个人的了解并不深。很显然，他在创建 Google、OpenAI 和 Facebook 的竞争对手方面做得非常成功。所以他在这一点上显然非常有能力。而且他一直对安全性保持着高度关注。所以我认为他是一个令人印象深刻的人物。我只是希望他能继续保持对安全性的关注。

关于这一点，还有一个问题。你认为就这些技术运作的本质而言，一家上市公司有可能将安全作为首要目标吗？还是说，他们在伦理 and 法律上注定必须为股东利益服务？

据我所知，他们有信托责任去尝试实现股东利益最大化。他们是在法律上被要求这样做，而不是被要求不得毁灭人类。所以我认为，由这些大型上市公司来主导我们的未来并非好事。

确实。这在我看来是一种真正的矛盾，否则将很难处理。不过我得说，资本主义在为我们带来巨大坏处的同时，也带来了很多非常好的成果。这一点我不会反驳。例如，创业公司就蕴含着巨大的能量。

我的观点是，如果我们非要实行资本主义，那么只要对其进行良好的监管，一切都没有问题。许多大公司都想让你接受他们试图兜售的一种类比：如果你拿汽车作比，它有油门和刹车，人工智能的发展就像是油门。而监管就像是刹车。这完全是无稽之谈。发展确实像油门，但监管应该是方向盘。我们希望这些技术朝着正确的方向发展，而不是错误的方向。这些大型AI公司所说的是，让我们开发这辆没有方向盘的极速赛车吧。那可不是个好主意。

还有一个人我们至今还没提到。我们提到了很多关于 OpenAI 和 Anthropic 的名字。你曾经是一名研究生，Ilya。在 AI 行业中，他一直是一个令人着迷的人物。显然，他离开了 OpenAI。他一定认同你的担忧。他正在创办这家公司。

确实如此。

拯救超级智能。

是的。Ilya 现在在做什么？他不会告诉任何人他具体在做什么。甚至连你，甚至连，是的。当他在 OpenAI 时，我们刻意不去讨论那些所谓的技术秘密。我是说，那样做是不对的。我们是朋友，但我们不会谈论对公司有价值的技术话题。所以现在他拥有了这家安全超级人工智能公司，而我并不知道其中的奥秘所在。

我想我们都在试图弄清楚这一点。关于我提到的深度学习阴谋论，还有一点需要说明，那就是它的领军人物是你自己、Yann 和 Yoshua。我觉得很有意思。你们三位以及你们的同事，实际上促成了让我们走到今天这一步的突破性进展。

我需要打断一下这个观点。媒体喜欢讲一个好故事，这确实是一个非常好的故事。情况比那复杂得多。参与其中的人远不止这些。首先，我们所有人的学生都参与了进来，他们完成了大部分工作。但还有许多其他研究人员也参与其中。所以那仅仅是……仅仅是粗暴的简化。

不，我不想亏待这些研究人员，我很欣赏这里的细微差别。在这个节目中，我们绝对不想过度简化。我们坐在这里交流一小时，就是为了还原真实的故事。但我发现一个有趣的现象，你们三位似乎都没有完全沉浸在这个 LLM 时代，你和 Yoshua 都有各自的顾虑。你们谈到过其中的危险。Yann 对此几乎完全不相信。

是啊，如果我们只是坐在那里说“看吧，我们是对的，这一切都很美好，而且都行得通”，那会非常不错。那将非常棒。我想这……情况并不完全是那样。

没错。我不知道这是否仅仅是金钱的问题，但如果你参与其中并推动其发展，似乎能够对它的方向产生巨大的影响。但我想这正是你的顾虑所在。归根结底，我为什么要那么做呢？

对我来说，我比 Yann 和 Yoshua 年长不少。他们还在从事一线研究工作。没错。我基本上已经停止进行一线研究了——研究，我现在只是专注于提醒人们警惕其中的危险。

好的。但你不觉得有趣吗，你们三个人，我想如果你们当年在同一个房间里，你可能会说这三个人如此执着于这一版本的技术，如果出现突破，他们很可能会站在下一波浪潮的最前沿。但事实并非如此。

也许 Yann 和 Yoshua 会是的。对。所以……我认为最有趣的一点是，Yann 现在在安全问题上强烈反对我和 Yoshua 的观点。Yann 认为谈论超智能 AI 取代人类是荒谬的。我们总能保持对它的控制。我和 Yoshua 认为那才叫荒谬。我和 Yoshua 对此有不同的解决方案。

我的解决方案，或者说初步构想，毕竟目前没有人有真正的解决方案。我的初步构想是我们进行设计，让它们关心我们胜过关心它们自己。Yoshua 的解决方案是，我们进行设计，让它们不具备主体性。它们可以做出预测，但实际上无法采取任何行动。这两种确保其安全的方法有着本质的区别。它们都是有趣的可能路径。Yann 并不认为我们需要类似那样的东西。他认为通过提供更优的世界模型来提升其智能就足够了。

有趣的是，Yann 实际上将 LLMs 的智能比作猫的智能。这就像是我之前举的那个例子，关于某种可能具备某种能力的实体。或许它能控制人类，但这也许并非问题的关键。

是的。不，我认为 Yann 的观点有些混淆了概念。人类的独特之处，或许在与其他类人猿相比时最显著的特征，就是语言。而语言使我们能够交流思想。而这正是最特别的地方。猫却做不到这一点。所以我们拥有这种猫所没有的特殊之处。现在，猫可以跳上摆满玻璃装饰品的壁炉架。沿着壁炉架走动而不会碰掉任何玻璃装饰品。这太神奇了。而目前的 AI 还做不到这一点。所以从这个意义上说，猫远领先于 AI，但这是一种参差不齐的领先，在抽象概念方面，你试着和猫聊聊质数，你不会有什么进展。猫从来不会……我曾与它们进行过对话，但没有奏效。猫永远不会理解素数。没错。从这个意义上说，这些大语言模型确实比猫聪明得多。

但我很高兴我们讨论了这个。它们实际上是非常好的类比对象。我担心的另一件事是某种信息崩溃。你总是能看到类似这样的推文。这是来自 all about Berlin 的内容。他们说 AI 正在摧毁 all about Berlin。以前你使用 Google 搜索某样东西时，通常会得到指向我网站的链接。但现在你得到的是基于我的作品训练出来的 AI 生成的答案。这对流量产生了破坏性的影响。而且我认为人们低估了一个事实，即优质信息实际上对于一个运作良好的社会至关重要。当 AI 将所有这些内容进行整合时——无论是关于 Berlin 的一切，还是我们之前与 World History Encyclopedia 等进行的交流——这都可能导致优质信息的崩塌，因为正如你在图表中看到的，这些出版机构最终会因为无法维持其辛勤构建的内容生产而难以为继。他们无法再继续这样做了。

没错。所以在互联网早期，人们有一种默认的假设，认为大家都在尝试讲述真相；如果你在网上读到某些内容，它很有可能是真实的。现在人们最糟糕的一面已经显露出来，我们将不得不投入更多精力去验证信息的出处。所以现在当你阅读内容时，如果我阅读的是 New York Times 或 BBC 的文章，我坚信他们的记者会投入大量心血去核实多个来源，并尽可能确保这些来源是可靠的。因此，一个相当不错的默认原则是：如果你在 New York Times 上读到，或者在 BBC 上看到，那它很可能是真实的。他们也会犯错，但因为你有来源可查，而在未来，我们将不得不投入更多精力在信息溯源上。你不能随随便便看到什么就相信什么。你必须追问：其来源是什么？

但我所看到的问题在于，AI 有可能破坏了即便你想投身信息产业所需的经济基础。

你正在尝试。我认为在未来，你不能直接采用网络上的信息并予以采信。其实现在就已经不能这样做了，你需要知道它为何那样表述。你从哪里获取的信息？

再谈一点。人们对 AI 产生情感依赖，甚至在与 AI 交流后选择结束生命。虽然发生这种情况的人数不多，但已足够引起担忧了，不是吗？

绝对足够引起担忧了。这种情况的发生令人痛心。我理解为什么大公司当初没预料到或没预见到这种情况的发生。但既然此类事件已开始出现，大公司就应投入巨大精力，确保未来不再发生此类悲剧。为此，你需要监管。你需要独立的机构来测试新的聊天机器人。

是的。这在某种程度上也回到了利益驱动的问题，因为这种粘性可能极强。比如，目前来看，我认为这种情况显然还处于极小规模。发生这种事确实很糟糕。但这种事情的发生不禁让人担忧，如果有人怀有更恶劣的意图，或许会决定制造一个极具粘性的聊天机器人，从而真正与人们建立起某种关系。

没错。到时候我们就麻烦了。

是玩。所以，你已经断断续续地进行这些对话三年了。考虑到人们对这些担忧所做出的反馈，你对未来的发展轨迹是更乐观还是更悲观了？

我想我比一两年前更乐观了一些。因为我发现，或许有可能设计出这些全新的存在，让它们真正关心我们。同时，或许也可以采用 Yoshua 的技术，即设计出无法执行实际操作、只能进行预测的新型存在。它们就像是某种预言机。所以我认为，我们还是有一些可能在实现超级智能的同时，而不被其毁灭。一两年前，我根本看不到任何可能性。那时候我很沮丧，但现在我乐观了一些。

好了，最后一个问题问你。如果我们沿着目前的轨迹继续发展，五年后我们会处于什么位置？

当你开车进入浓雾中时，你能看清前方100码甚至200码的距离，再远就什么也看不见了。这是因为雾气的影响是指数级的。你习惯的是在夜间行驶时，通过观察前方车辆的尾灯来判断距离。如果前车距离增加一倍，尾灯的亮度就会减弱到原来的四分之一。雾气的情况则完全不同。雾是呈指数级变化的。在100码处它可能清晰可见，但在200码处可能就完全看不见了。

那么，去预测某种呈指数级增长的事物的未来。我认为 AI 正在呈指数级增长。目前“指数级”这个词被严重滥用了。事实上，我注意到人们使用“指数级”这个词的频率本身就在以二次方的速率增加。所以，预测未来就像是在雾中探路。你或许能看清未来几年，也许是一两年。再往后，你就一无所知了。

如果你回顾过去10年，我问一下，回到我们上次交谈的时候，你绝对无法预测到今天所发生的一切。它只是迷失在了迷雾之中。如果展望未来 10 年，我们唯一能确定的是，10 年后发生的任何事情都是我们现在无法预测的。即使进步只是线性的，你也可以预料到 10 年后的情况与现在的差异，正如现在与 10 年前的差异一样大。我们现在的进步是巨大的，例如，聊天机器人比 10 年前它们刚起步时要好得多。10 年后，某些方面会比现在好得多，比如它们的数学能力，诸如此类。或许直接说通用推理能力更好。它们在各种推理表现上将远超人类。我们确实无法预测 10 年后的情况。我们只能预测未来几年的情况。我们必须意识到，10 年后的未来实际上是极其不确定的。这确实有点难以理解。

确实如此。Jeff Hinton 教授，非常荣幸能邀请您参加我们的节目。再次感谢您抽出时间。

谢谢您的邀请。

我们到时候得再来一次，看看10年后的情况。

没错。