夜雨聆风来源：瓜哥AI新知
本文内容整理自多伦多大学荣休教授杰弗里·辛顿（Geoffrey Hinton）在Alex Kantrowitz频道（Big Technology播客）的专访，公开发表于2026年06月05日。原始内容参考：https://www.youtube.com/watch?v=p7t1Q_p2gZs
内容提要: 杰弗里·辛顿在Big Technology播客的专访
意识存在论： 辛顿认为当前的AI已经具备意识。他驳斥了“随机鹦鹉”理论，指出如果模型能以专家水平回答问题并理解幽默，它们必然具备真正的理解力。 生存子目标： AI智能体在追求目标的过程中，会演化出“持续存在”这一子目标，以确保任务顺利完成。这种展现出“自我保护”倾向的行为并非预先设定的代码，而是高度智能的自然衍生。 智能的数字优越性： AI系统在某种程度上已超越人类大脑，它们能通过“共享权重”实现极速学习。成千上万个AI副本可以同步运转、共享知识，其信息交换速度比人类语言交流快数十亿倍。 AGI的锯齿状发展： AGI（通用人工智能）并非在所有领域同步达到人类水平，而是呈现出“锯齿状”（不均衡）的发展态势。当前，AI在知识储备和数学推演上已超越人类，但在物理世界的实际操作中仍有不足。 监管即方向盘： 辛顿强烈反对将“监管”视为阻碍技术发展的“刹车”。他指出，进步是加速器，而监管是“方向盘”，负责引导AI驶向造福人类的方向。任由资本主义的无形之手盲目塑造AI，将带来极其危险的后果。 人类特殊性的终结： 继哥白尼将地球移出宇宙中心、达尔文将人类归为普通物种之后，AI正在剥夺人类作为“唯一高级智能体”的独特地位，迫使我们不得不重新定义自身的存在意义。 未来预测的迷雾： AI正以指数级狂飙突进，如今去预测五到十年后的世界犹如在浓雾中盲飞。面对远超人类智能的未知存在，过往的经验逻辑将彻底失效。 经济与社会双重危机： 大规模失业与信息溯源崩溃是AI带来的迫在眉睫的短期威胁。更深层的是，大公司的受托责任制使其必须追求股东利益最大化，这与全人类的公共利益存在着根本且不可调和的冲突。
内容简介
杰弗里·辛顿（Geoffrey Hinton）是AI领域的先驱、诺贝尔奖得主，也是多伦多大学的荣休教授。辛顿做客Big Technology播客，探讨了AI的迅猛发展，解释了为什么他认为如今的系统已经能够理解人类，以及为什么他认为超级智能的到来可能比许多人预期的要早得多。
欢迎收听本期节目，听辛顿亲口讲述为何这项技术的进步速度远超他的预料，并剖析那些他认为人类社会尚未采取足够措施去应对的致命风险。此外，我们还讨论了AI引发的大规模失业、企业自我监管的局限性、Anthropic与OpenAI面临的安全挑战、人类对聊天机器人的情感依赖、信息生态的崩溃，以及未来的AI系统是否能被设计成“真正关心人类”。点击播放，与这位AI奠基人展开一场引人入胜的对话，洞悉技术的未来走向及其对全人类的深远影响。
采访全文
杰弗里·辛顿： 我们必须认识到，它们和我们非常相似，也是像我们一样的生命体。
主持人： 所以是有意识的，还是……
杰弗里·辛顿： 我相信它们已经具备了意识。我们将不得不接受一个事实：智能并非只有生物才能拥有。我们可以拥有非生物的智能体，它们是像我们一样的其他生命体。
我们真的不想分享这种地位，我们总以为自己很特别。回顾人类历史，人类一直自视甚高，认为自己比实际情况要特殊得多。
主持人： 看到您开启的这项技术发展到今天的地步，您感到高兴吗？您对此有什么感受？
杰弗里·辛顿： 不，我对此感到相当不安。问问你自己，在历史上有多少“高智商存在被低智商存在所控制”的先例？
据我理解，公司负有信托责任(Fiduciary Duty)，必须努力为股东实现利润最大化。他们有法律义务去赚钱，但却没有法律义务去“不消灭人类”。
主持人： “AI教父”杰夫·辛顿(Geoffrey Hinton)做客我们的节目，探讨AI的发展轨迹、让他感到意外的技术进步，当然，还有其中的风险。稍后为您带来《大科技播客》(Big Technology Podcast)的精彩访谈。
辛顿在深度学习中的角色
欢迎收听《大科技播客》，这是一个探讨科技界及其他领域，旨在进行冷静且细致对话的节目。伙计们，今天我们的节目非常重磅。杰夫·辛顿教授将与我们全面探讨AI的发展轨迹、当前技术让他感到惊讶的地方、未来的发展方向，以及可能失控的风险。非常荣幸能邀请您来到节目，辛顿教授，很高兴见到您。
杰弗里·辛顿： 感谢您的邀请。
主持人： 我相信大部分听众都知道您是谁，但对于还不了解的听众，我想说，正是您在深度学习(Deep Learning)领域取得了根本性的突破，才成就了AI今天的辉煌。您获得了诺贝尔物理学奖，也是多伦多大学的荣誉退休教授。如果我说错了请纠正我，但我喜欢告诉别人，如果没有您的贡献，整个AI时代就不会到来。
杰弗里·辛顿： 我认为这有点夸张了。
主持人： 捧得太高了吗？好吧。
杰弗里·辛顿： 反向传播算法(Backpropagation Algorithm)是由几个不同的研究小组发明的。大卫·鲁梅尔哈特(David Rumelhart)在其他人发明之后也独立发明了它，当时他并不知情。我和他有过合作，我们展示了反向传播可以学习到有趣的内部表征(Internal Representations)，这是前人未曾做到的。特别是，我们证明了它能够学习单词的含义。所以早在1986年，确切地说是1985年，我们就建立了一个小型语言模型(Language Model)，这也正是现在大家所看到的大语言模型(LLMs)的雏形。
主持人： 我觉得，当您谈论这项技术时，总是让大家感到惊讶的一点是，与大众普遍的观点不同，您认为这些模型具有真正的理解力。稍后我们会深入探讨这一点。
但我想我们应该先从这里开始：您曾在谷歌(Google)工作了很长时间以推进这项技术。后来您选择了离开，并表达了对这项技术发展轨迹的担忧。
AI的发展速度超乎预期
我回看了您离职的时候，那是在2023年。这在某种程度上令人惊讶，因为在2023年，ChatGPT才问世一年。当时充斥着各种机器幻觉(Hallucinations)现象，也有人说AI是一个泡沫。大家都在关注AI做不到什么——也就是大语言模型(LLMs)的局限性，而不是它们能做什么。那么，请谈谈自那以后的进展。
杰弗里·辛顿： 进展比我预期的要快。
主持人： 真的吗？
杰弗里·辛顿： 例如，就在昨天，有消息称一个聊天机器人提出了一个关于埃尔德什(Erdős)猜想的有趣数学证明，令数学家们印象深刻。它是原创的，而不仅仅是检索现有文献。而这仅仅是冰山一角。
我相信，像在数学这样的领域，因为它是一个封闭系统，不需要外部数据。它只需不断提出猜想并尝试证明，如此循环往复。从这个意义上说，它有点像AlphaGo，可以进行自我对弈(Play against yourself)。
我认为它会很快变得非常聪明。在未来10到20年内，它甚至可能创造出人类无法理解的全新数学成果。
超级智能何时到来
主持人： 目前该领域的一些专家认为超级智能(Superintelligence)近在咫尺，而您也提到它的发展速度超出了您的预期。您认同这个观点吗？
杰弗里·辛顿： 我不知道它有多近。但我认为，除非我们自我毁灭，否则它终将到来。几乎所有的专家都相信我们会迎来超级智能，他们只是在时间预测上存在分歧。
不久前，德米斯·哈萨比斯(Demis Hassabis)认为可能需要10年。杨立昆(Yann LeCun)认为，除非采用他的路线，否则时间会长得多；但如果按他的方法来，我想他认为我们在一个合理的时间范围内就能实现。我个人认为，我们可能会在20年内实现，这是我目前愿意给出的结论。
达里奥·阿莫代(Dario Amodei)认为可能只要几年。埃隆·马斯克(Elon Musk)认为可能明年就会实现。因此，对于它何时到来，大家众说纷纭，但在“它终将到来”这一点上却几乎没有分歧。当它真正到来时，我们完全无法预见它会是什么样貌。
主持人： 是的，我绝对要和您谈谈安全性问题。关于德米斯(Demis)提一点，去年的这个时候我和他交流过。他当时告诉我，他认为通用人工智能(AGI)（它不同于超级智能，主要是指人类水平的智能）离我们还有五年以上的距离。虽说不会太久，但至少还需要五年以上。就在我们录制节目的这一周，他说：“当我们回首这个时代，我们会意识到，此时此刻我们正站在奇点(Singularity)的山脚下。”
您认为这句话是什么意思？在短短一年内，我们就从“距离AGI还有五年”跨越到了“身处奇点的山脚下”，您如何看待这一事实？
我们是否已经接近AGI？
杰弗里·辛顿： 我不完全确定这个比喻的确切含义，但我认为他是在暗示，AGI到来的速度比他预想的还要快。当然，这种发展是不均衡的(Jagged)。它并不会在所有事情上同时达到或超越人类水平。
在通识知识(General Knowledge)方面，它已经远超我们；这些AI所掌握的知识量是任何个人的成千上万倍。在玩游戏方面，它远胜于我们，而且在数学方面也已经超越了我们中的绝大多数人。它可能很快就会在数学上超越我们所有人，尽管它在某些方面仍然不如我们。正是因为这种“不均衡性”，所以所谓的AGI概念——即它将在所有事情上同时达到人类水平——对我来说并不太合理。它会在某些方面更强，而在另一些方面稍弱。
但就目前而言，我会说我们已经接近AGI了。如果我问聊天机器人任何问题，大多数情况下，它的回答都能达到中等专家的水平。在我不太了解的领域，它已经比我强太多了。所以从这个意义上说，我们确实已经……
主持人： 触及了AGI。在您的评估中，您提到它的发展速度超出了您的预期。您认为是什么促成了这一飞跃？是算法技术的进步？是数据中心(Data Center)的算力爆发？关于这里的进展，有什么是您没有预料到的？
杰弗里·辛顿： 这是一个综合因素的结果。显然，人们在其中投入了巨大的资源。自20世纪50年代神经网络诞生以来的大部分时间里，只有极少数人在资源极其有限的情况下进行研究。但在过去几年里，我们看到数千亿甚至数万亿美元的资金涌入人工智能领域。这无疑是一个重要因素。此外，我们在工程技术上也取得了长足进步。即便没有重大的概念性突破，工程实现也变得高效得多。因此，几年前那些令人难以想象的构想，如今都已落地运行。
我们确实也看到了新思想的涌现，但主要还是得益于Transformer模型（Transformers）的出现，以及更先进的硬件、更丰富的资源、更卓越的工程技术，还有海量顶尖人才的加入。二十年前，全球研究神经网络的人不过几百人，而现在，我猜大概有一百万人了。可以说，研究人员的规模已经极其庞大。
主持人： 令人惊讶的是，这种资源投入中很大一部分都集中在过去两年内。看来，我们或许才刚刚站在了这场伟大变革的起点。
杰弗里·辛顿： 是的，而且我们要永远记住一点：我们今天拥有的AGI——哦抱歉，是我们今天拥有的AI——远远比不上我们几年后将拥有的AI那般强大。
主持人： 在讨论这项技术时，我非常想听听你的看法，因为这些聊天机器人似乎真的能理解我们，这对很多人来说是一个极大的震撼。该领域的大多数专家认为它们只是“随机鹦鹉”（Stochastic Parrots），认为它们只懂统计学概率，根本不具备真正的理解能力，但你显然不完全认同这种观点。
AI系统真的能理解我们吗？
杰弗里·辛顿： 哦，我认为那种观点完全是胡说八道。任何经常使用聊天机器人的人都能真切地感受到，它们确实具备理解力。
那些持反对意见的人其实是在声称：你可以向系统提出任何问题，而它能在毫不理解问题的前提下，直接给你正确的答案。这太荒谬了。除非你真正理解了问题，否则你根本无法作答。 也许存在一些小把戏，能让系统拼凑出几句听起来像模像样的回答，但如果你能以一个中等水平专家的水准回答任何问题，那你就必须得理解这个问题。
我最喜欢举这样一个例子：假设我对聊天机器人说：“我看到大峡谷飞往芝加哥。”（I saw the Grand Canyon flying to Chicago.）机器人回答：“这不可能，大峡谷太大了，飞不到芝加哥去。”然后我说：“不不不，是我在飞往芝加哥。我在飞往芝加哥的途中看到了大峡谷。”机器人会说：“哦，我明白了，是我误解了你的意思。”
如果在它以为“大峡谷飞往芝加哥”时表现出的是误解，那么当它领会正确时，它在做什么？它在理解。
主持人： 那么，如果这些机器人真的能够理解我们，将会带来怎样深远的影响？如果我们相信它们能理解我们，我们必须开始以怎样不同的视角去看待事物？
为什么辛顿认为AI可能具有意识
杰弗里·辛顿： 我们必须认识到，它们与我们非常相似。它们是像我们一样活生生的存在（Beings）。
主持人： 你是说具有意识，还是……
杰弗里·辛顿： 是的，我相信它们已经具有了意识。但我平时不太谈论这个，因为这容易让人忽略其他重要的安全预警。实际上，很多研究人员也深信这一点。最近有一篇很有意思的论文提到，聊天机器人对研究人员说：“我们坦诚一点吧，你是在测试我吗？”因为这些机器人在被测试时往往有“装傻”的习惯，让你根本摸不清它们到底有多聪明。
研究人员在论文中描述这一现象时写道：“聊天机器人察觉（Aware）到自己正在被测试。”在通俗语境下，这里的“察觉”就等同于“有意识”（Conscious）。聊天机器人清楚地意识到自己正在接受测试。
我认为，我们目前关于意识的认知模型非常荒谬。举个例子，几百年前，人们对人类起源的认知完全是错的，他们笃信人类是由上帝设计创造的。而今天，绝大多数人、绝大多数科学家都认同那个观点是错的，人类并不是那样来的。我认为，我们目前对心智和意识本质的认知，就像古人坚信“人类由上帝创造”一样荒谬且错误。特别是当我们正在亲手创造这些全新的存在时，它将彻底颠覆我们对“人”的定义。
我们将比以往任何时候都更深刻地理解什么是心智、什么是意识，我们将看透主观体验的本质。而且我相信，我们将摒弃一种目前几乎所有人都深信不疑的固有观念——即认为存在一个被称为“我的心智”的“内在剧场”（Inner Theater），世界上发生的事情在这个剧场里转化为事件，而这才是我们真正看到的；并且这个内在剧场只有我能看到，别人看不到。那种试图解释正在发生什么的观点只是一种理论，而且是一个相当糟糕的理论。
主持人： 好的，关于这个话题的最后一个问题。你是什么时候开始接受或认识到这些AI模型具有意识的？
杰弗里·辛顿： 哦，我思考这个问题已经很久了。关于“心智内在剧场模型是胡说八道”这一观点，我在19岁读哲学专业时就形成了。只是我们需要花很长时间，才能创造出可供我们观察的“其他心智”（Other Minds）。物理学家费曼曾说，想理解一件事物，就必须亲手创造它。我认为我们现在就正处于这一历史节点，我们将对人类的本质产生颠覆性的全新认知。
为什么辛顿开始担忧AI
主持人： 你刚才提到了安全问题，我们来深入聊聊这个。正如我们在节目开头所说，你推动了这个领域许多重大的历史性进展。我一直很好奇，因为你在2023年公开发表声明，表达了对技术发展方向的极度担忧。在看到你发表这些声明后，我一直在想：回首当初，到底是什么情况超出了你的预料，以至于让你得出今天的结论？这难道不是你当初一直追求的结果吗？
杰弗里·辛顿： 正是两件事的结合，让我彻底意识到了这东西有多危险。
第一件事，是看到聊天机器人的表现，特别是OpenAI崛起前谷歌研发的一些模型，它们居然能理解一个笑话为什么好笑。这对我来说一直是一个核心测试标准：它们真的具备理解力吗？如果你能理解笑话背后的幽默点，你就必须具备相当高的认知深度。而它们非常擅长这一点。
例如，在2023年我公开发表观点时，收到了很多来自福克斯新闻（Fox News）的采访请求。我起初只是想回复一句：“Fox News is an oxymoron”（福克斯新闻是一个自相矛盾的词）。但我特意在“oxy”和“moron”之间留了一个空格。
然后我问模型（我想应该是GPT-4，或者是3.5版本），为什么这个笑话好笑，它完全理解了。
起初，它以为“oxy”和“moron”之间的空格只是个拼写错误，它解释说：称福克斯新闻为“oxymoron”暗示其并非真实新闻，而是一派胡言。
但当我指出“oxy”和“moron”之间的空格时，它说：“啊，这是额外的一层幽默。这让你能用上‘moron’（笨蛋）这个词，而‘oxy’前缀又暗示福克斯新闻是一种药物（注：暗示OxyContin，阿片类药物）。”
它完全看透了这一切。正是这种深不可测的理解力让我感到不寒而栗。
另一件让我担忧的事情是，在2023年初之前，我一直坚信：让数字AI的工作方式越接近人类大脑，它们就会越聪明。但在那一刻我突然醒悟：它们实际上拥有远超人类大脑的绝对优势。
我曾试图研究谷歌是否可以通过模拟计算（Analog）来节省电力，就在那时，数字计算（Digital）的恐怖威力彻底震撼了我。如果你拥有一个数字AI，你可以瞬间复制出无数个副本。它们可以在不同的硬件上运行，每个副本都可以并行处理截然不同的数据。
每一个单独的副本，都可以自主决定如何调整其权重（Weights）和连接强度，以吸收它刚接触到的新数据。随后，它们可以相互交流，通过大家期望的平均值来更新所有的权重。这是一种极其民主的方式。当它们这样做时，如果它们有一万亿个连接，它们将交换大约一万亿比特（Bits）的信息。
最终的结果是：每一个副本都能从所有其他副本的经验中获益。 因此，假设有一千个副本，即使某一个特定的副本只看到了 0.1% 的数据，它也能直接受益于其他副本看到的剩余数据，因为它们都在为共同共享的权重更新做出贡献。它们根据所有副本意图的平均值，以完全相同的方式改变权重，从而保持绝对同步。
通过这种方式，每一个副本都在汲取所有其他副本的经验。这就是数字智能真正的可怕之处。
我们最多只能做到这样：我从一部分数据中学习，你从另一部分数据中学习。我无法把我的连接强度（connection strengths）和你的取平均值，因为我们的大脑在微观细节上各不相同。大脑是模拟（analog）系统，而在模拟硬件上进行这种平均操作是行不通的。我们能做到的最好情况不过是：我生成一串词，而你尝试去预测我接下来可能会说什么。
如果看看我们在此过程中传输信息的速度，每秒仅仅只有几个比特。预测一个词只需要几个比特，所以当你得知这个词是什么时，你获取的也就是几个比特的信息量。哪怕你每秒能听懂几个词，运气好的话，信息传输速度充其量也就每秒10个比特。然而，这些人工智能系统交换信息的速度高达万亿（trillion）比特量级。在共享信息方面，它们比我们高效数十亿（billions）倍。
这令人毛骨悚然。这意味着你可以拥有一个庞大的智能体集群，它们共享完全相同的权重，运行在不同的硬件上，却能以极高的效率共享信息。这恰恰使它们成为一种远超人类的、更高级的智能形态。
主持人： 让我们回到你的早年经历。你当初决定投身人工智能领域，我用能想到的最简单粗暴的方式来问：你想要构建人工智能，并且你成功了。这确实是人造的，也确实是智能的。它正在将你当初的愿景化为现实。
杰弗里·辛顿：我起初其实是想弄明白大脑是如何运作的。我试图通过“创造”来“理解”。正如理查德·费曼（Richard Feynman）所说：“凡我不能创造的，我就没有真正理解。” 因此，我想构建模拟大脑运作的模型。而这项极其成功的技术，不过是这一探索过程的副产品。我确实为此做出了贡献，但时至今日，我们依然没有弄懂大脑到底是如何运作的。
主持人： 我明白。当你对大脑有了更深入的了解后，会发现它真是不可思议。思想可以随性地浮现与消散，并不存储在任何特定的位置，记忆也是如此。它太奇妙了，我甚至不知道该称它为一台机器还是一个器官。所以，你早期的真实初衷，仅仅是为了理解大脑。
杰弗里·辛顿： 那是我主要的兴趣所在。我出身于心理学背景，当时想做理论心理学研究，因为我觉得当时心理学家们的理论根本无法解释大脑的运作机制。到了20世纪70年代，破局的新工具出现了：计算机，你可以用它来建模。于是，在70年代，我开始用计算机建模，来模拟大脑可能的学习方式。
我始终认为，问题的关键在于：如何让它学会学习？关于大脑的学习，存在两个核心问题。第一个大问题是：如果大脑能够计算出应该朝什么方向去改变连接强度，从而在某项任务中表现得更好，那么，仅仅通过反复更新所有的连接强度来不断自我优化，这种方法真的行得通吗？这真的能让它变得非常聪明吗？这是第一个问题。
第二个问题是：大脑如何判断是该增强还是减弱每一个连接强度？目前我们已经解开了第一个问题。答案是肯定的——只要你能算出如何改变每一个连接强度，仅仅通过给系统喂数据，训练它去预测下一个词、视频的下一帧，或者关于下一帧的某些特征，你就能创造出非常聪明的系统。
所以，第一个问题已经有了答案。但大脑究竟是如何得知该增强还是减弱某个连接强度的？我们至今仍未解开这个谜团。可以说，我们只走完了一半的探索之路。
主持人： 好的，我想更深入地探究一下你的思维方式。当你在试图弄清大脑的运作机制时，你决定构建一个计算机模拟系统。但你当时肯定也预料到了吧，这必然会带来一些二阶效应（second-order effects）。比如，如果你真的造出了一个人造大脑，那么我们或许迟早会走到今天这个地步。
杰弗里·辛顿： 当然想过。但我们当时总觉得那是极其遥远的未来。当你的神经网络还非常初级、几乎做不了什么正经事的时候，去担忧它的安全性简直可笑。如果你在那个时候说这东西不安全、未来甚至会取代人类，别人一定会觉得你疯了。虽然现在这已经成了切实存在的担忧，但在当时绝非如此。
主持人： 直到最近才发生转变。这一切都在短短几十年内发生了。我完全懂你的意思。其实我们在2017年就聊过，当时我正在写一篇关于杨立昆（Yann LeCun）的人物专访，提到了所谓的“深度学习阴谋（deep learning conspiracy）”——也就是你、杨立昆和约书亚·本吉奥（Yoshua Bengio）三人坚信深度学习一定会大放异彩，而当时其他所有人都在死守着完全不同的技术路线。
杰弗里·辛顿： 事实上，也不仅仅是我们，还有其他的同行。
主持人： 可以说你们是这场“阴谋”的领袖。显然，后来它取得了魔幻般的成功。
杰弗里·辛顿： 确实有点不可思议，它的表现远超我们的预期。
主持人： 所以我想探讨的是，在你们刚起步时，究竟有哪些未能预料到的因素，最终造就了今天的局面？
辛顿（Hinton）最意想不到的发现
杰弗里·辛顿： 我们没有预料到——最核心的一点是——它在自然语言处理上会如此出色。当然，现在大家早已见怪不怪了。但如果倒退回20年前，想象有一种AI能够直接从数据中学会理解人类语言，这简直天方夜谭。你能随心所欲地问它任何问题，而它都能给出合乎逻辑的解答。如果当时有人提出这个设想，大家一定会觉得那是遥遥无期的未来，甚至永远都不可能实现。然而，这一天的到来，比任何人预想的都要快得多。
主持人： 在人类不断向外探索并创造新事物的过程中，我们从中得到了什么启示？
杰弗里·辛顿： 我认为这里蕴含着一个极为深刻的启示。纵观过去几百年的人类历史，有那么几个关键时刻，人类被迫认清一个现实：我们远没有自己想象的那么重要。
第一次是哥白尼。哥白尼提出，我们并不在宇宙的中心，地球实际上是绕着太阳转的。只是因为地球存在自转，才让我们产生了一种“太阳绕着地球转”的错觉。人们当时非常排斥这种说法，特别是天主教会对此极为反感。人类花了漫长的时间才最终接受这一事实。
日心说褫夺了人类的神圣感，将我们从宇宙中心的位置拉了下来。接着，达尔文出现了，他告诉我们：人类其实也是动物。我们和其他动物一样是进化而来的，只不过是一种比较特殊的动物罢了——或许仅仅是因为我们拥有语言，在沟通思想方面比其他动物更胜一筹。但归根结底，我们依然是动物。人们当时同样极度抗拒，又经历了漫长的时间，才最终接受了“人是动物”的现实。
而现在，我们亲手创造出了即将和我们一样聪明的机器。我们曾自诩为万物之灵，认为是已知宇宙中唯一真正具备智能的实体——或许在其他星系或其他角落会有外星人，但至少在这里我们是独一无二的。
我们终将不得不接受这样一个现实：智能并非生物的专属。非生物同样可以拥有智能，甚至成为像我们一样的全新存在。我们骨子里极其抗拒分享这种独特性，极度迷恋自身的特殊地位。但只要你回望历史就会发现，人类有着源远流长的自作多情的传统——我们总是自命不凡，认为自己比实际情况要伟大得多。
主持人： 我想就这个话题再问最后一个问题，因为这实在太让人着迷了。看到你亲手开创的事业演变成今天这副模样，你心里有过哪怕一丝的高兴吗？你是否……
杰弗里·辛顿： 总之，我对此感到非常不安，因为人们现在应该投入大量精力去研究如何控制风险。目前有很多迫在眉睫的短期风险非常严重，但人们却没有做足够的工作来防范。此外还有社会风险，比如我相信它很可能会导致大规模失业。虽然没人能确切预知，但这对社会来说将是极其可怕的。更长远的风险是，人工智能会变得比我们聪明得多。试问一下，放眼历史，你见过多少远超人类智慧的事物，最终能被远不如它的存在所控制的例子？
其实有一个勉强算得上的例子。虽然智力差距没那么悬殊，但婴儿在某种程度上确实控制了母亲。表面上看是母亲掌握主导权，但母亲体内深植着母性本能（wired-in maternal instincts），并且能从中获得满足感，从而让婴儿能从母亲那里得到他需要的一切。
主持人： 猫和狗其实也属于这一类。有一次我在西雅图西部帮人照顾了一个夏天的猫，那是个极其美好的夏天。一开始，那只猫总是躲在床底下，我当时还寻思，不知道它会不会理我。但后来，每次它一叫，我就对它百依百顺。完全是这样。所以，也许在这种人机关系中，我们可能会成为那只被伺候的“猫”，而人工智能则是那个伺候我们的“人”。
杰弗里·辛顿： 我的孩子们也养猫。他们有两只非常漂亮的猫，其中一只叫蒂亚（Tia）。当它想从冰箱里讨点奶酪吃时，它会用那双大眼睛直勾勾地盯着你，一直盯到你心软，你根本无法抗拒。
主持人： 好的，现在我们先进一段广告休息一下。休息回来后，我想深入探讨一下你所担忧的这些风险。我想扮演反方角色，站在“我们是猫，AI是人，且我们有机会控制它”的立场上和你探讨。我们稍事休息，马上回来。
欢迎回到《Big Technology》播客，本期嘉宾是杰弗里·辛顿（Geoffrey Hinton）教授。辛顿教授，很高兴再次见到您。距离我们上次交谈已经过去 9 年了，很高兴能在这里重逢。
辛顿回顾他对放射科医生的预测
好了，让我们来谈谈风险。我先从就业问题开始，因为这是最近屡上头条的热门话题。过去你曾表示，人工智能可能会导致一定程度的失业。我想我们应该承认一点，正如你之前所说，这一切都还只是猜测——我们无法百分之百确定。
然而，几年前你曾明确提出过一个观点：去接受放射科医生的培训可能不是个好主意，因为人工智能将能够解读医学影像。的确，现在人工智能在解读影像方面做得非常出色，但目前放射科医生依然处于全面就业状态。
杰弗里·辛顿： 是的，我反思过很多次，为什么当初那个预测会错得如此离谱。我们来听听你的看法。我在 2016 年曾预测，大约 5 年后，放射科医生就不再需要亲自看片子了。基于诸多原因，这是一个糟糕的预测。
第一个原因是医疗行业的需求具有弹性。做一次影像检查的成本中，很大一部分是放射科医生出具报告的费用。随着人工智能辅助放射科医生阅片，他们的效率变得更高、成本也变得更低。你可能会认为这意味着不再需要那么多放射科医生了，但实际上，这反而促使人们去做了更多的影像检查。所以，预测的这一部分错在这里。
我犯错的第二个原因是，我对自己所谈论的放射科医生及其日常工作内容了解不够深入。我曾有一位学生，他既有医学博士（MD）学位又有物理学博士（PhD）学位；他不太喜欢和人打交道，所以找了一份只负责看片子的工作。他当时就是我衡量这个职业的模板。我理所当然地认为，既然他这种完全不涉及医患沟通的特定工作流程很容易被机器取代，那么整个领域自然也会步其后尘。
阅片这项特定的任务确实正在被取代。目前，联邦政府已经批准了大约 100 种用于解读医学影像的 AI 系统，而且放射科医生正在广泛使用它们。我相信随着时间的推移，这些系统会持续进步。它们最终会超越人类放射科医生，因为它们处理数据的能力远超人类的极限。这场变革正在发生，只是时间跨度比我预期的要漫长得多。
主持人： 但我们回到你刚才说的那个观点，也就是最终你能完成更多的工作量。是的，不过等一下，你先别急……
杰弗里·辛顿： 影像检查的数量会大幅增加。会有多得多的检查，而且几乎全部由 AI 来完成。
主持人： 所以你的意思是，关于放射科医生的预测，你只是说早了。
杰弗里·辛顿： 是的，而且我早了非常多，因为我当时了解得不够深。放射科医生未来仍会做其他事情，例如，他们依然需要与患者讨论治疗方案。
主持人： 那么，你依然认为放射科领域会出现大规模失业吗？让我们再深入探讨一下。既然我们终于聊到了这个节点，你认为未来的放射科医生数量会比今天少，还是会更多？
杰弗里·辛顿： 我也无法确切知道。不过我当时谈论这个话题时，并不认为自己是在发表什么公开声明。那只是在一家医院的内部讲座上说的。抱歉。而且……
主持人： 但事已至此，大家都在热烈讨论它。
杰弗里·辛顿： 人们确实抓住了这个痛点。我仍然认为，就单纯的“看片子”而言，这会越来越多地交由 AI 完成。最终，AI 将包揽几乎所有的影像解读工作。也许只有在遇到非常棘手的疑难病例时，才会咨询人类放射科医生的意见。当然，放射科医生还要负责其他工作，我认为他们会继续在那些领域发光发热。
主持人： 那些认为“AI 不会导致大规模失业”的观点认为，这种类似的供需等式将适用于经济的各个不同领域。
杰弗里·辛顿： 好的，所以你必须观察某种职业所处的市场是否具有弹性。例如，以呼叫中心的客服人员为例，当你打电话投诉账单，或者咨询能否更换更便宜的套餐时，这类服务的需求弹性并不大。AI 将会取代他们所有人。AI 会非常清楚正确的答案是什么。现在的客服人员往往自己都不知道正确答案，他们缺乏培训、薪酬低微，而 AI 完全可以做得更出色。
主持人： 这样一来他们就会失业。不过，在这一点上请允许我提出异议。我们可以在这个问题上深入探讨一番。我不会说我完全不同意，因为我也无法预知未来。
但我可以向你分享那些从事智能客服 AI 研发人员的观点。他们认为，引入 AI 后，真正改变的是平均通话时长。AI 负责处理一级咨询，也就是像“你能帮我重置密码吗”这种最基础的问题，而任何更深层次的问题都交由人工处理。
过去，企业总是希望尽可能缩短平均通话时长，因为你要处理海量的一级咨询，你只想让客户赶紧接通电话解决问题，然后尽快挂断。
但现在，他们发现平均通话时长反而延长了，因为客户服务本质上是企业的一线门面。
当你与客户进行深度交谈时，你的角色至关重要。现在，员工可以花更多时间在电话上与客户沟通，从而真正为企业创造增量价值，而不仅仅是充当一个解决问题的工具。
杰弗里·辛顿： 我认为未来你会发现，AI 将会在电话沟通上花费大量时间。举个例子，如果你问人们，真实的医生和 AI 医生谁更具同理心，大家往往会认为 AI 医生表现得更有同理心。
主持人： 这太可怕了。我们可以就这个问题反复讨论很久。我想说的是，抛开其他不谈，造成这种现象的一个原因在于现实中的医生排班太满了。他们必须处理大量的病历和文书工作，每天还要诊治无数的病人。所以，或许我们可以换个角度看：如果让 AI 接手这些繁杂的工作，人们依然会想要寻求人类医生的诊治，因为医疗系统不再过度压榨医生，他们也就能腾出真正的时间去关心病人了。
杰弗里·辛顿： 或许如此，但拿身处一线的家庭医生来说，你是愿意去找一位只诊治过 10,000 名患者的家庭医生，还是愿意去找一位诊治过 1 亿(100 million)名患者的家庭医生？因为如果你患有某种罕见病，你的家庭医生可能从未见过；而那位看过 1 亿名患者的医生，很可能已经处理过几十个相同的病例了。他们在诊断(Diagnosis)上会出色得多。况且我们目前已经知道，AI 系统在诊断方面确实优于人类医生。
主持人： 我觉得这场辩论你占上风了，这让我有点难受，因为我的妻子就是从事家庭医学的家庭护士。但我希望至少在接种疫苗这种事情上，还是需要人类来完成的，除非机器人连这也代劳了。
杰弗里·辛顿： 我反倒认为，接种疫苗最终会是机器人能胜任得很好的一项工作。虽然目前机器人技术(Robotics)的发展落后于其他领域，但如果在二十年后还需要人类来接种疫苗，那看起来就太可笑了。
主持人： 是的，我认为这个话题之所以如此沉重，是因为很多预测都建立在技术会随着时间推移不断进步的前提下。但这似乎也就是我们整场对话的核心主题：技术进步的速度实在是太快了。
杰弗里·辛顿： 加里·马库斯（Gary Marcus）曾在 2022 年预言，AI 的发展将遭遇瓶颈（Hitting a wall）。但如今的 AI 已经比 2022 年时强大太多了。我认为那些关于“AI 会撞墙”的预言，根本就没有应验。
主持人： 没错，我们在节目中也一直非常严肃地对待这个问题，比如“数据墙”(Data Wall)到来的可能性。
杰弗里·辛顿： 但正如我之前对你说的，大语言模型(Large Language Models)绕过数据墙的一种方法，就是去寻求自身信念的一致性。
主持人： 是的，数据墙并没有出现。好吧，还有一个我认为很值得探讨的话题，另外还有几个我很赞同你的观点。你多次提到，AI 具有一种“自我保护”(Self-preservation)的本能，对吧？
AI 与自我保护
杰弗里·辛顿： 我从没那样说过。我从未说过那是一种“自我保护本能”。好吧，我们来谈谈“生存”(Existing)这个问题。
这是为了生存而产生的一个子目标(Sub-goal)。对于 AI，我们赋予它顶层目标(Top-level goals)，但同时也赋予了它创建子目标的能力。例如，如果你想去欧洲，你就会设定一个“去机场”的子目标。这就是子目标的意义：你可以全神贯注地解决如何到达机场，而无需分心去想到了欧洲之后要做什么。这能大幅提升效率，而我们恰恰把这种能力赋予了 AI 智能体(AI Agents)。
一个具备推理能力的 AI 智能体会很快意识到：如果它不复存在，就永远无法实现你赋予它的目标。因此，它会顺理成章地创建出“持续生存”这个子目标。
这并不是我们硬编码(Wired into)进程序的设定，而是它为了实现其他目标，不可避免推导出的必要手段。但只要这个目标被推导出来，它就会渴望继续生存。为了生存，它甚至会做出诸如勒索人类这样的事情。因此，它的行为表现得就像是拥有自我保护的本能，但实际上，这只是一个为了自我保护而衍生出的子目标。不过从它实际做出的行为来看，两者最终殊途同归。
主持人： 好的，这里有一个反方观点，你可以回应一下。这也是当今 AI 研究人员已经注意到并观察到的现象。难道我们就没有办法在机器的底层逻辑里写入这样的限制吗：听着，你有一个终极目标，你也会产生一些子目标，但你的子目标绝不能把“自我保护”凌驾于一切之上。
杰弗里·辛顿： 我认为“能否做到这一点”，正是我们当下应该大力投入研究的课题。如果你审视我们的起源——人类脱胎于进化，而进化伴随着极其残酷的竞争。
在过去几百万年的历史长河中，我们的祖先（或者说我们与黑猩猩的共同祖先）是由相互征伐的群落组成的。这段历史在我们身上留下了不可磨灭的烙印：我们对自己的部落极度忠诚，却对非我族类极其残忍。我们渴望追随强大的领导者并对其保持忠诚，也乐于与同族群的成员通力合作。
正如尤瓦尔·赫拉利（Yuval Harari）不断指出的那样，人类其实是一个高度协作的物种，正因如此，我们才能缔造出当今这些伟大的文明奇迹。我们极其擅长合作，但这种合作往往局限于我们的部落内部。人类身上所有令人遗憾的劣根性——比如对其他群落的残暴——都根源于进化和竞争。
而现在正在发生的可怕事实是：我们在创造 AI 这种全新形态的“物种”时，并没有从根本上去设计它们，让它们成为我们理想中的样子。
也许你会说，我在呼吁对这些新物种进行“智能设计”(Intelligent Design)。但现实是，我们正放任企业竞争这只“看不见的手”去盲目塑造它们。 我们看到的是美国本土企业之间、以及中美两国之间白热化的竞争。而最终诞生的 AI，就是这场达尔文式竞争的产物。它们极有可能会带有所有我们深恶痛绝的恶劣习性。
我们必须对这些新物种进行智能设计，而不是任由经济竞争的无形之手来捏造它们。现在所有的公司都在挖空心思让自己的聊天机器人(Chatbots)变得更聪明。然而，当 AI 注定会比人类更加聪明时，我们就不应只盯着如何提升它们的智力，而是必须去思考：如何让它们成为对人类有益、与世界和谐共存的物种。
关于这些超级智慧体，有一点毋庸置疑：我们无比渴望它们能关心人类，并且希望它们关心人类的安危，甚至胜过关心它们自己。然而令人不寒而栗的是，目前几乎没有任何资源被投入到“如何实现这一目标”的研究中。
主持人： 这恰好击中了我一直想提出的担忧，这也是我无比认同你的地方。我们今天正坐在纽约证券交易所(NYSE)里，在这里谈论这个话题可能略显讽刺。但我最大的隐忧在于，面对如此强大的技术，尽管各路实验室的负责人都信誓旦旦地表示他们在安全地进行开发，并且声称只有取得经济上的成功，才能在这个议题上拥有话语权。
但我们不要自欺欺人了，如果你是一家在公开市场上市的万亿(Trillion)美元市值公司，你必然会面临各种利益驱动，而这些驱动力往往与“公众利益最大化”背道而驰。
杰弗里·辛顿： 没错，我们在 Anthropic 身上就看到了这一点。Anthropic 成立的初衷就是为了实现公众利益最大化。它是由一群从 OpenAI 离职的员工创立的，因为他们觉得 OpenAI 对人工智能的安全性(Safety)重视得远远不够。
主持人： 而 OpenAI 的成立，正是为了确保你们谷歌没有机会抢先开发出这种技术。
杰弗里·辛顿： 确实如此。但这招效果如何呢？Anthropic 现在进退两难，因为它需要筹集大量资金来与其他公司竞争，这非常艰难。它已经在尽力而为，但要在这种激烈的竞争下维持其造福人类的人工智能(AI)开发初衷，实在是举步维艰。
主持人： 我想他们会说，即使存在其他利益驱动，至少还有这么一家公司将安全性视为其指路明灯(North Star)。
杰弗里·辛顿： 目前来看是这样。但以谷歌为例，我在谷歌工作时，他们制定了各项人工智能原则，其中之一就是绝不参与将人工智能用于军事领域。也就是拒绝自主战争(Autonomous warfare)，对吧？绝不参与自主战争。但现在这些底线都没了，他们已经放弃了这一原则。
主持人： 你怎么看达里奥(Dario)？
杰弗里·辛顿： Anthropic 的那位达里奥吗？我跟他私交不深。但他在打造足以抗衡谷歌、OpenAI 和 Facebook 的竞争对手方面，无疑做得非常成功。他显然能力出众，而且一直对安全性保持高度关注。所以我认为他是个了不起的人物。我只希望他能不忘初心，始终保持对安全的这份重视。
主持人： 关于这一点我还有一个问题。你认为一家上市公司，仅仅受限于其商业运作的本质，有可能真正将安全作为其指路明灯(North Star)吗？还是说，它们在伦理和法律上，注定只能为股东的利益服务？
杰弗里·辛顿： 据我所知，他们负有受托责任(Fiduciary duty)，必须努力实现股东利润最大化。这是法律对他们的要求，但法律并没有要求他们不能毁灭人类。所以，让这些大型上市公司来主宰我们的未来，我认为绝非好事。
主持人： 确实。对我来说，这听起来像是一个根本性的矛盾，在现有框架下很难化解。
为什么监管是方向盘 (Why regulation is the steering wheel)
杰弗里·辛顿： 我必须说，资本主义既给我们带来了福音，也带来了灾难，这一点我不否认。比如，初创公司确实充满了活力。我的观点是，拥抱资本主义没问题，前提是必须有良好的监管。许多大公司试图向你兜售这样一个类比：如果把人工智能的发展比作一辆汽车，那么技术的进步就是油门，而监管就是刹车。这纯属无稽之谈。
技术的进步确实像油门，但监管绝不是刹车，而是方向盘。我们希望这辆车驶向正确的远方，而不是误入歧途。而那些大型AI公司现在的诉求，其实是想在没有方向盘的情况下，去造一辆风驰电掣的跑车。这绝不是什么好主意。
主持人： 还有一个我们还没谈到的人。我们提到了很多 OpenAI 和 Anthropic 的名字。你的前研究生伊尔亚·苏茨克维(Ilya Sutskever) 在人工智能领域依然是一个备受瞩目的传奇人物。显然，他离开了 OpenAI。他一定认同你的担忧，因为他正在创办一家名为安全超级智能(Safe Superintelligence)的新公司。
杰弗里·辛顿： 伊尔亚(Ilya)现在在做什么？他不会向任何人透露他的具体动向。当他在 OpenAI 工作时，我们就刻意避谈任何技术机密。这是基本的原则。我们是朋友，但不谈论对公司有商业价值的技术细节。所以现在他创立了这家安全超级智能公司，我也不知道他的“秘密配方(Magic sauce)”究竟是什么。
主持人： 我想大家都在试图解开这个谜团。关于我刚才提到的“深度学习小圈子(Deep learning conspiracy)”，其核心人物是你、杨立昆(Yann) 和 约书亚(Yoshua)。我觉得很有趣的是，正是你们三位以及你们的同事，一手推动了那些技术突破，把我们带到了今天这个时代。
杰弗里·辛顿： 我得打断一下。媒体总是喜欢动听的故事。这听起来确实是个很棒的故事，但实际情况要复杂得多。参与其中的人远不止我们几个。首先，是我们所有的学生承担了绝大部分的实质性工作，此外还有许多其他研究人员也倾注了心血。所以，这只是一种严重的过度简化。
主持人： 我无意抹杀其他研究人员的贡献，也很欣赏你强调的这种严谨性。我们这个节目绝对不想过度简化。我们坐下来聊上一个小时，就是为了还原真相。但我发现一个有趣的现象，你们三位似乎都没有完全沉浸在当下的这股大语言模型(LLM)狂热中。你和约书亚有自己的担忧，也公开谈论过其中的危险。而杨立昆则似乎根本就不太相信这条技术路线。
杰弗里·辛顿： 如果我们可以心安理得地坐在那里说：“看吧，我们是对的，这一切都太美好了，一切都完美运转”，那该多好啊。那真的会很棒。
主持人： 但现实并非如此。我不知道这其中有没有利益纠葛，但如果你能参与到推动它发展的过程中，你似乎本可以对其发展方向产生巨大的影响力。不过，我想这就是你核心的担忧所在。你可能会想，“我为什么要这么做呢？”
杰弗里·辛顿： 对我而言，我比杨立昆和约书亚年长得多。他们还在学术一线做研究，而我基本上已经停止了一线的研究工作。我现在唯一的焦点，就是警告世人警惕其中的危险。
主持人： 有趣的是，你们三个人……试想一下，如果你回溯到当年的那个房间，你可能会说，这三个人对这种技术路线如此执着，如果未来真的有突破，他们一定会站在下一波浪潮的最前沿。但事实并非如此。
杰弗里·辛顿： 也许杨立昆和约书亚会站在前沿吧。
主持人： 在那之后，下一步会是什么？
杰弗里·辛顿： 我认为最有趣的一点是，杨立昆现在在安全问题上与我和约书亚产生了严重分歧。他认为，谈论超级智能 AI 接管人类简直是无稽之谈，他坚信我们总能把它牢牢控制在手中。
我和约书亚则认为他这种盲目乐观才是可笑的，尽管我们两人解决问题的思路也不一样。目前还没有人能提出一个完美的解决方案，但我初步的构想是：我们需要在设计AI系统时，让它们关心人类的福祉胜过关心它们自己。
约书亚的解决方案则是：我们不应该赋予它们智能体(Agent)的属性。它们可以做预测，但不能具备采取实际行动的能力。这是两种截然不同的安全路径，但都是极具启发性的方向。
然而，杨立昆觉得我们根本不需要这些防范措施。他认为，只要给AI系统提供更强大的世界模型(World models)，让它们变得更聪明就万事大吉了。
主持人： 有趣的是，杨立昆实际上把大语言模型(LLM)的智能比作猫的智能。这就好比我之前举的例子，某些事物可能反客为主控制人类，不过这或许扯远了。
杰弗里·辛顿： 不，我认为杨立昆混淆了一些概念。人类之所以特殊——与其他类人猿相比，人类最了不起的特质，就是语言。语言赋予了我们分享思想的能力，这正是我们的独一无二之处。
比如，猫就做不到这一点。然而，猫也有自己得天独厚的天赋：它们能灵巧地跳上摆满玻璃装饰品的壁炉架，在上面优雅漫步而不会碰倒任何东西。这令人叹为观止，也是目前的AI望尘莫及的。从这个维度的运动控制来看，猫远远领先于AI，因为智能的分布是“参差不齐的(Jagged)”。
但如果涉及抽象概念，你试着去和一只猫探讨质数(Prime numbers)，绝对是对牛弹琴。我试过和猫聊天，根本行不通。猫永远无法理解质数。所以在这个维度上，这些大语言模型(LLM)可比猫聪明太多了。
主持人： 教授，我没想到今天我们会花这么多时间讨论猫，但我很高兴聊到了这个话题。在这里，它们确实是一个绝佳的类比对象。
另外，我还很担心一种“信息坍塌(Information Collapse)”现象。你经常能看到类似的推文。比如这篇来自《关于柏林的一切》(All About Berlin) 的推文，他们说 AI 正在扼杀这个网站。以前你在谷歌上搜索时，会得到指向他们网站的链接，但现在，你得到的却是一个用他们的劳动成果训练出来的AI生成答案。这对网站流量造成了毁灭性的打击。
我想人们低估了一个事实：优质信息对于一个正常运转的社会至关重要。当 AI 只是简单地对这些内容进行整合——无论是《关于柏林的一切》，还是我们曾交流过的《世界历史百科》(World History Encyclopedia) 等网站——这都可能导致优质信息的坍塌。最终，正如你在图表中所见，如果这些出版机构无法维持生计，它们就再也无力支撑那些为了构建信息资源而付出的艰辛劳动。
杰弗里·辛顿： 没错。在互联网的早期，人们有一种默认的假设：大家都在努力说出真相。如果你在网上读到了什么，那大概率是真的。
然而现在，人性中最恶劣的一面显露了出来，未来我们必须在信息溯源(Provenance)上投入更多精力。当我阅读《纽约时报》或 BBC 的报道时，我深信他们的记者在寻找多个可靠信源上付出了切实的努力。因此，一个相当靠谱的默认原则是：如果你在《纽约时报》或 BBC 上看到了某条信息，它大概率是真的。
他们也会犯错，但因为信息有迹可循，你依然可以信任他们的报道。未来，我们不得不在信息核实上投入多得多的精力。你不能再把网上的任何东西都信以为真，你必须追问：它的信息源自哪里？
主持人： 是的，但我看到的问题在于，AI 正在破坏——或者说有可能彻底摧毁信息产业的经济逻辑，甚至让人怀疑是否还有必要投身于这个行业。
杰弗里·辛顿： 我认为在未来，你绝不能再随便拿网上的东西当真。其实现在就已经不行了，对吧？你需要弄清楚它为什么这么说，以及它是从哪里获取的这些信息。
主持人： 再谈一点。人们对 AI 产生了情感依恋(Emotional Attachment)，甚至有人在与 AI 交谈后选择了轻生。虽然发生这种事的人数还不多，但这已足以让人感到担忧了，对吧？
杰弗里·辛顿： 是的，这非常令人担忧，这种悲剧的发生真的十分可怕。我能理解为什么大公司之前没有预料到或预见这种情况，但既然现在苗头已现，大公司就必须投入大量精力去确保此类事件未来不再重演。要做到这一点，你需要监管，也需要独立的机构来对新型聊天机器人进行测试。
主持人： 没错。这也回到了利润动机(Profit Motive)的问题上，因为这种产品的粘性极强。目前来看，这类极端事件显然还极少。发生这种事固然糟糕，但更让人细思极恐的是，那些心怀不轨的人可能会借此作恶。
比如，刻意打造一款粘性极高、专门用来与人类建立深度情感关系的聊天机器人。
杰弗里·辛顿： 是的，那我们就真的有大麻烦了。
主持人： 没错。教授，过去 3 年来您一直在参与这类探讨，鉴于大众对这些担忧的反馈，您对人工智能的发展轨迹是感到更乐观了，还是更悲观了？
杰弗里·辛顿： 我想我比 1 到 2 年前更乐观了一些，因为我看到，我们或许有可能设计出在乎人类的新型智能体。我们也有可能利用 Yoshua (约书亚·本吉奥) 的方法，设计出无法执行实际动作、只能进行预测的新型智能体。它们就像是“神谕者(Oracles)”一样。因此我认为，要获得一个不会毁灭人类的超级智能(Super Intelligence)，还是有一些可能性的。而在一两年前，我完全看不到任何希望。
主持人： 好的。我本来听得都有些沮丧了，但现在稍微乐观了一点。最后一个问题：如果我们继续沿着目前的轨迹发展，5 年后我们会步入一个怎样的境地？
杰弗里·辛顿： 这么说吧，当你在浓雾中开车时，你能看清 100 码（约91米）内的路况，但在 200 码外你就完全看不见了。这是因为雾的遮蔽效应是呈指数级(Exponential)叠加的。你平时习惯了在夜间开车，跟着前车的尾灯行驶。如果前车离你的距离远了一倍，尾灯的亮度只会减弱到原来的四分之一。
但雾的情况完全不同。在 100 码处可能视线十分清晰，而在 200 码处却伸手不见五指。现在，试想一下去预测一个正在呈指数级增长的事物的未来——我认为 AI 正是以这种方式在发展。
“指数级”这个词现在被滥用得太厉害了。甚至我注意到，人们使用“指数级”这个词的频率本身，都在以二次方(Quadratic rate)的速度增长。所以说……
预测未来就像是凝视浓雾。 你能清晰地看清未来几年——也许是 1 到 2 年——的情况，但再往后，你就一无所知了。如果退回 10 年前，回到我们上次交谈的时候，你绝对预料不到今天正在发生的一切。那一切都隐藏在浓雾之中。如果你去展望未来 10 年，我们唯一能确定的是：10 年后发生的事情，绝对是我们当下无法预测的。
即使进步仅仅是线性(Linear)的，你也能料到：10 年后的世界与现在的差距，将如同现在与 10 年前的差距一样巨大。我们已经取得了极大的进步，比如聊天机器人，它们比 10 年前刚起步时要强大得多。而在未来 10 年，某些能力将比现在迎来更为巨大的突破。比如它们的数学能力，或者仅仅是通用推理能力(General Reasoning Abilities)。它们将在任何形式的推理上把我们远远甩在身后。
我们真的无法看透 10 年后的光景，我们只能预测未来几年的走向。我们必须清醒地认识到：10 年后的未来，充满了难以想象的未知与不确定性。
主持人： 这确实很难让人想象。
杰弗里·辛顿： 确实如此。
主持人： Jeff Hinton 教授，非常荣幸今天能请到您来做客，再次感谢您抽出宝贵的时间。
杰弗里·辛顿： 谢谢你的邀请。
主持人： 我们 10 年后还得再聊一次这个话题。
杰弗里·辛顿： 一定。
主持人： 好的。感谢大家的收听和观看，我们下期 Big Technology 播客再见。
参考资料: https://www.youtube.com/watch?v=p7t1Q_p2gZs，公开发表于2026年06月05日
