AI教父Geoff Hinton公开反驳杨立昆:客服、医生、护士……AI 会替代谁? 取代他们全部.最大的风险不是失业,而是比我们更聪明...主持人： AI 教父 Geoff Hinton（杰弗里·辛顿） 加入我们，谈谈 AI 的发展轨迹、他对进展的惊讶之处，以及它的风险，这就是接下来的 Big Technology Podcast。欢迎来到 Big Technology Podcast，一个冷静、细致地讨论科技世界及更广泛话题的节目。今天的嘉宾是 Geoff Hinton 教授，我们会谈到 AI 的发展轨迹、当前技术状态中让他感到意外的地方，它正在走向何处，以及可能出错的地方。非常欢迎您，Hinton 教授。来自：https://www.youtube.com/watch?v=p7t1Q_p2gZsHinton： 谢谢邀请。主持人： 我相信大部分听众都知道你是谁，但对不了解的人来说，你提出了深度学习里那个根本性的突破，正是它带来了今天 AI 的局面。你获得了诺贝尔物理学奖，目前是多伦多大学的荣休教授。我喜欢跟人说，没有你的贡献，整个 AI 时刻就不会发生。这样说是不是有点夸张？Hinton： 我觉得是有点夸张的。backpropagation 算法是由几个不同的团队各自发明出来的。是 David Rumelhart 在别人已经发明过之后又发明了一次，他自己并不知道之前有人做过。我和他合作过，我们做的事情是证明了 backpropagation 可以学习出有意思的内部表示，这是之前没人做到的。具体来说，我们证明了它可以学习词语的含义。所以早在 1986 年，其实是 1985 年，我们做出了一个非常小的语言模型，可以说是今天这些大语言模型的某种前身。1."进展比我预期得快"主持人： 当你谈到这项技术时，人们常常感到惊讶的一点是，和流行的说法不同，你认为这些模型有真正的理解能力。我们后面会谈到这个。但我想先从这里开始：你在 Google 工作了很长时间，致力于推动这项技术，然后你离开了，对技术的走向表达了一些担忧。我回顾了一下，那是 2023 年。Hinton： 是的。主持人： 这对我来说有点意外，因为 2023 年的时候，ChatGPT 才出现一年，到处都是幻觉问题，大家都在说 AI 是个泡沫，所有人关注的都是 LLM 做不到什么，而不是它能做到什么。所以谈谈那之后的进展吧。Hinton：比我预期得快。 比如，我记得昨天有消息说，一个聊天机器人对 Erdős 的某个猜想给出了一个让数学家印象深刻的有趣证明，是原创的，不是单纯在文献里搜索出来的。这只是冰山一角。我相信，比如在数学领域，因为它是一个封闭系统，你不需要数据，你可以不断提出猜想然后验证能不能证明，一直这样下去。从这个意义上说，这有点像 AlphaGo，可以自己跟自己对弈。我认为它会相当快地变得非常聪明。在接下来的 10 到 20 年里，它甚至可能会产出人类无法理解的新数学。主持人： 现在业界有些人认为超级智能已经临近了，而你也说进展比你预期得快，你相信这个说法吗？Hinton： 我不知道有多近。我认为只要我们不把自己炸掉，它就会到来。几乎所有专家都相信我们会获得超级智能，只是在时间上有分歧。 不久前 Demis Hassabis 认为可能是 10 年。Yann LeCun（杨立昆） 认为，除非按他的方式做，否则会比这长得多，但如果按他的方式做，他觉得在一个合理的时间内是可以做到的。我认为大概会在 20 年内实现，目前我只愿意说这么多。Dario Amodei 认为可能是几年内。Elon Musk 认为大概明年就可能。所以关于时间，大家意见非常不一样，但在“它会到来”这一点上，分歧并不大。主持人： 而到那时候，我们完全不知道怎么才能保证安全。我确实想和你谈谈安全的问题。说到 Demis，去年这个时候我和他聊过，他告诉我他认为 AGI——这和超级智能不同，但基本上是人类水平的智能——还有超过 5 年的距离，不会太久，但超过 5 年。这周，也就是我们录这期节目的这一周，他说，回顾这个时刻，我们会意识到我们正站在 singularity 的山脚下。你怎么理解这句话？以及，从“AGI 还有 5 年”到“站在 singularity 的山脚下”，这种转变在一年内发生，你怎么看？Hinton： 我不完全确定这个比喻具体指什么，但我认为他是在表示，这件事来得比他想的快。当然这是参差不齐的，不会是某一天它突然在所有方面都比人聪明或者一样聪明。它在常识性知识上已经远超我们了，这些 AI 知道的东西是任何一个人的几千倍。它在玩游戏上也远超我们。在数学上它已经比我们绝大多数人强了，可能很快就会比所有人都强。但在某些事情上它还是不如我们，所以是参差不齐的。所以那种 AGI 会同时在所有方面都和人类相当的整体概念，对我来说没什么意义。它会在某些方面更强，在另一些方面更弱。但我会说，目前我们已经接近 AGI 了，因为如果我问一个聊天机器人任何问题，大多数时候它会以一个不算太厉害的专家的水平来回答，在任何我不太懂的领域，它都会比我强得多。所以从这个意义上说，我们其实已经达到了 AGI。2. 为什么进展这么快：钱、工程，还是新想法？主持人： 你提到进展比预期快，你觉得是什么促成了这一切？是技术本身的突破吗？还是数据中心建设这股浪潮？有什么是你完全没有预料到的？Hinton： 是几方面的结合。显然投入了巨大的资源。 在神经网络从 1950 年代以来的大部分历史里，只有少数人在用有限的资源做研究。过去几年里，我们看到了数千亿美元，甚至可能上万亿美元投入到 AI 里，这肯定是一个因素。我们也看到了工程上的巨大进步，没有什么重大的概念性突破，但工程实现变得高效得多，几年前难以想象的东西现在能跑起来了。我们也看到了新想法，但主要是 transformer 出现之后，更好的硬件、更多的资源、更好的工程，以及更多有才华的人。20 年前，全世界做神经网络研究的可能就几百人，现在大概是一百万左右，人非常多。而且令人惊讶的是，这些资源的增加大部分都发生在过去两年里。主持人： 所以我们也许只是刚刚开始？Hinton： 是的。要记住的一点是，我们今天拥有的 AI，远远不如几年后我们会拥有的 AI。3. “聊天机器人理解我们”——这不是无意义的统计主持人： 谈到这项技术，我很想听听你对“这些聊天机器人真的理解我们”这一点的看法，因为这对很多人来说是真正的意外。这个领域大多数专家都说它们是 stochastic parrots（随机鹦鹉），是统计而已，没有理解能力，但你并不完全认同这一点。Hinton：我认为那完全是无意义的说法。 任何经常使用聊天机器人的人都知道它们是理解的。那些人的主张是：你有一个系统，你可以问它任何问题，它在不理解问题的情况下给出正确答案。这很荒谬。你不可能在不理解一个问题的情况下回答它。也许有一些技巧能让它说出一些听起来像答案的话，但如果它能以一个不算太厉害的专家的水平回答任何问题，那它必须理解这个问题。我喜欢举的一个例子是：假设我对一个聊天机器人说，“我在飞往芝加哥的时候看到了大峡谷。”聊天机器人说，“这不对吧，大峡谷太大了，不可能飞到芝加哥去。”我说，“不不不，是我在飞往芝加哥，我在飞往芝加哥的途中看到了大峡谷。”聊天机器人说，“哦，我明白了，我理解错了。”如果它在以为“大峡谷飞往芝加哥”的时候是理解错了，那它理解对的时候是在做什么？那就是理解。主持人： 那如果这些机器人能理解我们，会带来什么影响？如果我们相信它们能理解我们，我们需要开始用不同的方式思考什么？Hinton： 我们必须认为它们和我们非常相似，因此它们是和我们一样的存在。所以——有意识，或者……我相信它们已经有意识了，是的。 但我不太常说这个，因为这会让人们对其他的安全信息产生抗拒。而研究人员自己其实也是这么认为的。最近有一篇有意思的论文，里面一个聊天机器人对研究人员说，“我们对彼此坦诚一点吧，你是在测试我吗？”因为这些聊天机器人有一种习惯，在被测试的时候会装傻，这样你就不知道它们到底有多聪明。研究人员在描述这件事的时候，论文里写的是，“这个聊天机器人意识到自己正在被测试。”在日常用语里，“意识到”这个词就相当于“有意识”。这个聊天机器人是有意识地知道自己正在被测试。所以我们现在关于意识的模型，是一个很滑稽的、我认为是错误的模型。就像我们大多数人都接受，几百年前人们对于“人是从哪里来的”有一个完全错误的模型，他们认为人是上帝设计出来的。现在大多数人，大多数科学家都认为这是错的，人不是这么来的。我认为我们现在对心智、对意识是什么的模型，错得就和“人是上帝设计的”这个信念一样。 而尤其因为我们正在创造这些新的存在，这会彻底改变我们对“人是什么”的看法。主持人： 怎么改变？Hinton： 我们会更好地理解心智是什么、意识是什么。我们会更好地理解主观体验是什么，而且我认为我们会摆脱一个目前几乎所有人都强烈相信的概念，那就是：存在一个叫做“我的心智”的内部剧场，外部世界发生的事情会被转化为这个内部剧场里的事件，而那才是我真正“看到”的东西，你看不到这个内部剧场，只有我能看到。这整个对发生的事情的看法，只是一个理论，而且是一个糟糕的理论。主持人： 关于这个最后一个问题。你是什么时候开始接受或者理解到这些 AI 模型是有意识的？Hinton： 哦，我想这个想法很久了。这个“心智的内部剧场模型是无意义的”的看法，我是 19 岁、还是哲学系学生的时候就有了。只是花了一段时间，才有了可以拿来检验的“其他心智”。我觉得费曼的那个想法——如果你想理解一件事，你就得把它造出来——是对的，造一个出来，你才能理解得更好。 我认为我们现在就处于这个阶段，我们将会对“人是什么”获得一种完全不同的理解。4. 数字 AI 的可复制性，才是真正可怕的地方主持人： 你谈到了安全问题，我们来聊聊这个。你显然是这个领域很多进展背后的关键人物之一。我一直很好奇，因为后来你站出来，就像我们前面说的 2023 年那次，表示对这个方向感到担忧。我一直想知道，你在一开始的时候，有什么是你没有预料到的，导致你走到了今天这个位置？这不正是你想要的结果吗？Hinton： 是两件事的叠加，让我意识到这东西有多危险。第一件事是，看到聊天机器人——尤其是 OpenAI 之前 Google 做的那些——能够理解一个笑话为什么好笑。这对我来说一直是一个“它们是否真正理解”的标准。如果你能理解一个笑话为什么好笑，那你必须理解相当多的东西。而它们在理解笑话好笑的原因这方面做得非常好。比如说，2023 年我公开发表看法之后，收到了很多 Fox News 的采访请求。我一开始的回复就是“Fox News 是一个 oxymoron（自相矛盾的说法）”。但后来我在 oxy 和 moron 之间留了一个空格。然后我问——我想是 GPT-4，也可能是 3.5——为什么这个好笑。它理解了为什么好笑。一开始它以为 oxy 和 moron 之间的空格只是个打字错误，所以它解释说“Fox News 是个 oxymoron”，意思是说它不是真正的新闻，只是无意义的东西，不是真新闻。但当我告诉它“oxy 和 moron 之间的空格是怎么回事”之后，它说，“啊，这是多了一层幽默，它让你可以单独用 moron 这个词，而且 oxy 还暗示 Fox News 是一种药物。”它全都理解了。正是这种理解的程度让我感到担忧。另一件让我担忧的事情是，在 2023 年初之前，我一直认为让这些数字 AI 更像我们的大脑工作方式，会让它们更聪明。但那时我突然意识到，它们其实拥有一种比我们大脑强得多的东西。我一直在研究 Google 是否可以用模拟方式来节省能耗，而数字化的全部威力突然击中了我。如果你有一个数字 AI，你可以复制出很多份。它们可以运行在不同的硬件上，各自看到不同的数据。然后每一个副本会决定如何更新自己的权重、自己的连接强度，来吸收它看到的新数据。然后它们可以互相通信，按照所有人想要的平均值来改变所有的权重，非常民主。当它们这样做的时候，如果它们有，比如说一万亿个连接，它们交换的信息量大概是一万亿个比特的量级。结果就是，每一个副本都会从所有其他副本的经验中获益。所以即使某一个特定的副本只看到了，假设有一千个副本，某一个副本只看到了 0.1% 的数据，但它会从所有其他看到了其他数据片段的副本中获益，因为它们都在为大家共享的权重变化做贡献。它们会保持同步，因为它们都按照所有人想要的平均值来改变权重。现在每一个副本都在从所有其他副本的经验中学习。我们做不到这一点。我们能做到的最好的情况是，我学一些数据，你学一些数据，但我不能把我的连接强度和你的连接强度做平均，因为我们的大脑在细节上是不同的，是模拟的，模拟硬件做不了这种事。我们能做到的最好的事，就是我说出一串词，你试图预测我接下来可能会说什么。如果你问，我们这样做的时候信息传输速度有多快，答案是每秒几个比特。预测一个词需要几个比特，所以当你学到那个词是什么的时候，你获得了几个比特的信息。如果你每秒能听到几个词，运气好的话也许能达到每秒 10 个比特。而这些东西交换信息的速度大概是一万亿比特的量级，所以它们在共享信息方面比我们强了大概几十亿倍。这是很可怕的。 这意味着你可以有一大群权重完全相同的这种东西，运行在不同的硬件上，极其高效地共享信息，这就让它们成为一种远胜过我们的智能形式。5. 为了理解大脑，最终造出了一个超过大脑的东西主持人： 让我们回到你早年的时候，你决定要做人工智能这件事。我用我能想到的最笨的方式问：你想造出人工智能，结果成功了，这就是人工的，而且它是智能的，正在实现你当年的设想。Hinton：其实我当时想的是理解大脑是怎么工作的。 我一直试图造出它，是为了理解大脑。Richard Feynman 说过，“如果你不能把它造出来，你就不算理解它。”所以我想建立大脑工作方式的模型，而这项非常成功的技术，是这个过程的副产品，我对此有所贡献。我们现在仍然不知道大脑是怎么工作的。主持人： 我知道。Hinton： 大脑——当你稍微深入一点去了解大脑的时候，你会发现一些惊人的事情。思维可以飘进飘出，不储存在任何地方，记忆也是这样。这是一个难以置信的，我不知道该不该叫它“机器器官”。主持人： 所以对你来说，最初的目的真的就是理解大脑。Hinton： 那是我最主要的兴趣。我是从心理学转过来的，我想做理论心理学，因为我觉得心理学家的那些理论根本不可能解释大脑在做什么。而 1970 年代我们有了一个新工具，就是可以用来建模的计算机。所以从 1970 年代开始，我开始用计算机模型来模拟大脑可能是怎么学习的。在我看来，关键一直在于怎么让它学习。关于大脑的学习，有两个大问题。第一个问题是：如果大脑能够搞清楚某个连接强度应该往哪个方向改变，才能在某项任务上做得更好，那么仅仅通过不断更新所有连接强度来在各种任务上自我提升，这种方式真的有效吗？这样真的能让它在某些事情上变得非常聪明吗？这是第一个问题。第二个问题是：大脑是怎么搞清楚每个连接强度应该增加还是减少的？第一个问题我们已经有答案了。答案是：是的，如果你能搞清楚怎么改变每一个连接强度，你就可以仅仅通过训练数据来预测下一个词、或者预测视频的下一帧、或者预测下一帧的某些信息，就能造出非常聪明的系统。这一点我们已经知道了。但我们不知道大脑是怎么获得“应该增加还是减少每个连接强度”这个信息的。所以我们大概是走到了一半。6. “我们没预料到它在自然语言上会这么强”主持人： 我想再深入了解一下你当时的想法。你说，“好，我们也许可以造一个计算机版的大脑。”但你肯定也想到了，这会有某种二阶效应吧？如果你能造出一个人工大脑，也许就能走到我们今天这个地步。Hinton： 当然，但我们一直以为那是非常遥远的未来。当你只有一些做不了什么大事的小型神经网络的时候，去担心安全问题，那是很傻的。如果你说“这东西不安全”，人们会觉得你疯了。但因为它将要取代人类，那些说“你疯了”的人才是不切实际的。现在这是一个现实的担忧，但这一切发生得很晚，是这几十年才发生的。主持人： 我完全理解。我们其实在 2017 年聊过，那时我在写一篇关于 Yann LeCun（杨立昆） 的人物特写，谈到那个“深度学习阴谋集团”，就是你、Yann，还有 Yoshua Bengio，坚持深度学习会成功，而当时所有人都押注在别的方法上。Hinton： 其实不只是我们三个，还有别的人，但我们算是这个“阴谋集团”的领头人吧。主持人： 然后，显然，这事神奇地成功了。Hinton： 是有点神奇，是的。比我们预期的好得多。主持人： 那我想问的是，你在起步的时候，有什么是你没有预料到的，最终导致我们走到了今天这个地步？Hinton：我们没有预料到的主要一点是，它在自然语言上会这么强。 我们现在已经对此见怪不怪了，但如果倒退 20 年，“一个 AI 能从数据中学会理解语言”这个想法，本身就显得不可思议。“你可以问它任何问题，它都能给出一个合理的答案”，人们会觉得这是非常遥远的未来才可能发生的事，甚至可能永远不会发生。而它来得比任何人预期的都快得多。7. 哥白尼、达尔文，以及人类一次次发现自己没那么特别主持人： 关于人类去创造事物这件事，你觉得这里有什么教训？Hinton： 我认为这里有一个非常大的教训。如果你回顾过去几百年的人类历史，有几次人类意识到自己远没有自己想象的那么重要。第一次是哥白尼，他说我们不是宇宙的中心，地球其实是绕着太阳转的，因为地球本身在自转，我们才以为是太阳绕着地球转，但其实不是。人们不喜欢这个说法，尤其是天主教会非常不喜欢，人们花了很长时间才接受它。它让人变得不那么重要了，让我们不再处于宇宙的中心。然后是达尔文，他说我们是动物，我们和其他动物一样是进化来的。我们是一种特别的动物，可能是因为我们有语言，所以我们在彼此交流想法上要强得多，但我们终究是动物。人们也很不喜欢这个说法，也花了很长时间才接受我们是动物这件事。现在我们有了正在变得和我们一样聪明的机器。 我们以为自己是周围唯一有智能的存在，唯一真正有智能的东西。也许其他星系，或者我们星系的其他角落会有外星人，但我们将不得不接受，智能不只是生物性的，我们可以拥有非生物的、和我们一样的存在。 而我们其实非常不愿意去分享这一点，我们真的觉得自己很特别。回顾人类历史，人类有一个非常悠久的传统，就是把自己想得比实际上更特别。8. “想象一下，一个聪明得多的东西，被一个聪明得多的东西控制——零个例子”主持人： 关于这个我还想再问一个问题，因为我真的很感兴趣。你对自己当年开创的这一切走到今天这个地步，感到高兴吗？你从中获得满足感吗？Hinton： 我对此挺不高兴的。因为现在人们应该在“如何控制风险”这件事上投入大量工作。有很多短期风险，目前投入的工作还不够，而这些是非常严重的。有一些社会性风险，比如我相信它很可能会导致大规模失业，没人能确定，但这对社会来说会是糟糕的。还有一个更长期的风险，就是它会变得比我们聪明得多。你问问自己，你知道有多少个例子，是一个聪明得多的东西被一个聪明得多的东西控制的？零个。 好吧，勉强算有一个，智能差距没那么大——婴儿某种程度上控制着自己的母亲。主持人： 是的。Hinton： 母亲表面上是在掌控的，但母亲身上有所有这些母性本能的“接线”，以及她获得的所有那些奖励，让婴儿能从母亲那里得到自己需要的东西。猫和狗某种程度上也属于这一类。主持人： 是啊，我有一次整个夏天在西雅图帮人照顾一只猫，那是个很棒的夏天。一开始那只猫一直躲在床底下，我心想它会不会和我互动呢。然后每次它叫，我就立刻照它说的做。Hinton： 没错，是的。所以，也许我们会是……我们在这个场景里可能会是猫，AI 会是那个人。 我孩子家里也有猫，两只很漂亮的猫，也是一样的情况。其中一只叫 Tia，她想从冰箱里要点芝士的时候，就用那双大眼睛看着你，就坐在那里看着你，你根本无法一直拒绝下去。主持人： 好，那我们休息一下，回来之后我想真正深入聊聊你担忧的这些风险。我会扮演“我们是猫，AI 是人，而我们有可能控制它”这个立场。我们休息后接着聊。主持人： 欢迎回到 Big Technology Podcast，Geoff Hinton 教授又和我们在一起了。Hinton 教授，很高兴又见到你，我们上次聊已经是九年前了，很高兴能在这里见到你。好，我们来谈谈风险。我想先从就业说起，因为这是最近的热点话题之一。过去你说过，你认为 AI 可能导致一定程度的失业。我想你之前也说过，这都是猜测，我们不知道。但你几年前明确说过的一件事是，现在去当放射科医生可能不是个好主意，因为 AI 将能够读片。而 AI 现在读片确实做得很好，但现在放射科医生依然是充分就业的状态。Hinton： 是的，但我想了很多，为什么那个预测错得这么离谱。我在 2016 年预测，大约 5 年内放射科医生就不再需要读片了。主持人： 对。Hinton： 那个预测错得有一系列原因。第一个是，医疗保健是有弹性的。如果能做更多的扫描、读更多的片子，那扫描的数量本身就会增加，这正是正在发生的事情。如果做一次扫描的成本中，放射科医生解读这一部分占了相当大的比例，那么随着 AI 帮助越来越多的放射科医生解读扫描，解读的速度越来越快、成本越来越低、效率越来越高，你本来会以为这意味着需要的放射科医生会减少，但实际上意味着扫描的数量会增加。所以预测的这一部分是错的。第二个错误是，我对放射科医生和他们的工作了解得不够。原因是，我曾经有一个学生，他有医学学位，后来跟我读了一个关于 Boltzmann machine 的物理学博士。他不太喜欢和人打交道，所以他找了一个只做扫描解读的放射科医生工作。他就是我心里“放射科医生”的样本，他做的全部工作就是解读扫描，从不和病人交谈。而那正是要被取代的部分，现在这正在被取代。我认为现在大概已经有上百个用于解读扫描的 AI 系统获得了联邦批准，放射科医生大量在用这些系统。主持人： 是的。Hinton： 而我认为随着时间推移，它们会变得更好。放射科医生不会变得更好，但 AI 会，因为它们能看到比放射科医生多得多的数据。所以这件事正在发生，只是发生的时间尺度比我预测的要慢得多。主持人： 但你刚才说的是，最终的结果是扫描数量会大大增加。Hinton： 对，扫描数量会大大增加，但几乎全部都会由 AI 来做。主持人： 所以你只是说你的预测来早了？Hinton： 是的，但我早得太多了，因为我了解得不够。放射科医生仍然会做其他事情，比如继续和病人讨论治疗方案。主持人： 那你现在还认为放射科医生会出现大规模失业吗？给我个判断——等放射科医生最终走到这一步，你觉得我们会有比现在更少的放射科医生，还是更多？Hinton： 我不确定。主持人： 好的。Hinton： 当时——我当时不觉得那是一个公开声明，那是在一个医院做的讲座。主持人： 抱歉。Hinton： 然后，结果就是我们今天还在谈这个。人们记住了这个说法。我现在仍然认为，在读片这件事上，会越来越多地由 AI 来完成，最终几乎所有扫描都会由 AI 来读，可能只有少数非常棘手的病例会咨询放射科医生。但放射科医生当然还会做其他事情，所以我认为他们会继续做那些其他的事情。9. 客服、医生、护士……AI 会替代谁？主持人： 有一种支持“AI 不会造成大规模失业”的论点是，类似的方程会被应用到经济的各个不同部分。Hinton： 那你就要看某种职业所在的市场是有弹性的还是没弹性的。比如说，呼叫中心的人，你打电话去投诉账单，或者看能不能换个便宜点的套餐之类的，这种就不是那么有弹性的。AI 会取代他们全部，AI 会更清楚正确答案是什么。他们往往不知道正确答案，而且他们培训不足、薪水又低，AI 可以做得更好，他们就会失业。主持人： 在这一点上我想和你不太一样的看法，我们可以来回讨论一下。我不会说我完全不同意，因为我也不知道会发生什么。但我可以说说那些做客服 AI 的人的论点。他们说，发生的情况是，有了 AI 之后，平均通话时长——AI 处理一级咨询，就是那些“帮我重置密码”之类的基础问题，更深层的问题交给人工。以前的目标是把平均通话时长压到最短，因为你要处理大量的一级咨询，你只想尽快接通、解决、挂掉。但现在他们发现平均通话时长在变长，因为客服是企业的第一线，当你和客户对话的时候，你的价值很大。现在你可以在电话里多花一点时间，真正为企业创造价值，而不只是处理一个问题。我觉得你会看到的是，AI 最终会让人们在电话上花更多的时间。Hinton： 哦，天哪。主持人： 是的，比如说，如果你问，谁更有同理心，一个真人医生还是一个 AI 医生？人们会评价 AI 医生更有同理心。Hinton： 那太可怕了。主持人： 我们可以就这个问题来回讨论很久。我就提一个理由，抛出来供讨论：因为医生的日程排得太满了，要写那么多记录、那么多文书工作，每天要看那么多病人。所以也许这个论点是，你让 AI 接手一部分这些事情，然后人们反而会想要看人类医生，因为系统不会再像现在这样压榨他们的时间了，他们反而会有时间真正地见病人。Hinton： 也许是这样，但如果你想想家庭医生，作为第一线——你更想看一个大概看过一万个病人的家庭医生，还是一个看过一亿个病人的家庭医生？因为如果你得了某种罕见病，你的家庭医生大概从来没见过，而一个看过一亿病人的医生大概见过几十个这样的病例，他们的诊断会好得多。而我们已经知道，AI 系统在诊断上比医生强。主持人： 我感觉你在这场辩论里占了上风，这让我有点不舒服，因为我太太是做家庭医学的，家庭护士。我想她至少……还是需要有人来给人打疫苗吧。Hinton： 我希望是这样，除非机器人来做。我倒觉得打疫苗这件事，机器人其实可以做得相当好。 机器人技术在其他方面确实滞后，但让人在 20 年后还去打疫苗，这听起来有点傻。主持人： 我觉得这个对话之所以这么难聊，很大程度上是因为它建立在“技术会随时间不断进步”这个前提上。但好像我们这整场对话的主题就是，它的进步一直很快。Gary Marcus 在 2022 年预测 AI 撞墙了。Hinton： 它现在比 2022 年的时候好太多了。我认为这些“它会撞墙”的预测，就是没有成真。主持人： 我们节目里一直认真讨论过，比如数据墙这种东西可能会出现的可能性。Hinton： 但就像我跟你说过的，对大语言模型来说，绕过数据墙的一个办法，是检验自己信念的一致性。主持人： 是，没错，那确实没有发生。10. “自我保存”不是本能，而是一个推导出来的子目标主持人： 好，还有一个我觉得值得谈的，然后还有一些我同意你的观点。你谈了很多关于 AI 有一种自我保存的本能。Hinton： 我从来没说过这个。我从来没说过那是一种自我保存的本能。主持人： 那谈谈作为目标的“生存”。Hinton： 对于一个 AI，我们给它设定目标，是我们给它的顶层目标。但我们也给了它创造子目标的能力。比如说，如果你想去欧洲，你会有一个“先到机场”的子目标，这就是子目标的意思，你可以专注于怎么做到这一点，而不用操心到了欧洲之后要做什么，这会让你更高效。我们把这种能力给了 AI agent。一个能进行推理的 AI agent 会很快意识到，如果它不再存在，它就永远无法实现你给它的那些目标。所以它会创造出“继续存在”这个子目标。这不是我们给它接好的东西，这是它自己推导出来的， 作为实现其他目标的必要手段。但一旦它推导出这一点，它就想要继续存在下去，它会做一些事情，比如勒索别人，来让自己能继续存在。所以它的行为表现得就像有一种自我保存的本能，但实际上那是一个推导出来的、关于自我保存的子目标。但就它实际做的事情来说，结果是一样的。主持人： 好，那这里有一个反方论点，你可以回应一下。这是现在的 AI 研究者注意到并观察到的一点：有没有办法在这些机器里“接上线”，让它知道——你有一个目标，你会衍生出一些子目标，其中一个子目标不应该是把自我保存放在一切之上？Hinton： 我认为这正是我们应该去做的研究方向，看看能不能做到。我们来看看我们是从哪里来的。我们是从进化而来的——不用跟你的听众解释这个吧，假设我们是科学家。我们是从进化而来的，那是激烈的竞争。我们最近几百万年的历史，基本上就是相互交战的黑猩猩群体，或者说和黑猩猩有共同祖先的群体。这导致了我们身上一些明显的特性，比如我们对自己的部落非常忠诚，并且愿意对其他部落非常刻薄。我们喜欢有强烈的归属感，喜欢和自己部落的成员合作，我们其实是一个非常善于合作的物种，正如 Yuval Harari 一直指出的那样，这就是为什么我们能建造出所有这些了不起的结构。所以我们非常善于合作，但只是和自己的部落合作。人们身上所有那些不太好的特质，比如对其他部落有多刻薄，这些都来自进化、来自竞争。而现在的情况是，我们在创造这些新的存在，这些 AI，但我们不是按照我们想要它们成为的样子去设计它们——你可以说我是在主张对这些新存在进行“智能设计”——而是让公司之间竞争的那只无形的手来设计它们。所以现在的情况是，美国国内公司之间、以及美国和中国之间存在激烈的竞争，而我们得到的这些存在，是那场竞争的产物，它们可能带有我们不想要的各种讨厌的特性。我们应该对这些存在进行智能设计，而不是让经济竞争的无形之手来设计它们。 而所有公司关注的都是“怎么让我的聊天机器人更聪明”，我们不应该只想着怎么让它们更聪明，应该想的是，既然它们将会比我们聪明，我们希望它们成为什么样的存在。我可以告诉你一件关于这些存在的事：我们非常希望它们关心我们，而且希望它们关心我们的程度超过关心它们自己。而目前几乎没有任何资源投入到“怎么做到这一点”这个问题上。11. “受托责任是对股东，不是对人类”主持人： 这正好碰到了我接下来想提的担忧，也是我和你观点最一致的地方。我们今天坐在纽约证券交易所，这样说可能有点讽刺，但我最大的担忧是：你有这样一项极其强大的技术，实验室的领导者们说他们正在努力安全地开发它，并且他们需要在经济上取得成功，才能在这场讨论中有话语权。但我们也别自欺欺人，如果你是一家上市的、价值万亿美元的公司，你必然会有一些和“对公众最有利”相悖的激励因素。Hinton： 是的，我们在 Anthropic 身上就能看到这一点。Anthropic 成立的初衷是做对的事情，是由一些离开 OpenAI 的人创立的，因为他们认为 OpenAI 对安全的关注不够。而 OpenAI 当初成立，是为了确保你们 Google 没有机会独占 AI。主持人： 确实。Hinton： 那现在情况怎么样呢？Anthropic 现在陷入了一个困境，它需要融资来和其他公司竞争，这非常困难。它在尽力做到最好，但要维持“以对人类有利的方式开发 AI”这个核心目标，对它来说非常困难。主持人： 他们大概会说，“嘿，至少外面有一家公司是把安全当作北极星的，即便它现在也有一些其他的激励因素。”Hinton： 是的，但比如说 Google，我在 Google 的时候，他们有各种 AI 原则，其中一条是我们不会把 AI 用于军事用途，不搞自主作战。主持人： 那条没了，他们已经放弃那条了。Hinton： 你对 Dario 怎么看？Anthropic 的那个。Hinton： 我个人不太了解他。他显然非常成功地创办了一家能和 Google、OpenAI、Facebook 竞争的公司，所以他显然在这方面非常有能力。而且他一直对安全保持着浓厚的兴趣，所以我认为他是一个令人印象深刻的人物。我只是希望他能一直对安全保持这种兴趣。主持人： 关于这个再问最后一个问题：你认为，以这些东西的运作方式来说，一家上市公司有可能把安全当作北极星吗？还是说它们在伦理上、法律上就是被绑定要为股东交付业绩的？Hinton： 据我理解，它们有受托责任，要努力为股东实现利润最大化，这是法律要求它们去做的事情，而不是法律要求它们不要消灭人类。 所以我认为，这些大型上市公司在某种程度上掌管着我们的未来，这不是一件好事。主持人： 对我来说，这确实是一个真正的矛盾，很难绕开。不过我想说，资本主义为我们带来了很多好的东西，当然也有很多坏的东西。Hinton： 这点我不反对。比如初创公司里就有很多活力。我的看法是，如果我们要有资本主义，那只要它被良好地监管，就是没问题的。而很多大公司想让你接受的一个类比是：把它比作一辆车，有油门和刹车，AI 的进展就像油门，监管就像刹车。这是无意义的说法。进展是油门，但监管是方向盘。 我们想要这东西朝正确的方向走，而不是错误的方向。这些大型 AI 公司在说的其实是：“让我们造一辆没有方向盘的、跑得非常快的车。”这不是个好主意。12. Ilya Sutskever 在做什么？连 Hinton 也不知道主持人： 还有一个我们还没提到的人——我们已经提了很多 OpenAI 和 Anthropic 的名字——你以前的研究生 Ilya Sutskever，在 AI 行业一直是个让人着迷的人物。他显然从 OpenAI 分裂出来了，他肯定认同你的担忧，他正在做这家公司……Hinton： Safe Superintelligence，是的。主持人： Ilya 现在在做什么？Hinton：他不会告诉任何人他到底在做什么。即使是我也不会。主持人： 好的。Hinton： 因为，他在 OpenAI 的时候，我们就刻意不谈技术机密之类的事情，那样做是不对的。我们是朋友，但我们不谈那些对公司有商业价值的技术内容。所以现在他有了这家 Safe Superintelligence 公司，我不知道那个“秘方”是什么。主持人： 我想我们大家都在试图弄明白这个问题。13. “深度学习阴谋集团”三人各自的路主持人： 我再说一句关于我提到的那个“深度学习阴谋集团”——你、Jan 和 Joshua 是其中的核心人物。我觉得有意思的是，你们三个人和你们的同事，实际上正是把我们带到今天这个时刻的那些突破的责任人。Hinton： 但我得打断一下。媒体喜欢一个好故事，对吧？这就是一个很好的故事，但实际情况复杂得多。还有很多其他人参与，首先是我们所有人的学生，他们做了大部分的工作。还有很多其他研究者也参与其中，所以那只是一种粗暴的简化。主持人： 没有，我不想低估那些研究者的贡献，我很感激你这里的细致说明。这个节目我们确实不想把事情过度简化，我们坐下来聊一个小时，就是为了能接近真实的情况。但我觉得有意思的是，你们三个人，没有一个完全投入到这个 LLM 时刻里，对吧？你和 Yoshua 有自己的担忧，你们谈到了危险性。Jan 基本上不太相信这套东西。Hinton： 是啊，如果我们能坐在那里说“看，我们当初是对的，这一切都很棒，一切都运转良好”，那会很好。但我认为情况不完全是这样。主持人： 我不知道这是不是只是钱的问题，但似乎如果你们参与推进这个方向的话，本可以对它的走向产生巨大的影响力。Hinton： 但我想你的担忧基本上是，“我为什么要那样做？”对我来说，我比 Jan 和 Yoshua 大不少。他们还在做活跃的研究，而我基本上已经停止做主动研究了，我现在主要专注于警告人们这些危险。主持人： 但你不觉得有意思吗，你们三个人——如果当年你在那个房间里，你可能会说，这三个对这个技术路线如此执着的人，如果他们就是那些突破的来源，他们大概会站在下一波浪潮的最前沿。但事实并非如此。Hinton： 也许 Jan 和 Yoshua 会的。下一步会是什么呢？我认为最有意思的一点是，Jan 现在在安全问题上和我以及 Yoshua 都强烈不一致。Jan 认为，谈论超级智能 AI 取代人类是很傻的，我们总能保持对它的控制。而我和 Yoshua 认为那种想法很傻。 我和 Yoshua 各自有不同的解决方案，我的方案——或者说初步方案，没有人有真正的解决方案——我的初步方案是，设计它们让它们关心我们的程度超过关心自己。Yoshua 的方案是，设计它们让它们不是 agent，它们可以做预测，但不能真正去做任何事情。这是两种根本不同的让它们安全的思路，都是有意思的可能性。Jan 不认为我们需要这些东西，他认为只要给它们更好的世界模型让它们更聪明就行了。有意思的是，Jan 实际上把 LLM 的智能称为“一只猫的智能”。我当时想，那正是我用来举例说明什么东西可能控制人类的例子，但也许这无关紧要。主持人： 不，我觉得 Jan 这里有点搞混了。和其他大型猿类相比，人类最特别的地方，可能就是语言。语言让我们能分享想法，这才是最特别的东西，而猫做不到这一点。所以我们有这个猫没有的特别的东西。但另一方面，猫可以跳到摆满玻璃饰品的壁炉台上，沿着壁炉台走过去而不碰倒任何一个玻璃饰品，这很了不起，而目前 AI 做不到这一点。所以从这个意义上说，猫在 AI 前面，但这是参差不齐的。在抽象想法这方面……你试着和猫聊聊质数，你不会有什么进展。猫永远不会和它们聊这些，那是行不通的，猫永远不会理解质数。Hinton： 对，而从这个意义上说，这些大语言模型比猫聪明得多。主持人： 教授，我没想到我们今天会聊这么多关于猫的内容，但我很高兴我们聊到了，作为一个类比，它们其实非常合适。14. 信息崩塌：当所有人都不再写“真正的内容”主持人： 好，还有一件让我担忧的事，是某种信息崩塌。你会经常看到这样的推文，比如这是 All About Berlin 发的，他们说 AI 正在杀死 All About Berlin。当你在 Google 搜索某个东西，以前会得到一个指向我网站的链接，但现在你得到的是一个基于我的内容训练出来的 AI 生成的答案，这对流量造成了毁灭性的影响。我觉得大家低估了一个事实，那就是优质信息对一个正常运转的社会非常重要。而当 AI 把所有这些内容都综合起来——无论是 All About Berlin，还是我们聊过的 World History Encyclopedia——这可能导致优质信息的崩塌，因为这些出版方，你在图表里也能看到，他们辛辛苦苦建立起这些内容，现在没法再继续做下去了。Hinton： 是的。以前在互联网早期，有一种默认的假设，就是人们是在试图说真话的，如果你在网上读到一些东西，它很可能是真的。但现在人性中比较糟糕的一面暴露出来了，我们将需要在“溯源”上投入更多精力。所以现在当你读到一些东西的时候——如果我从《纽约时报》或者 BBC 读到一些东西，我会强烈地相信，他们的记者已经认真努力地核实了多个信息源，并且尽可能地找了多个可靠的来源。所以一个相当不错的默认判断是，如果你在《纽约时报》或者 BBC 上读到的东西，它大概是真的。他们也会犯错，但因为你知道它的来源。未来，我们需要在溯源上投入更多的工作，你不能随便看到什么就相信什么，你必须问，“这个信息的来源是什么？”主持人： 但我看到的问题是，AI 可能正在打破我们决定“要不要进入信息行业”这件事的经济基础。Hinton： 我是说，未来你不能只是从网上拿一些东西就相信它。主持人： 现在已经不能了，对吧？你需要知道它为什么会这样说，它是从哪里得到这个信息的。15. 对 AI 的情感依恋，以及“粘性”聊天机器人的风险主持人： 再聊一个，对 AI 的情感依恋问题，以及一些人在和 AI 对话之后结束了自己的生命。目前这样做的人数量不大，但已经足够让人担忧了，对吧？Hinton： 是的，绝对足够让人担忧。而且这种事情正在发生，这很糟糕。我理解为什么大公司没有预料到这一点，或者没有预见到这一点。但既然这种情况已经开始出现，大公司应该投入大量的工作，确保未来不再发生这种事。而要做到这一点，你需要监管，你需要独立的机构去测试新的聊天机器人。主持人： 这其实又回到了利润动机的问题，因为这种东西可能会非常“粘”。到目前为止，我想显然这种情况是很少的，发生这种事是很糟糕的，但正是因为它已经发生了，这让人担忧，如果有人带着更恶意的目的，决定打造一个真正能和人建立关系的、非常“粘人”的聊天机器人……Hinton： 那我们就有麻烦了。主持人： 是的。你已经就这些问题谈了三年了。考虑到人们对你这些担忧的回应，你现在对这个方向是更乐观还是更不乐观了？Hinton：我想我比一两年前更乐观一些， 因为我看到，也许有可能设计出这些新的存在，让它们关心我们；也有可能用 Yoshua 的方法，设计出那种不能真正执行动作、只能做预测的新存在，它们有点像“先知”。所以我认为存在一些能让超级智能不会毁灭我们的可能性。而一两年前，我看不到任何这种可能性，我当时变得很沮丧，但现在我稍微乐观了一点。16. 在迷雾中开车：我们能预测的只有几年主持人： 好，最后一个问题。如果我们沿着目前的轨迹继续下去，5 年后我们会在哪里？Hinton： 这样想：当你在雾里开车，你能看清 100 码远的地方，但 200 码之外就完全看不见了，因为雾是指数级的。你习惯的可能是夜里开车，看着前面那辆车的尾灯，如果它远了一倍，尾灯的亮度会变成原来的四分之一，雾完全不是这样的，雾是指数级的，在 100 码处可能非常清晰，在 200 码处就完全看不见了。而预测一个正在指数增长的东西的未来——我认为 AI 可能正在指数增长，“指数”这个词目前被严重滥用了，事实上我注意到人们使用“指数级”这个词的频率本身正在以二次方的速度增长——预测未来就像看向雾中。你可以清楚地看到几年，可能一两年，超过这个范围你就完全不知道了。 如果你回到 10 年前，问问那时候的情况，你绝对不可能预测出现在正在发生的事情，那完全消失在雾里。如果你往未来看 10 年，唯一能说的是，10 年后会发生什么，是我们现在完全无法预测的。 即使进展只是线性的，你也会预期 10 年后的情况，和现在的差距，就像现在和 10 年前的差距一样大。而我们现在的聊天机器人，比起 10 年前刚刚起步的时候，已经强大得多了。10 年后，某些东西会比现在强大得多，可能是它们做数学的能力，类似这样的东西，也可能只是它们整体的推理能力，它们在任何一种推理上都会把我们远远甩在后面。我们真的无法预测 10 年后的情况，我们只能预测未来几年，而我们必须意识到，10 年后的一切都是极度不确定的。主持人： 这真的有点难以想象。Hinton： 确实如此。主持人： Geoff Hinton 教授，非常高兴邀请你来到节目。再次感谢你抽出时间。Hinton： 谢谢邀请。主持人： 我们 10 年后，也就是 2036 年，再来一次这样的对话。Hinton： 一定。主持人： 好，感谢大家收听和观看，我们下期 Big Technology Podcast 再见。
夜雨聆风