夜雨聆风嘉宾简介
理查德·萨顿（Rich Sutton）：人工智能领域的先驱，强化学习理论的奠基人，2024年图灵奖得主，现为Oak Lab联合创始人。他长期致力于研究机器如何通过经验进行持续学习。
库拉姆·贾韦德（Khurram Javed）：Oak Lab联合创始人，在深度学习和人工智能研究领域背景深厚。他曾与萨顿同在John Carmack创办的Keen Technologies工作，随后两人共同离职创业。
索尼娅·黄（Sonya Huang）：红杉资本（Sequoia Capital）合伙人，专注于生成式AI及前沿技术领域的投资，在行业中以深度研究和早期精准判断著称，是该领域极具影响力的战略投资者。
阿尔弗雷德·林（Alfred Lin）：红杉资本（Sequoia Capital）合伙人，拥有丰富的创业与运营经验，曾助力多家知名企业成长。他长期参与消费互联网、软件与AI相关投资，目前在红杉负责消费及前沿科技方向的投资与管理，在硅谷业界具有较高影响力。
主要观点
持续学习的必然性：持续学习并非AI的一个特殊阶段，而是智能的核心本质。 人类和动物从未停止学习，行业内将其作为一个独立领域来命名反而是一种反常的思维。真正的智能系统应当具备从经验流中持续学习，并不断更新自身权重与知识的能力。 《苦涩的教训》的核心逻辑：试图通过植入人类知识来优化模型只是短期行为，从长远来看，唯一重要的是能够随算力扩展的通用算法（如搜索和学习）。 真正的进步应依赖于算法的通用性，而非仅仅堆砌人类历史数据。 大世界假说（Big World Hypothesis）：单纯依赖合成数据是一个巨大的错误，因为真实世界的复杂性远超任何模拟环境。 世界包含无穷多待学习的任务，合成数据受限于人类对知识的定义，且无法模拟真实物理环境中的微观磨损或复杂的社交交互。 监督学习的局限性：监督学习并非智能的终极形式，真正的智能源于与环境的持续交互。 动物和人类的基础运动能力、抽象思维大多是通过与环境交互的经验习得，而非通过他人教导“肌肉如何收缩”。 局部最优困局：大型AI实验室目前已陷入局部最优解，过度追求现有范式下的规模扩展，却忽视了更具通用学习能力的算法范式。 采用新范式往往意味着短期性能的暂时下降，这是他们所无法承受的。
模型权重的持续更新： 当前大语言模型的局限在于“权重冻结”。 算法鸿沟与灾难性遗忘： 实现持续深度学习的核心难点在于“灾难性遗忘”。解决方法包括元学习（为每个权重分配独立步长）以及引入“生成与测试”机制，即在反向传播之外通过随机性产生新的特征单元。 追求心智的“自我维护”： AI未来的终极雄心不是打造一个只会回答问题的助手，而是构建一个能够自我一致、持续自我训练、并在广阔世界中保持连贯性的“心智”。
访谈全文
理查德·萨顿： 有时人们觉得我的观点很激进，提问时总说我的想法与大家格格不入。但我完全不这么认为。我觉得自己的思考方式很寻常，反而是其他人的想法有些反常。我是认真的，只是最近这段时间大家的想法有些偏离常态。在这场AI狂热出现之前，你根本不需要特意强调“持续学习”(Continual Learning)，因为谈论非持续的学习毫无意义。所有的学习都是持续的。我们不断行动，不断学习。这才是正常的思维方式。我不奇怪。
奇怪的是这个领域，他们非得造个词叫“持续学习”。它明明就是“学习”本身。
主持人Sonya： 今天我们非常荣幸能邀请到伟大的 Rich Sutton。Rich，您发明了强化学习(Reinforcement Learning)，撰写了该领域的奠基性教科书，培养了像 Dave Silver 这样该领域的核心学者。您撰写的《苦涩的教训》(The Bitter Lesson) 一文，堪称本领域的“圣经”，您也一直是推动该领域向前发展的巨擘之一。感谢您今天拨冗出席。
与 Rich 同行的还有他的联合创始人、他在阿尔伯塔大学的前学生 Khurram Javed。你们二位携手创立了 Oak Lab。我今天非常期待能与你们探讨相关话题。
在今天的访谈中，我们首先会探讨《苦涩的教训》、当今世界的现状，以及大语言模型(LLMs)是否能带我们抵达理想的彼岸。随后，我们将话题转向您的研究议程以及对 Oak 的规划。
Rich，带我们回顾一下过往吧。我本打算从《苦涩的教训》切入，但实际上我想把时间线推得更早一些。几十年前，您决定将职业生涯奉献给强化学习，特别是深度强化学习(Deep Reinforcement Learning)，并在该领域尚处襁褓之时，将阿尔伯塔大学打造成了该领域的重镇。是什么给了您如此坚定的信念？
AI寒冬、确诊癌症与前往阿尔伯塔
理查德·萨顿： 还能做什么呢？我们试图破解心智(Mind)的奥秘，而学习是心智的核心，拥有目标也是心智的核心，更是智能的核心。所以，我只是在加倍笃行自己一贯的理念。
主持人Sonya： 当时人们觉得您疯了吗？
理查德·萨顿： 那时正值寒冬，是AI的寒冬。
主持人Sonya： 那是哪一年？
理查德·萨顿： 2003年。说实话，真实情况挺不可思议的。因为我当时病得很重，命悬一线。2003年我确实因癌症濒临死亡，但我还没死。我与病魔抗争了好几年，没死成，病情又一次进入了缓解期。
所以我想，既然没死成，那就这样吧，反正也拖了这么久了，不如再找份工作。于是我就去了阿尔伯塔，开始在那里教书。
结果到最后，我没死。这挺不可思议的。事实就是如此。我现在虽然拿这事开玩笑，但当时情况相当严峻。
这就引出了一个更加直击灵魂的问题：为什么在我只剩几个月寿命的时候，还要继续从事这些研究工作？我总会想起本杰明·富兰克林据说说过的一句话：如果你好奇某人为什么做某事，原因几乎总是逃不出两个——要么是习惯，要么是虚荣。我觉得这话说得很对。也许只是习惯让我继续做一直做的事，也许是虚荣心作祟。我不知道。但我认为更多是出于习惯，因为我当时快死了。
对我来说，下定决心一直很容易。关于这个问题，我还想再多说几句。
主持人Sonya： 请讲。
理查德·萨顿： 有时人们觉得我的观点很激进，提问时总说我的想法与大家格格不入。但我完全不这么认为。我觉得自己的思考方式很寻常，反而是其他人的想法有些反常。我是认真的，只是最近这段时间大家的想法有些偏离常态。
回顾过去，哪怕只是十年前人们对心智的看法，你也会发现当时的共识是：学习很重要，必须有目标，感知也很重要。我们是底层的存在，以极快的速度产生行动并感知数据，但我们必须在更高的层次上进行思考。
再把时间往前推，在这场AI狂热出现之前，你根本不需要特意强调“持续学习”，因为谈论非持续的学习毫无意义。所有的学习都是持续的，它不是一个特殊的阶段。我们不断行动，不断学习。这才是正常的思维方式。我不奇怪。
奇怪的是这个领域，他们非得造个词叫“持续学习”。它明明就是“学习”本身。
主持人Sonya： “我不奇怪，奇怪的是其他人。”这真是一句绝佳的人生座右铭。
主持人Alfred： 我们得发篇后续推文来探讨这句话。我们非常庆幸您能挺过来，整个领域也因您的健在而受益。感谢您不断推动AI的前沿发展，大家真的非常感激您所做的一切。而且，您还培养了许多同样在推动前沿发展的学生。在过去二三十年里，您是如何挑选他们的？
理查德·萨顿： 噢，您这是在给我机会表现谦虚。我喜欢保持谦逊，并指出所有这些伟大的决定其实都只是机缘巧合。对待学生我也是这种感觉，我不觉得自己在挑选学生方面很有眼光。有时只是运气好，有时运气差，我不认为自己特别擅长挑选学生。我现在看着 Khurram，我觉得有时候你确实能遇到非常优秀的学生。当年是 Dave Silver 挑中了我。是啊，Khurram，我是怎么招到你的？
库拉姆·贾韦德： 是的，情况确实如此。我读完硕士时，导师并不是您，当时我计划去工业界工作。
后来我们合作了一个项目，这也是自然而然开始的。我当时做了一些研究，Rich 在开会时有人提到了我的工作，于是我就被拉进了项目组。
我们开始合作，进展非常顺利。我对那次合作感到非常满意，Rich 也觉得很好。六个月后，我们取得了一些进展，顺理成章地将其转化为博士论文提案。
撰写《苦涩的教训》——以及26词版本
所以，我自始至终都没有正式申请过，也从未问过“您能做我的博士导师吗？”我们只是在一起合作，然后觉得这会是一篇很出色的博士论文，在那之后，我才申请了博士。
主持人Sonya： 世事总是出人意料。带我们回到2019年。你写下了《苦涩的教训》(The Bitter Lesson)，这已成为现代AI领域的经典之作。2019年写这篇文章的时机其实很有趣，因为ImageNet诞生于2009年，AlphaGo问世于2015年。是什么促使你在2019年进行反思并写下这篇文章？因为那是在当前围绕大语言模型(Large Language Models)的规模扩展范式(Scaling Paradigm)兴起之前，但也正是在深度学习真正证明其实力之后。
理查德·萨顿： 这是长期积累的结果。正如《苦涩的教训》所表达的，这是一个你可以观察很久、长达数十年的现象。这很大程度上也要归因于我亲身经历的那一轮符号主义AI(Symbolic AI)的发展。
其核心在于，不要被试图植入人类知识的做法分散注意力，而是要关注问题本身的需求，以及如何利用计算力进行规模扩展。
我至少在一年前就写过几个版本，也做过相关演讲。我在一年前做过一次演讲，那并不是对当时特定事件的回应，而是对我长期经验的总结——我看到不同的人试图以不同的方式思考如何构建智能系统。
主持人Sonya： 《苦涩的教训》的核心本质是什么？如今我在会议中听到最常用的说法可能就是“信奉《苦涩的教训》”(bitter lesson pilled)？或者“不信奉《苦涩的教训》”？我想，鉴于这个词组的流行程度，它可能已经被以你最初未曾设想的各种方式曲解和滥用了。那么你认为它的核心本质究竟是什么？人们在试图理解它时，通常会在哪些地方陷入误区？
理查德·萨顿： 你让我现在想到了在X（原Twitter）上发的内容。我最近发了一篇帖子，试图用26个英文单词来概括《苦涩的教训》。大意是：不要像传统AI那样屡屡被人类知识分散注意力；相反，要专注于能随计算力扩展的学习方法，比如搜索和学习。所以，这完全是关于聚焦算法和改进。这并不是说不需要精妙的算法。你需要精妙的算法，但你需要的是能够随计算力扩展的精妙算法。
主持人Alfred： 而不是随数据规模扩展。
大语言模型是正面例子还是反面例子？
理查德·萨顿： 对，然后接下来的问题是——如果我能预见的话——大语言模型呢？
主持人Alfred： 它们与你的理念一致还是不一致？
理查德·萨顿： 我思考过这个问题，我想我在X上还发过另一篇相关的帖子，结论是：它既是《苦涩的教训》的正面例子，也是反面例子。
首先，大语言模型实现了计算力的巨大扩展，你可以直接汲取整个互联网的数据并进行大规模扩展。因此，这是一种仅通过可扩展的方法来获得更强大系统的途径。
然而，随着进一步发展，它最终会受到信息量的限制。互联网是有限的，很难获取更多样本。而世界是广阔的，真实世界比我们存储在互联网上的所有内容都要庞大得多。
因此，归根结底，这恰好成了一个绝佳的例子，说明当我们过度依赖人类知识（即互联网数据）时，它最终会阻碍我们的发展。
合成数据是“一个巨大的错误”——与大世界假说
主持人Sonya： 我能就这一点稍微深入探讨一下吗？看起来目前基础模型实验室(Foundation Model Labs)正在努力研究的很多内容都是合成数据生成(Synthetic Data Generation)，目的是为了让我们超越现有互联网数据这一“化石燃料”。那么，作为大语言模型规模扩展范式的一部分，合成数据生成是否是一种利用计算力的通用方法？
理查德·萨顿： 不，那是一个巨大的错误。为什么？这也许就是下一个“重大教训”。这个想法在阿尔伯塔大学(University of Alberta)已经流传了五到十年。我们称之为“大世界视角”(Big World Perspective)或“大世界假说”(Big World Hypothesis)。库拉姆(Kuram)最终将其写成了一篇论文，有一篇短论文就叫《大世界假说》。
库拉姆·贾韦德：所谓“大世界”，就是指世界是无限广阔的，有无限多的事物需要学习。你可以让人类生成这些合成数据集，但总会有更多需要学习的东西。正因如此，如果你能直接从经验中学习，如果你能将人类从闭环中移除，那么你就拥有了能够做任何事情的系统，因为世界足够大。我们希望系统完成许多任务，而它们能够通过从自身经验中学习来完成任何事。
回到合成数据的问题，谁来决定什么是好的合成数据，什么是坏的合成数据？因为我完全可以写一个程序来输出大量合成数据，但这些数据可能会损害模型性能。
所以，目前我认为是人类在做决定，这就是瓶颈所在。你可以让人类决定如何生成这些数据集，但为了让这种方法能够扩展，你需要人类专家来辨别什么是好的数据集，什么是坏的数据集。因此，它受到了人类专家知识的限制。
主持人Sonya： 难道不是我的损失曲线(Loss Curve)来决定吗？比如，使用这个数据集比使用那个数据集让模型提升了多少？
库拉姆·贾韦德： 没错。但如果OpenAI、Anthropic或所有大型AI实验室的工程师都去度假了，谁来生成合成数据呢？这就是问题所在。合成数据不是来自智能体(Agent)的经验，也不是智能体自己生成的。必须由人类来决定生成什么样的合成数据才是正确的。
而这需要人类的专业知识。例如，如果你想让一个系统完成一项从物理学角度来看极具挑战性的任务，比如你想要一架像蝙蝠一样通过回声定位(Echolocation)飞行的无人机，那么什么样的合成数据才是合适的呢？
我认为你需要聘请领域专家来弄清楚什么是正确的数据并生成它，然后系统也许才能从中学习。但前提是领域专家必须首先存在。所以在这一点上，我们受到了人类专业知识的限制。
主持人Sonya： 但你可以构建无限的合成世界，而现有的物理世界是有限的。
库拉姆·贾韦德： 但让我们回到回声定位的问题，对吧？这就是我想要的。我想要一架能够通过回声定位进行自我定位和移动的无人机。如果这是我的目标，那它就是一个机器人，它在真实环境中生成自己的经验，所以它完全可以从自身经验中学习。但如果是靠合成数据，它根本做不到。无论你生成多少合成数据都无济于事。即使你生成的合成数据涵盖了50个不同的宇宙，也无法让它在没有人类先弄清楚物理规律的情况下完成这项任务。
理查德·萨顿： 但首先我要说，合成数据本身是有缺陷的。我的意思是它不够准确。它只是一个合成世界，而不是真实世界，而这至关重要。世界是极其复杂的。如果你写一个小程序来生成合成数据，因为生成合成数据的只能是一个小程序，那它构建的将是一个非常狭隘的“小世界”。
举个例子，对我来说重要的是你此刻脑海中的想法。你可能会说，为什么我不获取一些合成数据来告诉我其他人在想什么？不，我们根本无法获得关于他人思想的合成数据，而他人的思想对我们来说至关重要。
比如今天我和你们谈论投资，所以我很在意你们脑子里的想法。我怎么可能获得关于这种事情的合成数据？说真的，你甚至无法获得关于任何真实事物的合成数据。你无法获得关于无人机将如何在物理世界中与环境交互的合成数据，也无法获得关于机器人电机摩擦和磨损的合成数据。
世界无限复杂，任何模拟与之相比都如微观尘埃般微不足道。“大世界假说”的核心就在于：世界比你的思想、比任何智能体都要复杂得多。这是显而易见的，因为世界中还包含着无数其他的智能体。
因此，正因为世界极其复杂，你不可能做到任何声称是最优或完美的事情。你注定是不完美的，你必须做出妥协与近似(Approximations)，而这些近似往往会带来严重的偏差。
正因如此，这最终成了我们必须不断学习的根本原因。如果你需要一个理由，那就是：我们必须不断学习，因为我们会不断遭遇这个浩瀚世界的特定角落，我们必须学会一种专门针对我们所处环境而调整的近似策略，而非试图去涵盖我们未曾涉足的所有其他角落。
主持人Sonya： 我想再就这个问题追问一次。抱歉，我这么说可能有点为了争论而争论，但我确实想弄明白。我的理解是，在最新一批自动驾驶公司中，许多主要是在仿真环境(simulation)中进行训练，然后必须进行某种后训练(post-training)，以确保它们能在现实世界中运行，而且这已被证明是一条非常有效的流程(pipeline)。
库拉姆·贾韦德： 我认为这里需要问的一个重要问题是，有多少工程师参与了构建那个仿真环境？我们是否准备好断言，唯一值得解决的问题，就是那些我们能雇佣庞大工程师团队先去构建仿真环境的问题？我敢肯定，他们必须进行多次迭代：构建仿真环境，在其中进行学习，发现存在无法接受的仿真到现实的差距(sim-to-real gap)，然后再去修复它。所以这是一个“人在回路”(human in the loop)修复仿真的过程。他们从现实世界的人类那里获得反馈，然后修复仿真环境。为什么我们不能直接去掉人类，让智能体(agent)自己来完成呢？
理查德·萨顿： 当它真正上路行驶时，又会发生一些意想不到的事情。
主持人Sonya： 这正是需要从经验中学习的时候。所以你的观点是，从经验中获取的数据量，将远远超过人类整理和创建的数据量。
库拉姆·贾韦德： 我认为从仿真中学习显然有其价值，也有具体的方法。智能体可以从自身的经验中学习模型。当智能体自己学习时，效果要好得多，因为如果模型不正确，它可以通过持续学习(continuous learning)来修正。如果是人类制作仿真器，那么模型只有在人类发现问题时才会更新。所以，规划(planning)确实很重要。智能体应该从仿真器中学习，但必须是它们自己构建的仿真器。
AlphaGo与人类先验：为何先验知识与后天学习应成为挚友
主持人Sonya： 好的，我想转到“苦涩的教训”(The Bitter Lesson)的另一个部分：摒弃人类知识。你在文章中写道：“为了寻求短期内能产生显著效果的改进，研究人员试图利用他们对该领域的人类知识。但从长远来看，唯一重要的只有对算力的利用。”你的前学生Dave在AlphaGo和AlphaZero上的工作，对我来说，就是摒弃人类先验知识(human priors)取得胜利的典范。那个结果让你感到惊讶吗？为什么惊讶或不惊讶？
理查德·萨顿： 当然，这让我非常高兴，也让我觉得自己的理念得到了印证。结果本来可能走向任何一个方向。这并不是说先验知识没有帮助，先验知识本身没有任何问题。
我在《苦涩的教训》开篇就说过，先验知识和通过学习获得的知识之间，没有理由必须存在冲突。你可以引入一些先验知识，然后开始学习。原则上，没有理由将这两者对立起来。事实上，它们都与知识有关。生命即是获取与拥有知识，先验与学习本应成为挚友。
但正如我在《苦涩的教训》开篇所说，在实践中，它们却成了敌人。在实践中，那些偏爱现有人类知识的人，最终都希望人类知识获胜。因此，他们试图最小化或摒弃学习。所以现在你们对我的印象，肯定是一个热爱学习、想要摒弃先验知识的人。
但我真正感兴趣的是心智(mind)。心智的本质是不断累积先验，而大语言模型在交互中权重却永不改变。我最终看起来像是一个只关注学习的人，主要是因为世界上其他人都在说，你只需要足够的知识，不需要学习。比如大语言模型(LLM)，哦，我们要把所有这些知识都塞进系统里。而大语言模型在运行时是不会学习的。它在和人对话，它在交互，但它的权重(weights)绝对不会改变。
我并非异类。那些妄图从不再学习的系统中榨取博士级专业知识的人，才是真正脱离实际的人。
主持人Alfred： 所以你的建议是，在输入数据之前，让算法运行很长很长的时间，然后再输入先验数据。或者在运行过程中逐步滴灌先验数据。
理查德·萨顿： 是知识。
主持人Alfred： 好的。
理查德·萨顿： 所以，两者都很重要，但从长远来看，我们必须获取并构建获取新知识的过程。这才是长远来看真正重要的事。在这个过程中，你会用到一些之前获取的知识。比如，展望未来，当我们拥有智能机器人时，情况会怎样？我们会让它们全部从零开始学习，还是复制它们并让它们从当前状态继续学习？
它们将是数字化的，复制起来很容易。因此，与其搞那种庞大的工程，花费无数金钱从互联网上重新训练它们，我们不如直接复制智能体，让它从那里继续学习。所以在某种意义上，先验知识可以被摒弃，因为你只需从之前的机器人那里复制过来即可。
主持人Alfred： 那么，你能否向我们描述一下，你认为一台能从经验中学习的机器或计算机是什么样子的？
理查德·萨顿： 它可以看起来像个机器人，但也完全可以存在于互联网上。例如，你可以进行互联网数据包路由，并以一种对经验敏感的方式来实现，使其随着时间的推移变得更好。或者它可以是与人交互的用户界面，就像在你的手机或电脑上，随着时间的推移变得越来越好。比如一个智能助手，它必须随着时间的推移不断进步，必须了解你的需求。
“它们的权重永不改变”——大语言模型助手真的在学习吗？
主持人Sonya： 你的观点是否是，当前流行的基于大语言模型的助手范式，它们并不是经验学习者(experiential learners)或持续学习者(continual learners)？如果是这样，根本的差距在哪里？
理查德·萨顿： 你认真的吗？这是显而易见的。
主持人Sonya： 它们有记忆，它们会学习关于我的记忆。它们在进行某种上下文学习(in-context learning)。
理查德·萨顿： 但它们的权重永远不会改变。
主持人Sonya： 顺便问一下，只改变一小部分权重就足够了吗，还是需要所有权重都发生改变？
理查德·萨顿： 想想构建大语言模型时，涉及的所有新概念的结构化和生成过程。所有这些都属于权重学习(weight learning)。而你希望能够持续进行这个过程，不希望它只发生一次。
主持人Alfred： 换种说法就是，我们在发布模型前进行了过多的预训练(pre-training)和后训练(post-training)。发布之后，它们就不再学习了。
库拉姆·贾韦德： 唯一存在重大分歧的点在于，我们不允许它们在发布后继续学习。我们不允许它们在那之后继续学习。预训练想做多少就做多少，这没问题。后训练也没问题。但是，当我使用模型时，它就停止学习了。你可以给它提供更多上下文，通过增加上下文来改变模型的状态。模型其实已经学会了：如果状态不同，如果状态中出现了新信息，它就会利用这些信息来进行下一次预测。但模型本身并没有在学习(not learning)。
主持人Sonya： 比如Cursor的Tab自动补全模型，它确实会基于某些数据进行更新。
库拉姆·贾韦德： 这些模型在不断迭代，这些方式也在改变。比如Cursor的Tab自动补全，还有我认为Composer也在更新，这是持续学习(continual learning)的两个例子。但这还可以做得更好。
据我所知，他们的做法是：既然有很多人在使用Tab功能，他们就收集来自数百万或数千名用户的所有数据，然后利用这批批量数据对策略(policy)进行一次更新。
这或许行得通，但假设我想教模型一些特定的东西，我不想和其他10万人去争夺模型该学什么。我想教我的模型一些非常具体的知识，而且我想针对我自己的模型版本来做，我不在乎模型从其他人那里获得的共享知识。因此，目前的做法非常低效。
主持人Sonya： 目前的做法似乎是：有一些基础技能被学习到了所有人共享的权重(weights)中，而个性化则是通过上下文(context)的形式来实现的。
主持人Alfred： 没错。
主持人Sonya： 这难道不是理解学习机制的正确心智模型(mental model)吗？或者说，所有的上下文都应该存在于权重本身之中吗？
库拉姆·贾韦德： 上下文也可以存在于状态(state)中，两者皆可，但你仍然需要能够更新权重。举个例子，一些关于人类残障的极佳用例研究能说明这一点。
当人类经历某些改变心智或感官的事情时，你可以看到他们的适应能力。例如，我们有本体感觉(proprioception)，有内部传感器来感知身体的位置，并利用它来行走。在某些情况下，人们会完全丧失这种能力，从而根本无法行走，因为这实际上是他们行走策略的基础，已经根深蒂固于大脑中。
但在两三年后，他们可以通过看着自己的脚，利用视觉反馈重新学会走路。这说明大脑具有极强的可塑性(plasticity)：当某些沿袭了20年的旧规不再适用时，它能自我更新并摒弃旧习。我认为我们的系统极其需要这种能力。
婴儿、松鼠，以及为什么没有动物通过监督学习来学习
主持人Sonya： 人类婴儿或动物的学习方式有什么值得我们借鉴的？你们从中获得了多少启发？
理查德·萨顿： 我们确实从中获得了大量启发。但我们并不把“AI必须表现得像自然系统（如婴儿、人类或动物）”作为硬性要求，它只是一个灵感来源。是来自动物的启发，而非约束。
主持人Sonya： 这要与“苦涩的教训(Bitter Lesson)”保持一致。你认为我们最应该从生物的学习方式中，汲取哪些在人类现有系统中尚不存在的启发？
理查德·萨顿： 感觉我现在只是在发表个人观点，但这些都是显而易见的观点。我认为很明显，没有哪种动物是通过监督学习(supervised learning)来学习的，因为我们从未得到过“肌肉该如何抽动”的标准示例，尽管那才是我们的最终输出。
主持人Sonya： 但学校里的教育全都是监督学习。
理查德·萨顿： 我知道，绝对不是这样。但即便它是，学校教育也只占我们所学内容的极小一部分。比如我们学会看、学会走路、学会了解世界是如何运作的。而且，即使在学校里，也没有人告诉我们肌肉应该如何抽动。
主持人Sonya： 但我获得的知识和技能都来自指导者(supervisors)。
理查德·萨顿： 我并不是说向他人学习、从他人那里获取知识传承不重要，这极其重要，语言也极其重要。但我们忽略了什么？这里没有监督学习，没有直接给我们的目标。比如你听到一个问题：法国的首都是哪里？我们知道答案是巴黎。好的，但没有人告诉我应该如何发音“巴黎”。
你说答案是巴黎，我听着你，听到你的话，然后我会做出其他的肌肉运动来发出“巴黎”这个音。这根本不是严格意义上的监督学习。总之，我认为这是千真万确的。
我的意思是，首先，学校教育并非本质。比如，松鼠不上学也能学会生存技能。动物不会那样学习。而且学校是一个非常特殊的事物，甚至在几百年前我们人类都还没有学校。
但它并不是智能本质的一部分。将学校教育视为学习的主要范式是一种误导，因为这并非我们作为动物在进化中所经历的本质。
主持人Alfred： 我真希望你当时在场去告诉我父母这些，是他们逼着我好好上学，去应对所有结构化教育的。
主持人Sonya： 问题是，松鼠非常擅长从树上跳下来，但松鼠证明不了数学定理。如果我想学习如何证明数学定理，我就得去上学。
理查德·萨顿： 没错。它们也没有DVD和iPod。有很多东西是我们能做而它们做不到的，但证明数学定理不行，它们也不会下国际象棋。
这有点类似于莫拉维克悖论(Moravec's paradox)。那些我们认为需要高度智能的复杂事物，对计算机来说反而相对容易；而所有那些常规事物，比如移动、集中注意力观察等，对人类来说很容易，对计算机来说反而很难。
我认为监督学习是件好事。顺便提一下，我喜欢寻找显而易见的事物。没有人能通过给我们示例来告诉我们如何抽动肌肉，因为他们根本做不到，我们必须自己去抽动肌肉，自己去摸索出来。
库拉姆·贾韦德： 如果照搬别人的答案，那就会是错的，对吧？如果我的嘴巴、舌头和声带以和Rich完全相同的方式去发音“巴黎”，我敢肯定发出的声音会完全不同。所以在某种意义上，Rich或者任何人都不知道如何用我的身体发出正确的声音，只有我自己知道。
主持人Sonya： 在我看来，许多最基础、最原始的感觉运动能力(sensory motor capabilities)，尤其是与物理世界运动相关的能力，我同意你的观点，它们似乎本质上是从经验中习得的。不过，我认为还有更高层次的抽象，能让我们更接近人类之所以伟大的特质，而这些特质很大程度上并不存在于这种低层次的感觉运动学习中。那么，你的世界模型(world model)是否涵盖了从感觉运动学习到最高层次抽象的全部内容？
理查德·萨顿： 这绝对是我们的雄心所在。顺便说一句，松鼠也能做一些极具抽象性的事情。
主持人Sonya： 松鼠能做的最酷的事情是什么？
理查德·萨顿： 无论你在喂鸟器上设置什么障碍，它总能想办法钻进去。它能找到新的跳跃和攀爬方式，还能做许多其他事情。
主持人Alfred： 它们能很好地计算轨迹。动物非常擅长理解物理世界，而不需要像我们在思考如何将人类发射到太空时那样进行复杂的心智计算(mental calculations)。
库拉姆·贾韦德： 在缓冲跌倒时，它们能实时做出正确的反应来防止受伤。
理查德·萨顿： 我认为这只是程度上的差异，我倾向于认为其他动物与人类非常接近。试图强调我们与动物的不同之处，是一种傲慢。关注共同点会更好。我认为这仅仅是程度问题。当然，社会和文化赋予了我们巨大的优势，语言也赋予了我们巨大的优势。我能追问一下吗？
火箭、想象力与范式转移的源泉
主持人Alfred： 关于这一点，我想先回溯一下，索尼娅(Sonia)。我相信动物和儿童都是从经验中学习，并通过经验学习完成了不可思议的壮举。当我的儿子两三岁或四岁时，我不禁感叹，这真的太有趣了，他可以在没人教的情况下学会这些技能。
但与此同时，索尼娅所强调的是让人类之所以为人类的独特之处，比如能够探索外太空、建造火箭。这些并非百分之百从经验中习得，因为在发射火箭之前，你必须进行抽象思考，而这种思考方式是无法从所谓的“经验”中直接学到的。
因为你不知道它是否会成功，你必须去想象。如何教会机器去想象以前不存在的事物？这或许正是我们努力攻克的方向，因为我们对此还知之甚少。
理查德·萨顿： 在这一点上我们完全赞同。你必须具备规划(planning)的能力，必须具备想象的能力。
库拉姆·贾韦德： 你认为一千年前的人类，在他们完成我们所谈论的大部分壮举之前，和现在一样聪明吗？比如说，如果那个时代的人接触到现代文化，他们能够掌握相同的技能并开始创造有价值的成果吗？
主持人Alfred： 即使在过去的一万年里，我认为人脑也没有发生太大的进化。本质上还是同一台机器。但我们积累了一万年的知识。我可以通过上学，通过监督学习(supervised learning)来掌握这一万年的知识。而且，我获取这些知识的速度比单纯依靠经验学习要快得多。
库拉姆·贾韦德： 我认为你说得完全正确。我们希望系统能够从经验中学习，而它们的部分经验就是接触我们的文化，并从中学习。这都非常合理。
但让我们来谈谈当有人实现范式转移(paradigm shift)时的情形。大家都喜欢举爱因斯坦的例子，但其实还有很多其他例子。学习也是如此，就像对比“从经验学习”与“直接编程”一样。
因此，当这些范式转移发生时，我认为这是一个积累了所有现有知识的人，基于自身的经验，构建出新的抽象概念，利用它们进行规划，进而发现新的知识。
而这种提出新抽象概念、学习世界模型(world models)并借此进行规划的能力，在我们当前的系统中是完全缺失的。你不仅可以在人类知识的边缘观察到这一缺失，也可以在感觉运动流(sensory motor stream)层面研究这个问题。
理查德·萨顿： 所以我们并不是在原则上存在分歧。我们需要形成抽象概念，以便在高层次上进行推理。但你们现在的做法，正逼近我说过我们绝不应该做的那件事——争论先验知识(prior knowledge)和获取知识哪个更重要。你们刚才说，系统仍然需要学习；但你们又说，可以从文化和先验知识中获取知识。这两者本不该相互对立。
主持人Alfred： 回到范式转移这个确切的问题上，我们如何创造出一台懂得何时发起范式转移的机器？
库拉姆·贾韦德： 我认为必须通过它自身的经验。它不能依赖人类知识，因为我们的前提是：人类受限于现有的范式，而我们希望机器能用不同的方式看待事物。因此，它必须通过自身的经验去寻找更优的解法。也许它能实现更好的泛化(generalization)和更准确的预测，也许它在其他方面表现更佳，但这一切都必须源于它自身的经验。
理查德·萨顿： 我们在这个领域尚未解决的巨大挑战，也是目前还不具备的能力，就是学习一个模型然后利用该模型进行规划。我们可以解决数学问题，也能做出 AlphaGo，因为在游戏中，模型是已知的，我们知道规则是如何运作的；在数学中，我们也知道算子(operators)是什么。
我们知道 Lean 定理证明器能将我们从一个知识状态推导至证明的下一个状态。但如果我们必须自己去学习模型，目前还没有——我举个可能有些奇怪的反例——我想说的是，在我们的领域中，还没有任何“先学习模型，再用该模型进行规划”的成功实例。
阿尔伯塔计划及其十二个步骤
库拉姆·贾韦德： 至少没有使用自主发现的抽象概念。虽然有些人会说，“我只需要学习一个预测下一秒或下一毫秒会发生什么的模型”，但我们的模型并非如此运作。我们的模型更具抽象性，也截然不同。
主持人Sonya： 我非常欣赏你们的一点是，你们没有坐在那里高谈阔论或哀叹现状，而是极具行动力。这也是你们创立公司的原因。让我们来谈谈这个话题。2022年，里奇(Rich)，你提出了一项非常具体的十二步计划，即人工智能研究的“阿尔伯塔计划(Alberta Plan)”。能给我们讲讲这个计划吗？
理查德·萨顿： 阿尔伯塔计划的诞生，是因为我们虽然有宏观的构想，但需要将其拆解为更小的模块。这十二个步骤正是试图将这些特定模块具体化的尝试。
其中有一个非常重要的早期步骤，即第二步：持续深度学习(continual deep learning)。我们认为这一步几乎是最重要的，因为它解锁了后续的所有可能。
如果你能实现持续深度学习，就能不断更新你的世界模型。接着，如果你知道如何正确处理抽象概念——正如计划后半部分的步骤所探讨的，全都是关于如何正确构建抽象。
我所说的“正确处理抽象”，并不是指获取某种绝对“正确”的抽象，因为没人能断言什么是绝对正确的抽象。这取决于你所处的世界。你的智能体(agent)必须针对其所处的具体世界，学习相应的正确抽象。因此，这或许就是两个最关键的事项：你必须找到正确的抽象，并且必须具备持续深度学习的能力。
库拉姆·贾韦德： 我认为业内很多人都意识到我们需要模型，需要用它们来进行规划，而抽象概念(Abstractions)则决定了模型应该以什么为条件。那么模型应该预测什么？你打算采取什么行动？随后会发生什么？更重要的是，这些抽象概念从何而来？
我非常喜欢用顶尖运动员的例子。如果你问顶尖运动员是如何完成某些动作的，他们会用一些奇特、小众的术语来描述非常具体的操作。他们会说“我做这个动作”，并在交流时给它起个名字。有时如果只是独自练习，他们甚至都不会给它命名。
灾难性遗忘(Catastrophic Forgetting)及其破解之道
那么他们是如何提出这些抽象概念的呢？这在某种意义上正是缺失的关键一环，而“阿尔伯塔计划”(Alberta Plan)的后半部分正是对此给出了答案。
主持人Sonya： 我们能谈谈持续深度学习(Continual Deep Learning)这部分吗？这是当今存在的算法鸿沟，还是仅仅是实际部署、基础设施和数据隐私方面的鸿沟？因为如果我想根据用户交互来进行所谓的朴素权重更新(Naive Updating of Weights)，我现在就能做到，对吧？那么在你看来，要实现持续深度学习，我们最欠缺的到底是什么？
库拉姆·贾韦德： 这绝对是一个算法鸿沟。你可以采用朴素的方法，但随后就会遇到各种问题。例如，如果你说“我要取一个样本，然后用这一个样本来更新整个模型”，你就会遇到这样一个问题：模型中所有先前的知识都会受到负面影响。
目前我们规避这个问题的方法正是Cursor所做的。他们不使用单个样本，而是使用来自大量用户的大批量数据(Batch)。因此，在能够获取这种数据的用例中，你可以进行持续学习。
但在大多数用例中，你并没有这种条件，只有单一的数据流。如果在这种情况下采用朴素方法，它会以极具破坏性的方式彻底摧毁你的先验知识(Prior Knowledge)。这就是灾难性遗忘(Catastrophic Forgetting)。但这完全是可以治愈的。
理查德·萨顿： 那么疗法是什么？没错，具体疗法是什么？
库拉姆·贾韦德： 首先，你需要进行我们所说的步长优化(Step Size Optimization)。这意味着网络中的每个权重都必须有独立的步长。因此，有些权重更新得快，有些更新得慢。你必须通过元学习(Meta-learn)为每个权重确定这些步长。网络中大部分权重的步长都会非常小。这样，当你用新样本进行训练时，它们就不会被破坏。调整只会发生在正确的位置。
其次，你必须在特征空间(Feature Space)中使用某种形式的“生成与测试”(Generate and Test)机制。也就是说，你要在不依赖梯度(Gradients)的情况下提出新特征或新单元。因为梯度下降是一个非常缓慢的过程，只有当你确定某个方向是有益的，才会朝着那个方向移动。这总是非常缓慢的，而且无法为你提供一条变得越来越复杂并实现持续学习的路径。你需要一种机制，能够直接提出一批新单元，然后在此基础上继续推进。
我可以举一个具体的例子来说明。我们有一种叫做“持续反向传播”(Continual Backprop)的算法，几年前发表在《自然》(Nature)杂志上。它和反向传播(Backprop)非常相似，但你还需要植入新的单元“种子”，这些种子是用随机权重(Random Weights)重新初始化的。传统的反向传播只在初始时刻具有随机权重，随着训练的进行，所有的随机性以及随机性带来的多样性都会被消耗殆尽。
而在持续反向传播中，你不断注入一点随机性、一点“生成与测试”机制，然后反向传播的操作就充当了测试者。所以你需要这种机制。如果你能把这些很好地结合起来，我认为你将迎来全新一代大规模、卓越的持续深度学习，这正是我们希望在未来几年内实现的目标。
主持人Sonya： 太棒了。你认为这些算法可以应用于当前的现状吗？目前人们正在扩展大语言模型(LLMs)，并试图让它们进行持续学习而不产生灾难性遗忘。
库拉姆·贾韦德： 绝对可以。不过我认为你不能直接拿一个现有模型说“我要开始用这些算法来更新它”，因为这些算法是在元学习(Meta-learn)“如何学习”。所以，实际上你必须从头开始学习。假设我要训练一个新的基础模型(Foundation Model)，我将使用这些新算法来进行训练。这些新算法除了学习知识之外，还将学习如何学习未来的新事物。因此，它们同时在学习两件事，这样我认为你就能够学习新事物而不会发生灾难性遗忘。
主持人Alfred： 在你们公司试图做的事情中，从当前现状出发尝试同时做这两件事，这是最激进的一点吗？
主持人Sonya： 这又回到我之前说的，我不觉得自己疯狂。
主持人Alfred： 是其他人都疯了。
Oak最大的雄心：构建自我维护的心智
库拉姆·贾韦德： 这或许还不算彻底颠覆。在2016年到2018年期间，很多人都在大量探索这些想法，但他们是在受限得多的环境中进行的。他们会说“我们有一个问题分布，然后在这个特定情况下，我们去解决它”。而我们希望从单一的经验流(Stream of Experience)中进行学习，因此我们的方法应该具有更广泛的适用性。很多人都探索过这一点，但没有人在这种通用设定下进行过探索，即得出的算法可以适用于任何场景。
主持人Alfred： 那么你们这家新公司正在尝试做的、而其他人没有做的最激进的事情是什么呢？
理查德·萨顿： 你问最具雄心的事情是什么？记住，我不觉得自己怪异，所以不想用“激进”这个词。最具雄心的是什么？我认为最具雄心的事情是尝试掌握全谱系的知识，既包括微观细节，也包括宏观全局。
比如思考如何将一架飞机从一个城市飞到另一个城市，这是一件非常宏大的事情。这就像你举的太空飞行的例子，但思考这个问题更贴近常识，因为我们很多人都会乘坐飞机，而且我们在生活的方方面面都会使用抽象概念。甚至连松鼠也会使用抽象概念。
因此，拥有从微观到宏观的全谱系知识，以统一的方式处理它们，并使其能够自我维护(Self-maintaining)。这里最大的问题始终是：你有了一个基于知识的系统，是什么保证其中知识的正确性？在大语言模型中，保证知识正确的方法是，人们进行了大量的后训练(Post-training)以确保其正确性，然后将其冻结(Freeze)。这就是保持其正确性的方式。
但实际上，我们的心智(Mind)一直在不断变化，然而总有某种机制使其保持有序、连贯，并回归到良好的状态，而不是陷入混乱。我认为，这正是我们最大的雄心所在——构建一个自我一致、持续进化且保持内在连贯的心智。
主持人Sonya： 我非常喜欢这个愿景。我能问一下吗？这似乎是一个极其宏大的愿景，而将所有这些能力统一到一个单一心智中的想法更是雄心勃勃。
理查德·萨顿： 这触手可及，我认为这触手可及。现在已经是2026年，我们的计算机算力如此强大。这个目标真的雄心勃勃到遥不可及吗？还是说我们对如何实现所有步骤已经有了初步的构想？我认为我们已经有了愿景和端倪，我觉得这并非好高骛远。
主持人Alfred： 你的愿景是打造一个拥有万亿参数(trillion parameters)、仅需20瓦功耗的模型。这听起来相当雄心勃勃。
库拉姆·贾韦德： 这确实雄心勃勃。在某种意义上，以目前的技术来看，我甚至会说这是不可能的。比如，仅用现有的内存技术将万亿个参数存储在内存中，可能就会消耗超过20瓦的能量。但我们真正在思考的是：技术在不断进步，计算成本越来越低，能效越来越高。那么五到十年后会怎样呢？我认为在五到十年内，只要配合正确的算法，我们完全能让这成为现实。
理查德·萨顿： 五到十年相当于摩尔定律(Moore's Law)的两个数量级(two orders of magnitude)提升，这是标准的进步幅度。如果每18个月翻一番，10年就能带来两个数量级的提升。因此，要让这个说法成立，今天你需要用多少功耗来实现呢？20瓦加上两个数量级，也就是2000瓦。如果你今天能用2000瓦实现它，那么10年后你就能用20瓦实现。
主持人Alfred： 我认为用2000瓦就能做到。研究实验室里有很多人能调用的算力资源远超这个水平。
库拉姆·贾韦德： 是的，我认为即使在当下，只要算法正确，我们就能做得比这更高效。
主持人Sonya： 如果我们能做得更高效，那为什么没这么做呢？又不是说大家只想把钱挥霍一空，我是说把我们的钱全砸进去。是啊。
理查德·萨顿： 有时候看起来他们确实想这么做，不是吗？我觉得这就是他们展现真正实力的方式。
为什么大型实验室陷入了局部最优
库拉姆·贾韦德： 也就是通过消耗大量能源。至少当我观察不同的研究团队时，我甚至看不到有人相信这是可行的。我认为，如果你不相信它可行，你就不会去着手解决并攻克那些技术问题。
主持人Alfred： 是因为这不可能实现，还是因为系统中存在太多浪费？到底是哪种情况？有没有人知道如何高效地实现它？然后同一个实验室里有十倍的人在做其他各种事情，所以十个人里有九个都在浪费资源。
库拉姆·贾韦德： 在某种意义上，我认为我们陷入了局部最优(Local Minimum)。因此，如果我们想转向这种新型算法，情况在好转之前几乎不可避免地会先变糟。当我们开始探索这些新方向时，不可能从第一天起就获得最先进(State-of-the-Art)的性能，因为这是一种截然不同的范式(Paradigm)。而原有的路径只能在更高的能耗下达到相似的性能。这些大型实验室被现有产品束缚得太深，以至于他们不可能去走一条先让性能下降的道路。
主持人Alfred： 因为他们当前的范式允许他们不断扩展规模(Scaling)，而在新范式下他们必须放手一搏，而且他们……
如果一切顺利——大语言模型、多元心智与招聘
库拉姆·贾韦德： 而且他们必须攻克一些棘手的技术难题。这些问题我们已经思考了很多年，我们也认识一些多年来一直在思考这些问题的人。当我与他们交流时，觉得这确实是可行的。但你需要花很长时间去思考这些挑战。所以，如果一切顺利的话……
主持人Alfred： 对于Oak来说，公司会怎样发展？你们在打造一家什么样的公司？
理查德·萨顿： 如果一切顺利，我们实现了这种架构，就能实现真正的持续学习(Continual Learning)，并能形成抽象概念(Abstractions)，从而进行规划与推理(Planning and Reasoning)。我们就能实现真正的智能。到那时，很难确切想象究竟会发生什么。
但我认为人类将变得无足轻重。我完全不这么认为，我们也不这么认为。我认为世界会变得令人兴奋，对人类来说甚至更加激动人心和有趣。但具体而言，你不得不思考大语言模型(Large Language Models)的处境，它们可能会面临风险。当这一切最终发生时，我相信它们会有一段辉煌的历程。它们已经大放异彩，已经取得了巨大的成功。
为了明确起见，我想强调一下，大语言模型是一项了不起的科学突破，是神经网络熟练运用语言的突破。这完全出乎意料。过去语言领域一直是符号方法(Symbolic Methods)的坚守阵地，而现在它们彻底改变了人们的认知。是的，这是一个巨大的突破。但让我感到沮丧的是，我们仅仅满足于庆祝在人工智能问题的一个子集(Subset)上取得了巨大进展，并沉浸其中。
它不能自诩为代表整个人工智能。智能的全部并不只是流畅、熟练地使用语言，其内涵要丰富得多。语言是一个重要部分，大概占智能的20%或四分之一，但还有更多。是的，我们还远未大功告成。
主持人Sonya： 是的。如果一切顺利，你设想的是存在一个单一心智(Single Mind)，它能做所有事情，从学习如何在树枝间荡秋千到制造宇宙飞船，再到我们今天讨论的各种事情？它是一个单一心智吗？是一组单一的权重(Weights)就能完成所有这些任务吗？还是说它是一个……
理查德·萨顿： 它是一种统一的设计，但会衍生出许多不同的心智，会有众多智能体。
主持人Sonya： 嗯，好的，所以它是一种能对不同环境做出反应的统一设计。
库拉姆·贾韦德： 而且该心智的不同版本会学习不同的东西，因为它们拥有不同的经验。这有点回到了大世界假说(Big World Hypothesis)，即有无穷无尽的事物需要学习。因此，单一系统无法学习无穷无尽的事物。我想Rich已经提到过这一点，如果你有两个这样的系统，如果你拥有世界上两个最大的系统，那么它们无法相互建模是显而易见的，因为它们的复杂度相当。所以，单一系统永远无法达到能学习一切的程度，总是需要多个系统从各自的经验中学习。
主持人Alfred： 你们在招人吗？在寻找什么样的人才？
库拉姆·贾韦德： 我们正在组建初始团队，大部分人选我们心里已经有数了。这些都是长期以来一直在思考这些理念的人。我们将采取一种略有不同的方法，因为这是一种全新的范式。迅速扩大规模没有意义，因为在某种意义上，我们招募的每个人都必须认同我们的愿景，而并非所有人都能看到这一点。所以我们会从小规模起步，慢慢发展到十几二十个人，然后再逐步扩展。
理查德·萨顿： 我们希望团队高度目标一致(Aligned)，这样我们就能高效协作，共同推进并加速进展。
主持人Alfred： 非常非常酷。
主持人Sonya： 太棒了，我非常享受这次交流。感谢您抽出宝贵时间，分享您目前的研究进展。对于强化学习(Reinforcement Learning)与算法设计(Algorithmic Design)的未来走向，您是一位思想极为深邃的学者，有着极其深刻的洞见。今天能与您共同探讨这些前沿话题，是一次极其愉快的思想碰撞。再次感谢您。
理查德·萨顿： 非常感谢，非常感谢。这是我们的荣幸。（来源：AI新知）