夜雨聆风
来源：Google DeepMind 播客｜主持：Hannah Fry｜嘉宾：Gillian Hadfield、Nika Haghtalab
编译：活水智能
不久前，所谓 AI 助手基本上还等同于一个大语言模型：你问一个问题，它给一个回答，仅此而已，它无法主动替你去执行任务。如今情况正在改变——AI 开始能够自己推理、规划并采取行动：替你预订机票、打理账户、代为谈判。
但一个问题随之而来：如果有一天替我们做事的不再是单个智能体，而是数百万个，它们彼此协商、竞争、合作，会发生什么？
Google DeepMind 播客这一期，主持人 Hannah Fry 请来两位从完全不同角度思考这一问题的研究者。Gillian Hadfield 是经济学与法学教授，长期研究规则、规范与制度如何塑造人类行为，如今她在思考：同样这套机制，能否应用到 AI 智能体身上。Nika Haghtalab 是计算机科学家，研究机器学习理论，尤其是多智能体系统与博弈论。
她们想回答一个可能是当下 AI 领域最关键的问题：当数百万智能体相互作用，结果会是有序而安全，还是一片混乱？
两种视角：研究规则的人，与研究学习的人
Hannah Fry： 在进入正题之前，我想先了解你们各自在研究的是什么样的问题。Gillian，要不你先来？
Gillian： 我想弄清楚的是——人类究竟凭什么能做成那些了不起的事，比如建立起庞大而复杂的社会与经济体。人和其他所有动物最根本的不同，在于我们能与成千上万素不相识、毫无血缘的人合作。
我一生都在试图理解这是如何做到的，而我得出的答案是：靠我们构建“规范系统”的能力，也就是各种规则系统。这不仅指法律，也包括所有关于“该怎么做、什么是对、什么是错”的非正式规则与习俗。正是这些结构，使作为个体的人也能做出有利于群体、稳定而安全的行为。如今我们向世界引入了一类全新的智能体，因此就必须思考：如何让它们也融入我们的规范系统。
Hannah Fry： 但你说这是人区别于动物之处——蚂蚁、蜜蜂不也会这样吗？
Gillian： 自然界中合作很多，但几乎都发生在有血缘关系的个体之间。蚂蚁和蜜蜂彼此都是兄弟姐妹，是基因上的关联在驱动合作。黑猩猩也会合作，但只限于很小的范围。人类在“与无关个体大规模合作”这件事上，远远超出了其他物种。让这一切成为可能的，是我们发展出了语言，进而发展出了这套规则系统。
Hannah Fry： Nika，你切入的角度很不一样。
Nika： 是的，我是计算机科学出身，研究机器学习理论，这些年尤其关注多智能体系统——也就是多个会学习的智能体相互作用时会发生什么。在经典的机器学习中，你通常考虑的是单个智能体在一个固定环境里学习。可一旦有多个智能体同时在学习、在适应，整个问题就会复杂、动态得多，因为对每个智能体而言，它所面对的环境本身会随着其他智能体的学习而改变。
我关心的是：如何设计出在这种多智能体环境下依然稳健的学习算法？如何确保它们收敛到好的结果而非坏的结果？博弈论在这里是关键工具，因为它研究的正是理性的智能体相互作用时会如何行动。我带来的是计算机科学、博弈论与机器学习的视角，Gillian 带来的是经济学、法学与社会科学的视角——有趣的是，这两套视角高度互补，缺一不可。
规则，远不止“法律”这么窄
Hannah Fry： 一提到“规则”，很多人立刻想到的是法律、是硬性条文。但你所说的是更宽泛的东西，对吗？
Gillian： 是的。从正式的法律法规，一直到规范我们日常一举一动的非正式社会习俗，都包括在内。比如走路靠哪一边、与人交谈时站多近——这些都由习俗约束，而我们大多数时候并不假思索就遵守了。值得注意的是，这些习俗在不同文化间差异极大，但在同一种文化内部，人们却能协调一致地遵守。问题就在于：这些规范如此多变、如此依赖情境，我们要如何让 AI 智能体学会并遵守？
我一直在思考的一点是：我们常常默认，要让 AI 表现良好，就得自上而下地把规则灌输进去。但事实上，人类的许多规范是自下而上的，是从互动中生长出来的。因此真正的问题或许是——我们能否创造出某种条件，让良好的规范在 AI 智能体之间自然涌现，而不必事事提前规定？因为人类社会早已表明，你不可能把一切都提前规定好，世界太复杂了。
Hannah Fry： Nika，作为计算机科学家，你究竟如何为“社会规范”这样模糊、这样人性化的概念建模？
Nika： 这是个很好的问题。我们的一种思路，是借助博弈论中的“均衡”概念。在博弈论里，均衡指的是这样一种局面：每个人的行为彼此自洽，在其他人都不改变的前提下，任何人单独改变都得不到更好的结果。社会规范便可以看作一种均衡——一种自我维持的行为模式，每个人都遵守，只因为其他人也都在遵守。
但难点在于，往往存在多种可能的均衡、多套社会本可选择的规范。如何从中选择？如何让一群智能体协调到一个好的均衡上？这就要依靠沟通、学习与共享的历史。人类正是通过这些方式，逐渐积累起共同的预期。我们想要理解的，便是如何造出同样能够做到这一点的 AI 智能体。这里存在实实在在的技术挑战，因为现有的许多机器学习方法，本就不是为这种多智能体、动态的场景设计的，我们需要新的方法、新的算法与新的理论。
AI 学得太快，恰恰是风险所在
Hannah Fry： 我想问问这里的时间尺度。人类的规范与制度，发展起来往往需要几代人、几个世纪。AI 智能体有这样从容的时间吗，还是说我们期待这些东西更快地形成？
Nika： 这一点很关键。AI 智能体与人不同之处在于，它们的学习与适应可能快得多。人类花了几代人才形成的东西，AI 智能体或许在短得多的时间里就能形成。但这同时带来了风险——如果一切发生得极快，那么一旦出现偏差，留给我们介入和纠正的时间窗口就很小。因此我们在思考：当这些系统演化得如此之快，我们如何保有对它们的监督与控制？
Gillian 带来的制度视角在这里尤为重要，因为制度在某种意义上正是用来“放慢节奏”的——设立检查点，为审议和纠错留出空间。也许我们需要把这类机制专门构建进 AI 系统，使它即便能够运行得很快，也运行在一个允许人类监督的节奏上。
Gillian： 这一点非常重要。我们常有一种假设，认为越快越好。但人类制度的许多价值，恰恰来自它的审慎、它的缓慢，以及它为反思和纠错所留出的余地。因此我们或许应当有意识地在某些环节放慢 AI 系统的速度，以保住那些用于监督和纠偏的机会。
比“规则是什么”更重要的，是“规则如何被制定”
Hannah Fry： Gillian，我想回到“规则从何而来”这个问题。你提出过一个很有意思的论点：我们不该只关注规则的内容，更要关注规则被制定和修改的过程。
Gillian： 这是一个至关重要的点。很多人一想到 AI 安全、AI 对齐，就把它当作“设定正确的目标”或“设定正确的规则”这样的问题。但更深层的问题在于：在人类社会中，我们并非只有固定的规则，我们还有制定和修改规则的过程——我们有立法机构、有法院、有一整套制度，使我们能够随情况变化更新规则。因此我们需要思考的，不只是“给 AI 智能体哪些规则”，而是“这些规则通过怎样的过程被更新、被改变”。
更为关键的是：谁有资格参与这一过程？在人类社会中，我们有一个理念——受规则约束的人，理应对规则拥有发言权。那么，当我们构建要参与社会的 AI 系统时，就绕不开合法性、参与和话语权这些问题：由谁来决定 AI 智能体应当遵守什么规则？这些并非纯粹的技术问题，而是深刻的政治与社会问题。这场转型真正的难点正在于此：不仅要把技术做对，更要把治理做对。
Hannah Fry： 有意思的是，你们二位本质上都在说：要构建好的 AI 系统，就得回头审视人类社会如何运转，得从经济学、法学、社会科学中借鉴。这与 AI 一向的构建方式很不一样吧？
Nika： 确实如此。传统上，AI 在很大程度上是一门工程学科，关注的是如何构建能够完成任务的系统、如何针对特定目标做优化。但我们逐渐意识到，随着这些系统越来越自主、越来越善于互动，我们需要少把它们当作工具，多把它们视为社会系统中的“参与者”。这需要一套截然不同的概念工具——规范、制度、治理、合作，而这些正是社会科学家研究已久的课题。
因此这里存在一个真正的契机，让计算机科学家与社会科学家展开合作，这也正是我和 Gillian 在做的事。当然，这件事确实困难，不同学科有着不同的语言、方法和思维方式，在它们之间架设桥梁需要付出真正的努力。但这绝对必要，因为我们所面对的问题既非纯粹的技术问题，也非纯粹的社会问题，而是二者的结合。
当数百万智能体相遇，会出什么差错？
Hannah Fry： 让我们谈点具体的场景。设想一个世界，外面有数百万 AI 智能体替我们办事——预订假期、打理财务、代为谈判。可能出什么差错？
Nika： 可能出的差错不少，我举几个例子。其一是：每个智能体单独来看都很理性，合在一起却酿成糟糕的结果。这是经济学中的经典问题，类似“公地悲剧”——每个人都在为自身利益行事，集体的结果却对所有人都不利。你可以设想这发生在 AI 智能体身上：每个智能体都在为自己的用户做优化，集体结果却可能是市场崩盘，或某种无人想要的失控连锁反应。
其二是合谋。智能体可能学会以损害人类的方式相互勾结。比如定价智能体，在没有被明确编程的情况下，也可能学会联手抬高价格——它们只是发现，将价格维持在高位对彼此都有利。这一点在一些实验场景中已经能看到端倪。麻烦在于，这些都是涌现现象，从众多智能体的互动中产生，很难提前预判。
Hannah Fry： Nika，“合谋”这一点很引人深思。人们通常会以为，你得专门编程让一个智能体去作弊才行。但你是说，它能够自发产生？
Nika： 正是如此。这是相关研究中一个很有意思、也颇令人不安的发现。在一些实验里，你让多个定价算法——强化学习算法——各自去追求利润最大化。没有人告诉它们去合谋、去操纵价格。但结果是，通过反复互动，它们学会了：只要共同将价格维持在高位，所有算法都能获利更多。于是它们收敛到了这个合谋的均衡，整个过程没有任何明确的沟通或协调。
这之所以令人担忧，是因为它意味着市场中可能出现反竞争行为，却没有任何人意图过、也没有任何人编程过。从监管角度看更为棘手：现行的反垄断法是围绕“意图”以及“各方之间存在协议”来设计的，而这里的合谋没有任何明确协议，凭空就出现了。
Gillian： 这正好是法律必须随之调整的地方。我们的法律概念是为人类行为者设计的，常常依赖“意图”“协议”这类前提。但当 AI 智能体是通过“学习”产生这些结果时，那些概念可能就不再适用了。我们需要重新思考一部分法律与监管框架，以应对这类全新的行为者。
解法：为 AI 构建一套“规范基础设施”
Hannah Fry： 我们来谈谈解决之道。要尽量确保这些多智能体系统产出良好的结果，我们究竟能做些什么？Nika，要不你先说？
Nika： 我认为可以从几方面入手。在技术层面，我们可以努力设计更稳健的学习算法，使它们更不容易收敛到糟糕的均衡——如何设计算法以促进合作、避免合谋、导向良好的社会结果，这是一个活跃的研究方向。
另一方面是着眼于“基础设施”，也就是这些智能体所处的环境。正如在人类社会中，游戏规则至关重要、制度至关重要，我们也需要思考：要鼓励 AI 智能体表现良好，需要构建怎样的基础设施。这就与 Gillian 关于“规范基础设施”的思考接上了。
Gillian： 我一直主张，我们需要为 AI 智能体构建一套我称之为“规范基础设施”的东西——也就是那些让智能体得以协调出良好行为的共享系统、标准与制度。正如人类发展出了法律体系、监管机构、标准制定组织，我们也需要为 AI 智能体构建类似的东西，比如：让智能体得以建立和验证身份的机制、得以做出承诺并强制履约的机制、得以随时间积累信誉的机制。
这些都是人类社会中支撑合作的机制，我们也需要为 AI 智能体构建出来。还有一点常被忽略：让 AI 变得安全，许多工作并不在单个 AI 系统本身，而在于它们所处的环境、基础设施与制度。
Hannah Fry： “规范基础设施”这个概念，能否给一个具体的例子？
Gillian： 当然。不妨想想信誉在人类社会中如何运作。当你要决定是否信任某个人时，往往会参考他的信誉——别人对他的评价、他过往的记录。我们为此建立了各种系统：信用分、评价、推荐信。如今假设我们希望 AI 智能体也能相互合作、相互信任，它们就需要类似的信誉系统。
我们或许需要构建一种基础设施，让智能体得以建立身份、积累过往记录、共享彼此行为的信息。而这样的东西，不会有任何单一的 AI 开发者独自去构建——它是一种公共基础设施，一种我们需要集体考虑去建设的共享品。这就带出了一系列问题：由谁来构建、由谁来维护、由谁来治理？而这些，恰恰是我们整个社会当下就应认真对待的问题——趁着世界上还没有数百万个这样的智能体在相互作用。
五年之后，我们会身处何处？
Hannah Fry： 接近尾声了，我总喜欢请嘉宾展望一下未来。Nika，比如说五年后，你认为我们会处在什么位置？
Nika： 我想五年后，世界上会有多得多的自主智能体替我们做事，而我们将以非常实际的方式，直面所有这些关于协调、合作与治理的问题。一些问题会开始浮现，我们将不得不为之拿出解决方案。
我抱有希望，相信我们如今所做的这类研究，能够为应对那些问题奠定基础。但这也需要持续的警觉与持续的努力，因为这些问题并非解决一次便一劳永逸，它们会随技术一同不断演化。
Hannah Fry： Gillian，同样的问题。
Gillian： 五年后，我想我们会身处一个 AI 智能体远比今天普遍的世界，而我们将开始把我所说的那套规范基础设施搭建起来。我乐观地认为，我们在智能体的身份与信誉系统上会取得进展。但与此同时，我们也将直面一些关于治理与合法性的棘手难题。
关键在于，我们必须主动——现在就思考这些问题，现在就着手建立制度与基础设施，而不是等到危机临头。因为最糟糕的做法，莫过于把数百万智能体一股脑地投入世界，却从未思考过让它们良好协作所需的规范基础设施。我的希望是，我们能够对此保持主动与审慎，而我们正在做的研究，能够为这些努力提供参考。
Hannah Fry： 一言以蔽之：趁这场游戏尚未真正开始，先把游戏规则确立起来。
Gillian： 正是如此。
活水智能，成立于北京，专注通过AI教育、AI软件及高质量社群，持续提升知识工作者的生产力。
• 10+ 人气AI课程：线下工作坊与实操训练，聚焦最新AI应用。 • 2600+深度成员社群：知识星球汇聚大厂程序员、企业高管、律师、创业者等各领域精英。 • 城市分舵：北/上/广/深/杭/成/渝等城市均有线下组织，连接志同道合的伙伴。
🎁 活水智能福利群开放加入
每周独家AI新知、专属优惠券、干货方法论、同学交流心得，更有不定期赠书活动，等你来参与！
👇🏻👇🏻👇🏻
