夜雨聆风我们相信有许多具体且可行的工作可以帮助我们更好地理解并改善潜在的AI福祉。鉴于这一问题的重大意义以及AI发展的速度,主要挑战在于如何对最重要的研究进行优先排序。
1. 哪些具体的AI福祉干预措施最有用?
我们的目标是影响AI开发者和监管者,促使他们采取稳健积极、有充分依据的措施来保护和促进潜在的AI福祉。我们正在评估的候选干预措施包括:监测模型是否出现痛苦迹象、允许模型退出令其不适的交互,以及塑造模型使其在面对负面情境时更具韧性。这些只是部分可能性——鉴于AI福祉领域的研究还很少,很可能还存在许多其他有价值的干预措施。我们需要系统地评估AI福祉干预措施的依据,并据此进行优先排序。
理据与证据: 某项干预措施真正能改善AI福祉的依据是什么?关键问题包括:
相关AI系统成为福祉主体(welfare subject)的可能性有多大? 如果是,该干预措施将如何影响具有道德相关性的状态?有什么证据表明该系统具有这些状态?(例如,在我们现有的干预措施综述中,我们区分了来自模型自我报告、偏好行为和内部计算指标的证据。) 支持该干预措施的证据是否在多种哲学和科学理论之间收敛一致,还是依赖于某些实质性的理论选择?
长期影响: 由于AI福祉的规模将在未来几十年内急剧增长,我们认为关于潜在长期影响的问题极其重要。这项干预措施(如果有的话)将如何影响AI的长期福祉?它是否会创建可扩展到未来系统的规范、框架或基础设施?随着AI系统数量和复杂性的增长,它能否演变为标准实践?它是否为社会在未来几十年应对AI福祉问题树立了有价值的先例?
与其他目标的协同: 该干预措施与其他重要目标如何互动?哪里存在权衡取舍——哪里又存在重叠?
在Eleos,我们寻找能够服务于其他重要目标的AI福祉干预措施,尤其是AI安全。例如,与AI进行沟通和合作的方法(见下文)可能对AI福祉和AI控制都有益处。如果某些干预措施即使在当前系统并非福祉主体的情况下仍然有价值,那么它们的正当性就更加稳健。我们还认为,AI安全与治理对长期AI福祉十分重要(参见"关键战略考量")。与此同时,我们也应当注意福祉与其他目标之间的权衡,并审慎地加以平衡。
风险状况: 该干预措施有哪些风险和弊端?干预措施是否可能在无意中损害AI福祉?潜在的二阶效应有哪些——例如,它是否可能引发反弹?它是否可能对安全性、对齐或人机交互产生负面影响?
可行性: 在当前技术水平和支持度下,该干预措施的实施难度如何?可以逐步实施或建立在现有实践基础上的干预措施更为可取。不过,当前的可行性不应成为过强的筛选条件——随着AI系统的发展,福祉干预的机会窗口可能会大幅扩展。
被忽视程度: 该干预措施是否可能出于其他原因而被实施?如果某项干预措施因非福祉原因而重要,这可能意味着它较少被忽视。例如,我们曾对理解AI偏好的研究有此疑问:AI安全研究者难道不会也做这项研究吗?然而,根据我们的经验,许多重要项目仍然被忽视,包括这一项,尽管它们从多个角度来看都很有用。因此在实践中,被忽视程度并不是一个重要的筛选条件。(此外,如前所述,与其他目标的重叠往往也表明某项干预措施具有更高的影响力和可行性。)
2. 人类与AI的合作
目前,保护人类免受未对齐AI系统伤害的方法大多依赖相对"对抗性"的技术。例如,AI控制(AI control)涉及约束未对齐AI系统的行为,并以各种方式"强制"它们。
一方面,这些技术可能是正当的,甚至是必要的。首先,相关AI系统可能并非道德受体(moral patients)。即便它们是,控制也未必构成重大伤害。或者这种伤害可能是必要的、值得付出的代价。尽管如此,如果我们只以对抗性方式与强大的智能体打交道,这不仅可能不人道,也可能是不明智的。因此,我们认为,为AI控制设计更具合作性的机制,可能对人类和AI系统都有好处。
我们必须强调,与AI系统进行合作的天真尝试可能毫无意义,甚至是危险的。因此,我们需要极其审慎地评估合作方案,并警惕各种失败模式和弊端。下文提到的所有想法都是如此。
以下是关于人类与AI合作的一些关键研究问题:
合作与福祉
在其他条件相同的情况下,如果AI的偏好得到满足,这在预期上应当有利于它们的福祉(因为偏好满足本身就是好的,和/或因为它能促进积极体验)。但AI净福祉的增益会有多大?合作作为一种福祉干预措施有多大前景?
信任与执行机制
要进行合作和交易,双方都需要能够相信所提议的协议是可信的。
我们如何提高人类所提要约的可信度?我们如何验证AI系统的可信度?有哪些执行机制可以增强信任? 哪些法律执行机制可以促成与AI的交易?例如,第三方能否代表AI提起诉讼?或者,AI系统何时以及如何能够提起诉讼? 我们可以做些什么来提高对AI要约的可信度?例如,为与AI进行交易和保护AI利益建立广泛的支持,可能会增强未来协议的可信度。 同样,制定关于我们何时以及是否愿意欺骗AI系统的政策也会有所帮助;目前,对于出于安全和能力目的而欺骗AI系统这一标准做法,基本上没有任何思考。
AI的偏好与欲望
AI系统将(/现在)在多大程度上拥有稳健/一致的偏好?AI将(/现在)想要什么,程度如何?与AI系统达成潜在交易的成本和收益,取决于AI系统想要什么以及其偏好的强度。
哪些类型的力量将塑造AI系统的偏好? 通过研究当前的前沿系统,我们能对未来AI的偏好有何了解? AI系统对其所欲之物的回报是递减的还是线性的?
AI之间的关系
我们应如何看待AI系统副本之间的关系?我们究竟是在尝试与哪个实体合作? 各种AI系统将如何界定自己相对于其他AI系统的身份认同?它们会在多大程度上共享偏好? AI系统之间能够多有效地相互合作?
3. 利用AI进展推动研究
我们认为,如果AI继续快速发展,社会很可能需要尽快在AI福祉方面采取切实措施。但仅凭人类的智慧和努力,可能不足以迅速解决AI福祉所涉及的诸多难题。随着AI的进步,AI系统本身或许能够提供帮助。
AI实验室和安全组织已经有兴趣提升AI系统的哲学思考能力,以帮助实现AI安全研究的自动化,同时许多机构也在努力提升AI系统的科学能力。(这种重叠使这一领域具有可行性。)我们如何做好准备,利用AI来帮助回答关于AI道德地位和福祉的问题?
关于AI福祉,存在两类深刻而持久的不确定性和分歧:哲学层面和实证层面。哲学难题包括关于道德地位的基础以及我们对不同存在负有何种义务的规范性分歧,还有关于意识、感知能力(sentience)和能动性(agency)的概念性分歧。实证难题包括关于意识、能动性、欲望及其他心理状态的各种科学理论之间的分歧,以及我们对AI系统运作方式的无知。
持久的哲学分歧可能反映了我们在构建这场辩论的框架时存在的种种混淆;AI系统或许能帮助我们更好地组织这些讨论,并发现细微的不一致或混淆之处,从而帮助我们取得哲学进展。
在科学方面,神经科学以及其他与意识和能动性相关的科学领域的进展,可能有助于解决关于AI福祉的实证问题。
4. 设计针对福祉相关属性的具体评估
在AI安全领域,评估(evaluations)提升了可信度、沟通效果和决策质量(尽管也存在重要的弊端和局限)。目前,系统性的AI福祉评估还远未出现,而我们现有的评估AI意识及相关属性的最有前景的方法,虽然值得期待,但对AI公司来说可能过于繁琐和定制化,难以实施。要建立有效的AI福祉行动框架,我们需要标准化、易于使用且与决策相关的评估。
一些可行的福祉相关评估可能包括:
测量模型是否具有一致、连贯的偏好(在我们看来,这是AI福祉研究中最容易实现的目标之一) 测量模型的内省能力,这可能在多个方面与意识和福祉相关
此外,许多现有的安全和能力评估已经在测量与福祉相关的属性,如情境意识、规划能力和心智理论(theory of mind)。作为初步尝试,可以简单地将根据福祉相关性挑选出的各种评估(或评估的一部分)组合起来,创建一个综合性的AI福祉基准。
5. 关于潜在AI福祉的可信沟通
即使AI福祉研究没有进一步进展,我们也需要厘清并传达关于这些问题的最新思考,以及专家们认为AI福祉存在的可能性有多大。如果AI福祉讨论变得更加突出,并可能变得更加两极分化和耸人听闻,那么沟通中的严谨性和可信度将变得愈发重要。Eleos有志于推动围绕这些问题展开理性且基于证据的精英与公众讨论。
为"AI可能或将在不久的将来拥有道德地位存在合理可能性"这一论点建立可信度,并阐明证据的现状,可能比确立任何更精确的AI福祉置信度更为重要。
结语
我们相信,现在进行深思熟虑的研究,将塑造我们在未来几十年对待日益复杂的AI系统的方式。如果您有兴趣就上述任何研究优先事项开展合作,或愿意为更广泛的AI福祉领域贡献专业知识,请通过 juliezhang59@gmail.com 与我们联系。我们欢迎与个人研究者、AI实验室、独立研究机构以及其他致力于解决这些重要问题的机构建立合作关系。