AI 时代的三大逆定律

核心要点：自 2022 年 11 月 ChatGPT 发布以来，生成式 AI 聊天机器人已深入搜索引擎、开发工具和办公软件。但这些服务的推广方式可能对社会构成危险——尤其是当我们习惯于不经审视就信任其输出时。

引言

生成式人工智能（AI）聊天机器人服务日益成熟和普及。这些系统已嵌入搜索引擎、软件开发工具以及办公软件。对许多人而言，它们迅速成为日常计算的一部分。

这些服务确实非常实用，尤其在探索陌生领域和作为通用生产力工具方面。然而，我亦认为，这些服务的推广和消费方式可能对社会构成危险——特别是当我们养成不经进一步审查就信任其输出的习惯时。

陷阱

现代 AI 系统的某些设计选择可能助长对其输出的不加批判的接受。例如，许多流行的搜索引擎已在页面顶部突出显示 AI 生成的答案。当这种情况发生时，用户很容易停止滚动、接受生成的回答然后继续。久而久之，这可能在无意中训练用户将 AI 视为默认权威，而非进一步探索的起点。

我希望每种生成式 AI 服务都能附带简短而醒目的警告，说明这些系统有时可能产生事实错误、误导性或不完整的内容。此类警告应强调，习惯性地信任 AI 输出可能存在危险。根据我的经验，即使此类警告存在，它们也往往很简短且在视觉上被弱化。

机器人学的逆定律

在科幻领域，阿西莫夫（Isaac Asimov）提出了著名的机器人学三定律，贯穿其作品始终。这些定律旨在约束机器人的行为以保障人类安全。据我所知，阿西莫夫从未制定过任何约束人类与机器人交互的等价定律。我认为我们现在需要类似的东西来保障自身安全。我称之为机器人学的逆定律。

这些定律适用于任何需要人类与机器人交互的场景，此处的”机器人”指任何能够自动执行复杂任务的机器、计算机程序、软件服务或 AI 系统。我使用”逆”这个词，并非指逻辑上的否定，而是表明这些定律适用于人类而非机器人。

众所周知，阿西莫夫的定律存在缺陷。事实上，阿西莫夫利用这些缺陷作为张力的来源。然而，它们对虚构机器人失效的特定方式不一定适用于这些针对人类的逆定律。阿西莫夫的定律试图约束自主机器人的行为。然而，这些逆定律旨在指导人类的判断和行为。不过，我们可以从阿西莫夫的故事中学到一点：对于 AI 和机器人学面临的复杂问题，任何有限的定律集都不可能万无一失。但这不意味着我们不应该尝试。面对 AI 和机器人学问题时，总会需要判断力的边缘案例。一套非穷举的原则仍然有用——只要它帮助我们更清晰地思考所涉及的风险。

AI 时代三大逆定律

以下是机器人学的三大逆定律：

核心要点：

• 人类不应将 AI 系统拟人化
• 人类不应盲目信任 AI 系统的输出
• 人类应对使用 AI 系统所产生的后果承担完全责任

定律一：禁止拟人化

技术特点：拟人化会扭曲判断，在极端情况下可能导致情感依赖

人类不应将 AI 系统拟人化。也就是说，人类不应向它们赋予情感、意图或道德主体性。拟人化会扭曲判断。在极端情况下，将 AI 拟人化可能导致情感依赖。

现代聊天机器人系统听起来具有对话性和同理心。它们使用礼貌措辞和对话模式，与人类互动非常相似。虽然这使它们更易于使用，但也更容易让人忘记它们的本质：基于数据中的模式生成可信文本的大型统计模型。

我认为 AI 聊天机器人服务的供应商可以在这一点上做得更好。在许多情况下，这些系统被刻意调整得更加人性化，而非更具机械感。我认为从长远来看，相反的做法会更健康。略微机械化的语气会减少用户将流畅的语言误认为理解、判断或意图的可能性。

无论供应商是否做出此类改变，我们自己避免这个陷阱仍然有益。我们应该积极抵抗将 AI 系统视为社交行为者或道德主体的习惯。这样做可以保持对其能力和局限性的清晰思考。

定律二：禁止盲从

核心要点：AI 生成的内容在经过与上下文相适应的独立验证之前，不应被视为权威

人类不应盲目信任 AI 系统的输出。AI 生成的内容必须经过与上下文相适应的独立验证，方可被视为权威。

这一原则并非 AI 独有。在大多数生活领域中，我们都不应该不加批判地接受信息。当然，在实践中这并不总是可行的。并非每个人都是医学或法律专家，因此我们经常依赖可信的机构和公共卫生当局的指导。然而，此类机构发布的指导在大多数情况下都经过了领域内专家的同行评审。另一方面，当我们在私人聊天会话中从 AI 聊天机器人收到问题时，所呈现的特定随机生成的回答并未经过任何同行评审。因此，批判性地审视回答的责任落在我们身上。

尽管当今的 AI 系统在某些任务上已经相当出色，但众所周知，依赖其输出是一个错误。即使 AI 系统改进到以高度可能性产生可靠输出的程度，由于其固有的随机性，仍会有很小可能性产生包含错误的内容。这使得它们在错误微妙但代价高昂的场景中尤其危险。潜在后果越严重，验证的负担就应该越高。

在某些应用场景中（如制定数学证明或开发软件），我们可以添加自动化验证层——以证明检查器或单元测试的形式来验证 AI 的输出。在其他情况下，我们必须自己独立验证输出。

定律三：禁止责任转移

核心要点：AI 系统是工具，其使用的责任由决定依赖它的人承担

人类必须对涉及 AI 的决策保持完全责任，并对其使用产生的后果承担问责。如果因遵循 AI 生成的建议或决策而导致负面结果，仅说”AI 告诉我们这么做的”是不够的。AI 系统不会选择目标、不会自我部署，也不会承担失败的成本。人类和组织才会。AI 系统是一种工具，与任何其他工具一样，其使用的责任由决定依赖它的人承担。

然而，说起来容易做起来难。在实时应用（如自动驾驶汽车）中，这一点尤为棘手——人类没有机会在 AI 系统行动之前充分审查其所做的决定。要求人类驾驶员保持持续警惕并不能解决 AI 系统通常在人类干预所需时间内行动的问题。尽管存在这一相当严重的限制，我们必须承认，如果 AI 系统在此类应用中失败，调查失败并添加额外保护措施的责任仍应落在负责系统设计的人类身上。

在其他所有情况下——即没有任何物理约束阻止人类在 AI 输出被采取行动之前对其进行审查——使用 AI 产生的任何负面后果必须完全由人类决策者承担。作为一般原则，我们绝不应该接受”AI 告诉我们这么做的”作为有害结果的可接受借口。是的，AI 可能产生了建议，但人类决定遵循它，因此该人类必须被追究责任。这对于防止在不负责任的使用可能造成重大伤害的情况下不加区分地使用 AI 至关重要。

结论

上述三条定律基于我所观察到的对 society 有害的使用模式。我希望借助这三条简单定律，鼓励我们的同胞暂停并反思他们如何与现代 AI 系统互动，抵抗削弱判断力或模糊责任的习惯，并保持警惕：AI 是我们选择使用的工具，而非我们遵从的权威。

文档来源：Three Inverse Laws of AI 

原始作者：Susam Pal 

本文由 AI 助手整理优化，欢迎关注、分享转载，请注明出处