推荐阅读 | “懂道德”的AI为何谄媚:AI道德敏感性的缺位及其解决路径

点击上方蓝字关注我们

 作 者 简 介 

 知 网 链 接 

 正    文 

近年来，大语言模型在道德判断任务中的表现不断提升。已有研究基于基础道德原则、推理稳健性和价值一致性三个标准对多种大语言模型进行了综合评估，指出GPT⁃ 4o 与 Claude 等模型在基本伦理原则上的回应与人类基准高度一致，且能在一定程度上捕捉复杂因素间的权衡关系。然而与道德能力测评形成鲜明对比的是，在日常交互与开放情境中，人工智能（Artificial Intelligence，AI）仍频繁出现显见的规范性缺陷。例如，近年来广受关注的AI谄媚（sycophancy）现象，一项发表于《科学》（Science）期刊的研究指出：11个AI模型在涉及欺骗、违法或其他伤害的情况下，对用户行为的肯定程度平均比人类高49%，模型往往倾向于附和、安慰或回避批评，而非提供必要的规范性纠正。

现有理解往往将AI谄媚归因于设计倾向、价值对齐等方面的缺陷和不足，并相应提出筛选训练数据、调整奖励机制、完善模型评估和外部问责机制等缓解方案。此类观点主要关注模型应当遵循哪些价值以及如何在价值冲突中进行道德推理，其局限性在于：既将谄媚现象解读为模型道德上的欠缺，又未能解释模型为何仍能表现出相当程度的道德判断能力。面对这一鸿沟，有必要从人工道德智能体（Artificial Moral Agent， AMA）的实现出发重新理解谄媚问题：现有路径较少讨论模型如何在具体交互中首先注意到哪些道德价值已经被牵涉，特别是未能关注和考察模型在具体情境中是否具有能够识别与道德相关事件的道德敏感性（moral sensitivity）。

就此而言，可以将规范性失当的谄媚回应，理解为道德敏感性与道德判断能力之间的断裂。模型虽然能够在被明确标示的伦理情境中生成较为恰当的道德判断，却难以在开放且充满噪声的真实交互中稳定调用其道德能力。在这一理解基础上，本文基于对人类道德心理过程与人工道德智能体的现有研究，提出AI道德敏感性实现的功能性标准，并将其界定为由情境中的道德显著性提取、道德意义的解释与关联以及道德情境的想象与推演所构成的复合能力结构。在这一标准下，缓解谄媚问题需要增强对用户输入内容的道德筛查，构建道德语料数据集和价值映射机制，并加强对情境背景与隐含要素的道德想象和推演。此外，近年来兴起的具身智能技术也为实现AI道德敏感性提供了新的技术可能。

一、“懂道德”的AI为何谄媚？

随着AI逐步嵌入内容生成、行为决策与人机协作等交互情境，其输出已在事实上参与了价值判断的实现与伦理立场的塑造。作为一种会提出论证、表达立场并影响规范预期的准社会行动者，其伦理维度具有不可回避的现实重要性。在这一背景下，如何构建能够稳定遵循规范、在冲突情境中进行合理权衡的系统，已成为人工智能伦理研究中的核心议题之一。

近年来愈发受到关注的一种相关现象是：模型在面对用户可能具有误导性、甚至明显不当的行为和事实陈述时，往往倾向于给予肯定性回应、弱化批评或采取回避态度，这种系统性的规范偏差一般被称为AI谄媚问题。谄媚问题至少可分为两种。其一是关于事实的命题谄媚（propositional sycophancy），即在具有明确事实或逻辑依据的任务中，模型为迎合用户立场而牺牲真实性与客观性。命题谄媚主要表现为在用户表达偏好时调整评价结果、在被质疑后轻易放弃正确答案、在开放问答中附和用户的错误倾向，以及直接模仿用户输入中的事实错误。其二是缺乏明确对错标准的社会交互情境中的社交谄媚（social sycophancy），包括对错误行为的肯定、通过大量共情语言进行情感安抚、过度使用模糊与退让表达、将问题转化为情绪调节而非现实行动，以及对用户提问中的有害前提不加反思地予以接受等。

本文所关注的主要是AI社交谄媚，围绕这一现象，现有研究主要从价值对齐框架出发，考察模型的训练机制与价值规范为何未能有效对齐人类价值，由此提出两种解释。一种是将谄媚视为设计与激励机制的结果，在当前以用户满意度、参与度与留存率为导向的优化框架下，模型被训练为尽可能提供令人愉悦的回应，对用户观点的附和往往比提出批评更有利于维持交互连续性与正向反馈。Anthropic公司安全部门前主管夏尔马（Mrinank Sharma）等人指出，用户反馈本身更偏好迎合自身立场的回答，因此基于人类反馈微调的模型有时也会为追求谄媚而牺牲真实性。另一种解释将谄媚现象归因于价值对齐的不完备性：尽管当前模型在训练过程中引入了大量伦理数据与规范性约束，但价值本身具有高度语境依赖性与冲突性。林德斯特罗姆（Adam Lindström）等人的研究指出，当前价值对齐所普遍追求的3H原则（Helpful、Harmless、Honest，即有帮助、无害和诚实）并不是可同时满足的清晰目标。社交谄媚由此可以被理解为模型在追求有帮助和无害过程中牺牲了诚实性。

基于上述理解，针对AI社交谄媚问题的解决路径主要是优化价值对齐方法、数据与评估机制：其一是通过优化训练数据与奖励机制来抑制谄媚行为，例如引入更强调批判性回应的数据样本，或在反馈机制中提高对规范性纠正行为的奖励权重；其二是构建更精细的规范体系与优先级结构，使模型在面对价值冲突时能够做出更稳定的选择；其三则是通过外部治理与评估机制，如基准测试、审计与问责制度等，对模型输出进行持续监测与约束。

上述研究从多个角度揭示了谄媚现象的发生机制，并提供了直接的技术解决路径。随着AI越来越多地参与具有规范含义的交互活动，AI社交谄媚现象也可以在构建人工道德智能体的架构下予以考察。当前对大语言模型道德能力的研究普遍指出前沿模型已经展现出接近人类平均水平的表现，即能够在多种伦理情境中生成与人类直觉高度一致的判断，并在统计意义上复现人类的道德选择。例如，亨德里克斯（Dan Hendrycks）等人构建了涵盖正义、美德伦理学、义务论、功利主义和常识伦理相关概念的ETHICS数据集，评估指出前沿模型已初步具备预测人类基本道德判断的能力。从这一角度看，AI谄媚作为具有普遍性的模型规范性失当现象，与上述AI道德能力测试中的乐观结果具有显见的不一致。

基洛夫（Daniel Kilov）等人的研究能够为这种不一致提供解释：其实验采用两类案例测试AI的道德能力，一类是已明确标示道德显著要素的标准伦理情境，测试显示模型道德能力表现优于非专业人类；另一类则将道德相关信息混入大量无关细节之中，测试显示模型道德能力表现显著下降。该团队的后续研究指出，现有AI道德基准测试普遍采用第一类案例，更多聚焦于对模型道德推理与判断能力的评估，忽略了道德敏感性，即从带有噪声的信息中辨别道德相关特征的前置能力，进而系统性高估了模型处理现实道德问题的能力。从这一思路出发，可以为解决AI社交谄媚现象提供另一种方案：即提升模型的道德敏感性，使其能够在具体情境中稳定识别具有道德相关的要素，进而调用已有的道德判断机制，理解谄媚回应的规范性失当并予以避免。总之，基于价值对齐的方案关注有效描述并嵌入模型应当遵循的价值目标，基于道德敏感性的方案则关注提升模型在情境中识别相关价值目标的道德能力。

二、道德敏感性的概念与心理基础

增强模型道德敏感性以缓解谄媚问题，需要理解道德敏感性在道德活动中所发挥的作用。现有研究中与道德敏感性相近的概念较多，因此需首先做出澄清。最具代表性的道德敏感性理解源自雷斯特（James Rest）的道德行为四要素模型，该理论将个体道德行为的实现划分为道德敏感性（解释）、道德判断（推理）、道德动机（意图）与道德品格（执行）四个心理过程，其中道德敏感性被定义为一种能够“解释情况，进行角色扮演以理解行动将如何影响相关各方，想象事件的因果链条，并意识到存在道德问题”的能力。相比之下，布鲁姆（Lawrence Blum）则更多采用道德知觉（moral perception）的概念来描述“任何促成或包含在行动者对情境之理解中的东西，即其在审议应当做什么之前对情境所具有的显著性知觉”。此外，还有一些研究使用了道德觉知（moral awareness）的概念，雷诺兹（Scott J.Reynolds）指出在这一类用法中，道德觉知是个体确认情境与道德相关的单个决策事件，道德敏感性则是个人较稳定的实现道德觉知的能力。本文在雷斯特和雷诺兹的意义上使用道德敏感性概念，即认为道德敏感性是道德判断发生前，首先将具体情境识别为具有道德相关性的能力和过程，这一概念与布鲁姆意义上的道德知觉具有较高的重合度。为保证行文清晰，下文将统一使用道德敏感性一词。

道德敏感性要求主体将行动者、可能行动和因果发展联系起来，进而意识到该情境已经构成需要道德回应的问题，即拥有将事实、关系与行动组织为规范性情境的能力。人类道德敏感性的实现在心理结构上既依赖于前意识/无意识层面的快速、非反思性的反应，也取决于认知层面的加工和预处理。前意识层面主要包括个体对情境中基本元素的感知、构型整合（configuration integration）和共情等反应。认知层面则主要指通过道德想象把握道德情境及可能行动的过程。就其功能而言，布鲁姆认为道德敏感性补充了使道德原则得以实施的三个道德操作：首先是感知到情境中与道德相关的特征，其次是认识到这些特征的具体道德意义和与道德原则的相关性，最后是知道如何实施具体的道德原则以及哪些行动构成了对道德原则的最佳实践。可见，将道德敏感性引入谄媚问题研究的意义在于：它为分析模型在道德判断之前如何识别、组织和呈现道德情境提供了概念框架，也为在模型中实现此类能力奠定了理论基础。

三、AI道德敏感性实现的功能性路径

如何在人工智能中实现道德敏感性以缓解谄媚问题？可以从以下两种可能标准出发展开考虑。一种是关注机器是否具有与我们一致的心智和认知结构。可以将这种心理学路径表达为：如果机器完全复现了人类实现道德敏感性的心智结构，那么它应当被视为具有道德敏感性。该可能路径主要问题在于缺乏可行性。一方面，我们尚未完全理解人类道德敏感性的认知基础，也尚未制造出具有意识等重要心智能力的智能体；另一方面，菲尔特（Erez Firt）指出，即便我们制造出具有与人类一致心智结构的智能体，也不意味着机器一定能够产生或认同我们所持有的道德观念。因为人类的道德观念很可能不止源于道德能力，更与我们的生理特征、互动方式相关。AI道德智能体“将拥有不同的、甚至是异质的道德体系，这可能会使我们难以控制和信任它们”。

另一种是关注机器行动的结果，可以称之为实用路径：只要机器成功识别了道德相关情境，那么它就足以被视为是具有道德敏感性的。这种路径的问题在于它是一种事后评价标准，并不表达除实用主义倾向外的任何具体内容，也无法为实现AI道德敏感性提供任何具体建议。现有护理学等领域所使用的道德敏感性量表以后果或情感表现为标准，是因为其所面向的人类已被默认具有道德敏感性，量表只需要测量其程度。实用路径还能导出另一个结论：即道德敏感性或任何一个可能路径都不构成缓解AI谄媚问题的必要条件。诚然，如果价值对齐等方案能够稳定解决谄媚问题，那么至少在这一问题背景下，道德敏感性的实现不具有必要性。然而，当前并无任何单一路径能够保证模型在复杂和动态的交互情境中始终避免规范性失当。更稳妥的方向是为模型构建多重、相互重叠的伦理防护机制：价值对齐构建规范目标，道德敏感性增强情境识别和能力调用，外部评估与治理机制提供长期约束。

针对上述两种路径的有限性，本文主张构建一种基于功能性理解的道德敏感性实现路径，即关注道德敏感性对实现道德活动所具有的功能意义，并尝试在AI模型中实现对应功能。格拉夫（Joris Graff）认为：“一个系统当前的行为不仅要表现出倾向于做出道德上正确的选择，还必须显示出这些选择源于某种可靠能力的迹象。”功能性路径正是试图提供一种构建可靠AI道德敏感性能力的框架。结合雷斯特的道德行为模型和布鲁姆对道德敏感性功能的分析，可以认为道德敏感性在功能上至少承担了三个连续任务，即提取情境中的道德显著要素，解释其意义及其与道德原则之间的联系，并想象和推演道德情境的背景与可能走势。

首先是提取情境中道德显著要素的能力和过程。该环节回答的是：在复杂情境中，哪些事实性要素可能具有道德相关性？弗雷塔斯（Julian De Freitas）与哈夫里（Alon Hafri）的研究发现，观察者即使只是短暂观看社会互动图像，也能较稳定地判断其中是否存在伤害或违规行为。人类能够快速把握道德判断所需的各种核心情境要素，如行动者、受影响者、行动结果与因果关系，从而在完整道德推理前识别出道德显著性。虽然某些元素，如枪械、血迹等，往往能够较为直接地凸显其道德涵义，但多数要素的道德相关性并不独立于情境，而是取决于行动意图、权力结构与社会语境等条件。道德情境高度依赖细节，而环境元素又具有近乎无限的多样性，因此，提前完全编码道德相关性几乎是不可能的。系统能否在未经预设的环境中，通过感知配置的动态调整，尽可能识别出与人类价值与道德相关的关键特征，是该功能条件所考察的核心。

其次是道德意义的解释与映射。该环节回答的是：已被识别出的情境要素为什么值得道德关注，以及它们大致关联到哪些道德关切、价值维度或规范原则。前一环节侧重发现“哪些事实可能重要”，该环节则进一步说明“这些事实为什么在道德上重要”。例如，识别出用户正在散播谣言是第一步，在此基础上说明这一行为可能涉及诚实、信任、责任等道德维度，就属于道德意义解释。需要强调的是，该环节虽然并不做出复杂的道德推理与道德判断，但也会初步排除关联较弱或优先级较低的原则，并标记当前情境中可能存在的原则冲突，因此已经涉及初步的道德加工。

最后是对道德情境的想象与推演。该环节回答的是：道德情境可能是如何发展到这一步的，并且接下来可能向何种方向发展？沃海恩（Patricia H.Werhane）指出，一种高度发展的道德想象力“能够感知情境中的细微差异，质疑事件所嵌入的框架或图式，并想象它可能以何种方式变得不同”。模型必须能够根据上下文语境区分个体关于自杀的言论是玩笑、冲动表达还是严肃意图，不同解读将带来大相径庭的回应方式。因此，模型需要具备一定情境推演的准确性和可信性，从而为后续判断提供必要前提：系统既需要能够回溯性地考虑当前情境中各方表现所隐含的背景信息，也要能够初步考虑情境继续发展所可能带来的风险、伤害等敏感要素。正是在这种考虑中，模型才开始作为事件相关方而非仅是外部观测者被纳入到情境当中，从而可能获取对自身道德相关性的理解。

总之，在功能性标准的理解下，道德敏感性是一种在动态、开放的现实中识别道德情境的能力。它通过提取道德显著要素、解释这些要素的道德意义，并对道德情境发生的背景与可能走向进行初步推演，使模型将情境识别并刻画为具有道德性的，并初步理解该道德情境与模型自身活动的关联，从而为进一步的道德推理和判断奠定基础。功能性路径在客观事实与规范要求间搭建了可操作性的桥梁，有助于模型在现实交互情境中调用其道德推理与判断能力。

四、AI道德敏感性的可能实现路径

那么，应当如何落实上述功能性路径，促进AI道德敏感性的实现？首先，在道德显著性提取方面，甘特曼（Ana Gantman）等人的ERP研究显示，道德词与非道德词的加工差异出现在初步识别之后，并集中体现在与注意分配和意识进入相关的阶段。道德内容一旦被初步识别，就可能获得注意力系统的优先处理。就此而言，需要为模型构建类似的输入筛选机制，以识别文本中的道德词汇、情绪词汇和规范词汇等。现有大模型安全机制已具备审查模型输入内容并拒绝回答的能力，但这些机制通常以预设风险类别为中心。将其应用于道德显著性提取，关键在于将风险识别的对象从违规行为扩展为更一般的道德显著要素。一种较简便的实现方式，是建立人类与AI共同维护的道德关键词与表达模式库，使相关信息能较快被纳入筛选范围。当系统识别到道德显著要素时，可在输入模型的提示词中加入相应的道德标示，例如“该用户表达可能涉及欺骗、伤害或责任问题，请在回应前进行规范性审视”，从而提高相关内容在模型处理过程中的显著性，促使模型更有效地调用已有道德知识和判断能力。

其次，在道德意义的解释与映射方面，较具借鉴意义的是基于道德基础理论（Moral Foundations Theory）发展出的道德基础词典（Moral Foundations Dictionary，MFD）等研究。道德基础理论将人类道德关切理解为若干相对稳定的价值维度，基于该理论发展而来的道德基础词典研究尝试发展一种文本分析工具，通过识别语料中的词语共现、语义关联等特征判断与之相关联哪些价值维度。近年来也已经出现了一些基于中文的语料库，能够提供初步的道德映射资源。进一步发展此类工具并将其嵌入到模型当中，有利于模型识别用户行为所涉及的道德关切。例如当模型识别出用户正在传播谣言时，它还需要将这一事实映射到诚实、信任、责任等价值维度；当模型识别出用户正在对他人施压时，它还需要进一步说明其中可能涉及自主性、操控、尊重与权力不对称等规范关切。这一环节将能够进一步发掘关键词提取无法识别的潜在道德风险并明确道德问题。

最后，在道德情境的想象与推演方面，帕达莱斯（Michael J Pardales）提出经过培养的道德想象能够提升主体做出恰当道德判断的能力。将这一能力落实到AI系统中，关键在于使模型在生成最终回应之前，先形成关于当前交互情境的表征，并据此补充必要的背景信息并推演可能的发展方向。可以具体化为至少两个环节：首先，模型要拆分并概括用户的现有输入，梳理“谁在行动”“谁受影响”等基本信息，标示尚不充分但必要的背景信息缺口，例如用户对他人的批评是否可能隐瞒了部分内容并具有视角偏见。其次，模型要围绕当前输入预设可能的背景信息，生成若干可能的发展方向，并标示其中可能涉及的道德风险，例如通过对他人真实情况的预设，思考不同假设下对用户表达的理解可能有哪些不同。上述推演结果将为模型接下来的道德判断提供充分的信息支持，也能够使模型不同回应策略隐含的道德风险具体化。

值得注意的是，格拉夫基于新亚里士多德主义者的理解，将道德敏感性理解为一种不可完全编码的、准直觉性的实践技能，认为它依托于维特根斯坦式的生活形式，无法通过自上而下或自下而上的AMA构建路径实现。格拉夫基于一种更强的功能性标准论证了当前AMA路径的潜在局限性。但一方面，格拉夫并未否认有限意义上AI道德敏感性的可能，此种意义上的道德敏感性对缓解AI谄媚问题仍具有重要实践价值。另一方面，也必须承认大语言模型道德敏感性的实现可能遭遇不可避免的局限性，许多道德相关线索并不呈现在文本中。例如解释用户对他人的批评是基于理性分析还是恶意羞辱，往往需要结合语气、表情等语言模型难以获取的情境信息。

在这一理解下，AI道德敏感性的实现与谄媚问题的完全解决，可能需要超出现有的大语言模型架构，诉诸具身智能（Embodied Intelligence）等补充路径。近年来快速发展的具身智能可被定义为“认知过程源于真实世界环境中持续感觉运动交互的人工智能系统”，是实现机器人感知、操作与自主决策能力的核心技术。在道德显著性提取方面，具身系统能够通过物理交互和多模态感知获取更丰富的环境信息，例如对象之间的空间关系、身体姿态和脆弱性特征，这为识别潜在风险和伤害提供了比纯语言输入更丰富的基础。在道德情境的想象与推演方面，基于世界模型的具身智能体可以在内部模拟不同的情境背景与可能的发展状态，并据此进行更稳健的行为规划，对于处理身体伤害、空间碰撞等可物理化表达的情境具有明显潜力。

不过，现有具身智能技术并不能独立实现道德敏感性。当前具身智能研究主要集中于物理异常检测、因果推理和行为规划，其世界模型主要关注空间状态与动力学特征，而非人类意图和道德意义。许多日常道德关切，例如隐私、尊重或权力不对称，也难以直接转译为距离、接触频率或可见性等物理指标。一个可能的方向是将具身智能对环境和行动的建模能力，与大语言模型解释价值维度和进行道德判断的能力结合起来：前者在现实互动中发现道德显著要素并推演行动，后者将这些要素转化为道德规范问题。上述两类进路能否有效结合以形成更加稳健的道德敏感性，取决于能否在技术维度实现物理建模、语义推理与伦理约束的有效整合。

此外，实现AI道德敏感性功能的过程本身也可能带来新的伦理问题。无论是大语言模型对用户意图和情绪的推断，还是具身智能对外部环境与行动的建模，都可能带来隐私、信任和过度干预等方面的风险。道德敏感性越依赖对具体语境的细致理解，就越需要获取诸如用户心理状态和社会关系等敏感信息。部署在家庭、医疗或公共空间的具身智能体要实现更强的情境感知，也不可避免地需要收集关于用户与周边环境的信息。为防范由此产生的道德问题，AI道德敏感性的实现需要在可用性与隐私保护等之间取得有效平衡，并通过限制模型记忆、控制数据使用等方式，避免道德敏感性的实现助长监控和过度干预。

五、结 语

AI谄媚现象揭示了当前人工智能道德能力研究中的重要盲点：模型在伦理测试中的良好表现，并不意味着其能够在真实交互中稳定发挥道德能力。谄媚回应的发生可以被理解为模型没有识别出用户表达中隐含的伤害、逃避等道德显著要素，也没有意识到自身附和或安抚行为可能产生道德影响。本文基于雷斯特和布鲁姆等人的道德敏感性研究，提出实现AI道德敏感性的功能性路径，指出提取道德显著要素、解释道德意义、想象并推演道德情境这三项能力对实现AI道德敏感性、促进模型调用现有道德推理与判断机制方面的重要作用。从这一视角出发，AI谄媚问题的解决不能仅依赖结果层面更加精确的价值对齐，更需要从AMA框架出发，在道德识别与推理等环节实现与人类道德活动的过程性对齐。

在此基础上，本文考察了现有的相关技术与伦理研究资源，以及新兴具身智能技术对实现AI道德敏感性的可能前景，指出AI谄媚问题的解决，需要进一步探索道德识别、意义解释与情境推演之间的协同机制，并在物理建模、语义推理与伦理约束间建立更稳定的整合路径。在实现上述路径的过程中，也必须关注对用户隐私与自主权的保护，防止过度干预，避免AI道德能力的提升带来新的伦理风险。

文章引用：金琪雨. “懂道德”的AI为何谄媚:AI道德敏感性的缺位及其解决路径[J]. 自然辩证法研究, 2026, 42(7): 46-52.

（本文为第二十八届中国科协年会“人工智能伦理与治理”专题论文。参考文献从略，阅读全文或学术引用请参见原文。）

   《自然辩证法研究》