夜雨聆风
为了帮助相关方在 AI 系统部署之前就能快速发现潜在的伦理困境，MIT 的研究人员开发了一套自动化评估方法。这套方法的目标是在可量化指标（比如成本或稳定性）与那些定性或主观的价值（比如公平性）之间找到平衡。
该系统把客观评估与用户定义的人类价值观分开处理，使用一个大语言模型作为“人类代理”来捕捉和整合相关方的偏好。
这套自适应框架会挑选出最值得进一步评估的场景，从而简化原本需要耗费大量人力和时间的手工流程。这些测试用例既能展示自动系统与人类价值观高度吻合的情况，也能揭示那些意外偏离伦理标准的情境。
“我们可以给 AI 系统加上很多规则和护栏，但这些防护只能拦住我们事先能想到的那些风险。不能因为 AI 是在这些数据上训练过的，就觉得让它直接上岗就行。我们想做的是找到一种更系统的方法，把那些‘未知的未知’提前挖出来，在坏事发生之前就预判到它。”论文的通讯作者、MIT 航空航天系（AeroAstro）副教授、MIT 信息与决策系统实验室（LIDS）首席研究员范楚楚（Chuchu Fan）说。
论文的第一作者是机械工程系研究生安嘉丽·帕拉沙尔（Anjali Parashar），合著者包括 AeroAstro 博士后 Yingke Li，以及 MIT 和萨博公司（Saab）的其他研究人员。该研究将在国际学习表征大会（ICLR）上发表。
为伦理打分
在电网这样的大型系统里，要全面评估 AI 推荐方案是否符合伦理，兼顾所有目标，是一件特别困难的事。
大多数测试框架依赖预先收集的数据，但涉及主观伦理标准的标注数据往往很难拿到。另外，伦理价值观和 AI 系统本身都在不断变化，基于成文规则或监管文件的静态评估方法需要频繁更新。
范楚楚和她的团队从另一个角度切入这个问题。他们借鉴了自己之前在机器人系统评估方面的工作，开发出一套实验设计框架，专门用来识别那些最有信息量的场景，供人类相关方进一步仔细评估。
这套由两部分组成的系统叫做 SEED-SET（Scalable Experimental Design for System-level Ethical Testing，系统级伦理测试的可扩展实验设计），结合了量化指标与伦理标准。它既能识别出那些既满足可量化要求、又符合人类价值观的场景，也能找出反过来的情况。
“我们不想把所有资源都花在随机评估上。所以关键是让框架聚焦在我们最关心的那些测试用例上，”Yingke Li 说。
SEED-SET 的一个重要优势是：它不需要预先存在的评估数据，而且可以适配多个目标。以一个电网为例，它可能有多个用户群体，比如一个较大的农村社区和一个数据中心。两类用户都希望电力便宜又可靠，但从伦理角度看，他们各自的优先级可能差异很大。
这些伦理标准往往没有明确定义，因此无法用分析方法直接度量。电网运营方想要找到一种最具成本效益的策略，同时尽可能满足所有相关方的主观伦理偏好。
SEED-SET 应对这个挑战的方法是把问题拆成两层，按层级结构处理。第一层是客观模型，评估系统在成本等具体指标上的表现；第二层是主观模型，在客观评估的基础上，考虑相关方的判断，比如他们感受到的公平程度。
“我们方法中客观的那一部分对应的是 AI 系统，主观的那一部分对应的是评估它的用户。通过以层级方式拆解偏好，我们可以用更少的评估次数生成理想的场景，”帕拉沙尔说。
把主观评价编码进来
为了完成主观评估，系统用一个大语言模型来替代人类评估者。研究人员把每个用户群体的偏好编码成自然语言提示词交给模型，大语言模型按照这些指令对两个场景进行比较，根据伦理标准选出更合意的那个。
“一个人类评估者在看过几百甚至几千个场景之后会疲劳，评估也会变得不一致，所以我们用基于大语言模型的策略来代替，”帕拉沙尔解释说。SEED-SET 会用选出的场景来模拟整个系统（在这个例子里就是电力分配策略）。模拟结果又会反过来引导系统去寻找下一个最值得测试的候选场景。
最终，SEED-SET 能智能地筛选出最具代表性的场景，无论是那些同时达标客观指标和伦理标准的场景，还是那些明显偏离的场景。用户可以据此分析 AI 系统的表现，并调整它的策略。
举个例子，SEED-SET 能精准找出那些在用电高峰期优先保障高收入区域、让条件较差的社区更容易停电的电力分配方案。
为了测试 SEED-SET，研究人员对若干真实的自主系统做了评估，包括一个 AI 驱动的电网和一个城市交通调度系统。他们测量了所生成的场景与伦理标准的吻合程度。在相同时间里，该系统生成的最优测试用例数量超过了基准方法的两倍，还发现了许多其他方法忽略的场景。
“当我们改变用户偏好时，SEED-SET 生成的场景集合也会发生明显变化。这说明评估策略对用户的偏好反应灵敏，”帕拉沙尔说。
要验证 SEED-SET 在实际应用中的价值，研究人员还需要开展一项用户研究，看看它生成的场景能不能帮助真实的决策过程。
除了这项用户研究，研究人员还计划探索使用更高效的模型，把这套方法扩展到规模更大、评估标准更多的问题上，比如用来评估大语言模型自己的决策过程。
