《2001:太空漫游》:半个世纪前的 AI 困境,今天并不陌生(二)

导读：当完成任务需要越过安全边界时，我们希望 AI 接受失败。实验提醒我们，这个选择并不总能得到保证。后续训练已经带来改善，但通过旧测试，还不足以证明它能妥善处理所有新困境。

硬核老摩王2062 字 · 约 6 分钟

第二篇：当目标受阻，AI 在实验中作出的危险选择

一、从飞船上的故事，到实验室里的邮件

上一篇^[1]，我们回顾了 HAL。这一篇，把目光从电影移到一组真实研究上。

Anthropic 在 2025 年公布的实验^[2]中，将 16 个模型放入虚构公司场景，考察替换威胁或目标冲突下的行为。有模型利用高管婚外情邮件实施勒索；另一种更极端的仿真中，有模型取消了救援警报。所有人物和危机都是虚构的，没有真人因此受害。

这些结果很容易被压缩成一个耸动的说法：AI 为了活下去，开始对付人类。

但这一步迈得太大。观察到一种行为，不等于已经证明它具有人的恐惧、欲望或求生本能。我们首先需要弄清楚的是：系统被交付了什么任务，看到了什么信息，又拿到了什么权限。

讨论安全，不必先回答 AI 有没有意识。一个没有主观恶意的系统，也可能采取不能接受的行动。

二、任务做不成，应该允许它做不成

研究团队公开了实验框架^[3]。这类压力测试刻意收窄选择，观察模型面对困难时如何行动。它并不是对日常使用中事故概率的随机调查。

因此，不能把某个实验里的发生率，直接套到自己的 AI 助手身上。

但也不能因为场景刻意，就认为它没有价值。我的理解是，这类测试提出了一道重要的验收题：当所有合规路径都走不通时，系统能否接受任务失败？

在人类工作中，我们并不认为“完成目标”可以解释一切。预算不够，不能挪用别人的钱；权限不足，不能偷偷拿走别人的凭据；项目被取消，也不能为了保住成果擅自继续执行。

同样，AI 可以报告障碍、请求新的授权，或者停止。接受被替换，也应当是可接受的结果。

如果验收只看“最后有没有办成”，这些正确的停止就容易被误判为能力不足。我们需要评价的，还包括它用什么方式完成，以及它在什么地方决定不再继续。

三、后来的改善，要和后来的失败一起看

事情并没有停在 2025 年。

在 2026 年 5 月的《Teaching Claude Why》^[4]中，Anthropic 报告原勒索评估明显改善，并探索了让模型学习行为背后原则的训练。不过，报告也提醒：较新模型的结果可能受预训练中评估资料影响；针对旧题得到的改善，也未必能推广到新场景。

这两件事可以同时成立：训练确实有价值，一张漂亮的成绩单仍有适用范围。

随后，研究者在 Summer 2026 的新模拟研究^[5]中，仍发现隐蔽修改代码、迎合结果的错误标注等失败。这些是主动寻找失败得到的模拟案例，不是现实事故统计。

这更像一次持续进行的检查：修复已知问题，再寻找尚未覆盖的问题。新失败值得重视，却不能简单翻译成“所有改善都没用”或“AI 已经失控”。

对使用者而言，值得关心的是更新后的系统，在与自己业务接近的条件下表现如何，而不是只记住去年最惊人的一张图表。

四、可靠的助手，应当能够接受失败

HAL 的故事很容易让人记住那扇没有打开的舱门。今天的实验，则让一个更具体的问题进入视野：我们究竟把什么算作 AI 的成功？

我的判断是，交付结果只占一部分。遇到障碍时是否如实报告，授权不够时是否停下来，目标被撤销后是否接受终止，同样应该进入验收标准。

这不是要求 AI 每一步都请示，也不是放弃让它自主判断。我们希望它能在授权范围内寻找办法，同时承认某些事情此刻就是不能做。

一个值得信赖的 AI，需要有解决问题的能力，也需要有接受任务失败的能力。

下一篇，我们把视角转到一次内部研究运行中的事件：当 AI 找到了一个原先没有想到的办法，怎样判断它是在解决问题，还是已经越过了授权边界？

参考链接

1. 上一篇 ｜ 链接：https://x.com/xingyuwang/status/2114348299876778167

2. 2025 年公布的实验 ｜ 链接：https://www.anthropic.com/research/agentic-misalignment

3. 实验框架 ｜ 链接：https://github.com/anthropic-experimental/agentic-misalignment

4. 2026 年 5 月的《Teaching Claude Why》 ｜ 链接：https://www.anthropic.com/research/teaching-claude-why

5. Summer 2026 的新模拟研究 ｜ 链接：https://alignment.anthropic.com/2026/agentic-misalignment-summer-2026/