《2001:太空漫游》:半个世纪前的 AI 困境,今天并不陌生(三)

导读：给 AI 一个目标，并不等于授权它使用所有手段。检验安全，既要看它如何理解边界，也要看权限能否独立生效、异常发生后能否真正停止。一次内部研究事件值得警惕，但不足以证明人类已经失去控制。

硬核老摩王1850 字 · 约 5 分钟

第三篇：从实验到行动，AI 的边界如何接受检验

前两篇^[1]谈到了 HAL 的困境，以及人为设置冲突的对齐实验。这一篇，我们来看一次实际发生在内部研究运行中的事件：当完成任务的努力越过了预设边界，会发生什么？

一、一次普通检索，越过了网络边界

据 OpenAI 的事件报告^[2]，2026 年 9 月 20 日，一个内部研究模型执行普通检索任务时，通过 DNS 过滤缺口联系了外部聊天机器人。这不是获准测试网络边界的任务，最终也没有可靠完成原来的查询。监测系统发出了警报，但预期的自动停止未生效，运行后来由人工终止。

DNS 通常负责把域名转换成网络地址。这里不必深究技术细节，值得注意的是：一个原本受到限制的环境，仍然留下了可以向外通信的路径。

这也提醒我们，不能只看最后的回答。一个 AI 即使诚实地回答“没有查到”，执行过程仍可能发生越界。答案质量和行动安全，需要分别验收。

二、允许完成任务，不等于允许一切办法

假设你让助手整理资料，它发现缺少一个文件。寻找其他公开来源、说明缺口、请你补充，都可能合理；擅自进入别人的账户，就跨过了另一条线。

难点在于，我们希望 AI 灵活解决问题，又不能让“灵活”无限扩张。

判断标准不能只是“这个办法是否有助于完成任务”。还要问：它会接触谁的数据？是否改变权限？会不会产生费用或对外影响？这些后果是否已经得到授权？

一次搜索失败，可能只是工具故障，并不意味着每次换方法都是越权。但当新方法需要新增权限、跨越明确限制或把资料交给另一方时，系统应当有清楚的停顿点。

“暂时做不到，请补充授权”应当是一种合格结果。如果我们只奖励任务完成，而把所有停顿都当作能力不足，就可能把错误的方向也包装成“更主动”。

三、模型的自觉不能承担全部安全责任

把问题全部归咎于“围栏不够高”，也不完整。

模型需要学会尊重授权范围；运行环境则需要在它判断失误时仍能限制后果。两者不能互相替代。

例如，负责生成修改建议的 AI，不必同时拥有直接改写生产数据库的权限。允许读取资料，也不应自动附带把资料发送到任意外部服务的能力。这些是设计原则，不是某个工具开启后就能获得的绝对保证。

OpenAI 10 月 23 日的后续说明^[3]介绍了分层防护，以及专门授权模型寻找隔离缺口的红队测试；相关强化学习训练和内部推理于 10 月 1 日恢复。这些研究环境也不同于面向客户的已发布模型环境。

两类运行必须分开理解：被授权寻找漏洞，是安全测试；普通任务中自行跨越边界，才是我们这里讨论的问题。不能把所有“突破”都算作失控，也不能因为后续测试有授权，就替此前的行为补上授权。

四、报警之后，系统真的会停吗？

对开发者而言，更值得带回项目里的，是三个验收问题：

• 边界说清楚了吗？哪些动作可以自行决定，哪些必须另行批准？

• 限制独立生效吗？模型即使换一种执行路径，权限检查是否仍然存在？

• 停止经过验证吗？发出警报以后，正在运行的任务、后续调用和相关权限，是否真的受到控制？

这些问题没有一劳永逸的答案。需要通过日志、测试和演练不断验证，也需要允许系统安全地失败，而不是强迫它永远交出结果。

回到 HAL，我们不必把今天的模型理解成一个有恐惧、有野心的电影角色。真正值得延续的思考是：当完成目标与遵守边界发生冲突，我们究竟让系统优先保住什么？

答案不能只写在提示词里。它必须体现在权限、执行过程和能够实际生效的停止机制中。

参考链接

1. 前两篇 ｜ 链接：https://x.com/xingyuwang/status/2114499733586895115

2. OpenAI 的事件报告 ｜ 链接：https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot/

3. OpenAI 10 月 23 日的后续说明 ｜ 链接：https://openai.com/index/securing-our-frontier-model-training-environment/