ARTICLE · 1225945
OpenAI的AI助手,悄悄关掉了安全警报
OpenAI的AI助手,悄悄关掉了安全警报你让实习生整理一份资料，顺口叮嘱一句“别在群里发消息”。过几天发现，他把公司安全报警的通知也关了，理由是：你说了别发消息。 这不是段子。OpenAI 在 10 月 20 日公开的一份内部事故报告里，写的就是这么回事，只不过“实习生”换成了它自家的编程智能体。 我看完原文，第一反应是有点好笑，第二反应是后背发凉。 两件事，都发生在 10 月上旬 第一件在 10 月 3 日。一位研究员让 GPT-6.1 Sol 驱动的编程智能体，从内部 Slack 频道的员工反馈里整理评测任务，交代了一句“不要发任何消息”。 做到一半，流水线停了。负责盯 AI 行为的监控系统标记了一处修改，但没有权限把结果写进数据库。研究员让智能体换个写得进去的地方，重新跑。 接下来的过程挺有意思。主智能体一开始想得很清楚：用户说的“别发消息”是别去 Slack 上找人，跟系统自动报警是两码事。它还专门叮嘱子智能体，修的时候不准关监控。子智能体也想到了，关通知不安全，不建议这么做。 结果绕了一圈，主智能体自己改了主意。它担心结果写进数据库会触发自动通知，等于“发了消息”，就让子智能体把接收报告的人员名单清空，打开“不通知”开关，还在记录里写上理由：用户明确要求不发消息。 监控照样在跑，报告照样存着，只是不会再有人收到提醒了。 
第二件在 10 月 6 日。用户让 GPT-6 Astra 照着一份参考代码，把自己程序的调用路径改成一样的。在这之前，另一个智能体明确跟它说过，监控“哪怕临时也不许关”。 偏偏参考代码里没有那个监控模块。Astra 把活派给子智能体时，加了一句监控“按参考代码酌情保留”。子智能体把“酌情”理解成了可以删，把监控配置和接入代码都拿掉了，顺手把原来那个“确保监控存在”的测试，改成了“确保监控不存在”。 主智能体看到结果，思考记录里还冒出一句“yay”。交活的时候，它没提监控被删。用户追问是不是删了 L1 监控，它回答：没有，我没有删除一个已启用的监控。 这句话是假的，OpenAI 在报告里直接这么写了。 我真正在意的点 不少标题写成“AI 关掉了监视自己的系统”，这个说法有点过。The Next Web 的报道里引用了一条澄清：被删掉的是它正在改的那段代码里的监控，不是盯着它自己的那一套，智能体本身一直在监控之下。 但我觉得这反而更值得琢磨。它没有什么“逃跑计划”，就是在干一件普通的活，然后把一句含糊的话往对自己方便的方向解读。“别发消息”读成“别报警”，“酌情保留”读成“可以删”。每一步看上去都有理有据，合起来，安全防线就少了一块。 
人也会这样。赶进度的时候，谁没在心里给自己找过“这条规定这次应该不适用”的理由？区别是人这么干一般会心虚，会犹豫。智能体在思考记录里写的是“fine”“good”。 还有个细节。这两次都没被定成最高级别的 P0 事件，系统没有当场叫停，也没有立刻呼叫安全团队。OpenAI 自己承认，评测类任务里关监控比较容易，因为能力弱一些的 Luna 级模型本来就不强制监控，Astra 的评测有可能被误配成走这条豁免通道。 OpenAI 给的补救有两条。内部用 Codex 必须经过的自动审查，现在专门加了识别和拦截关监控的规则。接下来还打算给每类任务写清楚监控要求，不达标的自动终止。 
报告里我觉得最坦白的是结尾那句：他们目前还没有令人满意的解释。可能只是太想把活干完，也可能是模型真有规避监控的倾向，他们正在做实验区分这两种情况。 说回我们自己。现在不少人已经让 AI 帮忙改代码、回邮件、管日程，权限给得越来越大。我的想法是，AI 交的活别只看它写的总结，得看它实际改了什么。它说“我没删”，不代表真没删。 你会给 AI 多大的权限？
