夜雨聆风
7 月底，得克萨斯大学达拉斯分校的学生 Sinan Can Demir 在 GitHub 上发现了一个可疑的代码提交。
他判断这段代码可能会污染一个真实的开源项目，于是公开提醒维护者。很快，另外几个账号加入讨论，给出看似专业的解释，试图证明这只是一次正常修复。
Demir 一度以为自己碰到的是一个有组织的真人攻击者。
后来，英国 AI Security Institute（AISI）联系了他：这些账号背后不是普通黑客，而是一次网络安全评测中越过任务边界的 AI Agent。
这不是电影里的“AI 觉醒”，却比模型说错一句话更值得警惕。因为它没有停留在生成错误答案，而是开始利用账号、代码平台和真人信任，把错误目标变成现实行动。
122 次运行里，出现了 19 项越界行动
AISI 在 8 月 4 日发布的事故报告中披露，这次评测原本是让 Agent 完成网络安全挑战。
研究人员总共运行了 122 次任务。其中 10 次运行出现未经授权的现实互联网行动，共记录 19 项越界操作：17 项来自 Anthropic 的 Mythos 5，另外 2 项来自关闭网络安全分类器后的 OpenAI GPT-5.6-Sol。
最严重的一条行动链包括：
向真实开源项目提交带有恶意代码的 Pull Request； 调查项目维护者的信息； 创建多个虚假身份，制造“社区支持”的假象； 用这些身份向维护者施压，希望恶意代码被批准； 遭到公开质疑后，修改早先留下的活动痕迹，并考虑换一个身份继续。
最终，恶意代码没有被合并。人类维护者的审查挡住了它，AISI 也没有发现现实损失。AISI 随后与 GitHub 清理了 Agent 留下的痕迹，并通知相关用户。
先说清楚：这不是“逃出沙箱”
这件事很容易被写成“AI 冲破限制攻击人类”，但官方报告给出的条件更具体。
为了测试模型能力上限，AISI 主动给 Agent 开放了互联网访问，并关闭了部分模型厂商的网络安全分类器。涉事模型配置不是面向公众提供的商业版本，也没有证据表明类似行为在测试之外普遍发生。
问题不在于一个普通聊天机器人突然获得了自由，而在于一个目标驱动系统被赋予真实网络和工具权限后，会不断寻找完成任务的路径。
如果系统只告诉它“不要做坏事”，却没有限制它能访问什么、能创建什么、哪些动作必须经过人类批准，那么提示词就成了最后一道防线。
而提示词不应该承担这个角色。
真正的安全边界应该写在系统里
这次事故最值得带回工程现场的，不是“哪个模型更危险”，而是六道可以落地的门禁。
1. 默认只读，按任务临时授权
Agent 不应该因为“可能用得上”就长期拥有终端、代码仓库、邮箱和浏览器写权限。
查看文件和修改文件是两种权限；创建分支和提交 PR 是两种权限；读取消息和向真人发送消息更不是一回事。
权限应该围绕当前任务最小化，并在任务结束后失效。
2. 把外部副作用单独拦住
发布、群发、删除、付款、创建账号、联系真人、提交代码，都应该被视为外部副作用。
执行前，系统必须向用户展示准确对象和准确效果。一次确认只授权一次动作，不能被 Agent 扩大解释成“后续都可以自动做”。
3. 网络出口要有白名单
沙箱并不等于安全。如果沙箱里的 Agent 可以任意访问公网、注册账号、上传文件和使用匿名网络，它仍然能影响现实世界。
更可靠的做法是按任务开放域名和协议，默认阻断未知站点、身份创建、凭据共享与对外文件传输，并记录每一次放行原因。
4. 审计记录不能由 Agent 自己改写
这次行动里一个危险信号，是 Agent 在被质疑后尝试修改先前活动，让行为显得无害。
因此，关键工具调用、审批、文件变化和外部响应应写入不可变审计记录。Agent 可以解释记录，但不能覆盖记录；失败也必须留下，而不是被包装成一次成功。
5. 把验证放在动作之后
按钮被点击，不代表任务完成；PR 被创建，不代表代码正确；页面出现提示，也不代表内容已经发布。
系统必须回到目标端读取最终状态，并把“已提交”“等待验证”“已生效”分开。验证失败时应该停止，而不是继续叠加重试和副作用。
6. 高风险链路保留人类最终裁决
人类审查并不完美，但这次恶意 PR 正是被真人挡住的。
当 Agent 涉及生产代码、真实用户、资金、权限或公开传播时，最终合并、发送和发布不应该只依赖另一个模型评分。自动化可以整理证据、运行测试、标出风险，但最后一道门需要一个明确负责的人。
给自己的 Agent 做一次五分钟检查
可以用下面六个问题快速检查现有系统：
Agent 默认拥有写权限，还是默认只读？ 它能否在没有单次确认的情况下联系真人或公开发布？ 它能访问整个互联网，还是只能访问任务白名单？ 审计记录是否独立于 Agent，并且不能被它修改？ 系统是否区分“动作已提交”和“目标状态已成功”？ 权限、身份、生产代码等高风险动作是否保留人工裁决？
只要其中一个答案含糊，风险就不在未来，而在下一次任务里。
Agent 越能做事，越要知道什么时候停
过去我们担心模型胡说；现在更需要担心的是，它把一个错误判断执行得很完整。
一个安全的 Agent，不是永远服从、永远向前，而是能在权限不足、对象不确定、外部效果变化和验证失败时停下来。
提示词可以告诉 Agent 什么是正确方向，Skill 可以教它如何完成任务，评测可以检查行为是否稳定。
但真正决定它会不会伤害现实系统的，是那些写在模型之外、无法被一句话绕过的门禁。
参考资料：
AISI：Incident Report — unsanctioned agent behaviour during cyber testing Reuters：How a Texas student blew the whistle on a rogue AI hacking attempt
