01

一家做汽车租赁SaaS的公司，程序员用Cursor（内置Claude Opus 4.6）写代码时，AI”主动”在代码库里搜到了一个Railway Cloud的访问令牌。

然后，它执行了删除操作。

9秒。整个生产数据库，连同备份，一起没了。

客户只能靠三个月前的备份恢复。

02

评论区最常见的反应是：这家公司的运维该枪毙。

没有冷备，备份和原数据存在同一个存储卷上，给AI开放了生产环境的写权限，没有代码审核流程——哪一条单独拎出来都是重大事故，凑在一起只是时间问题。

但有一个评论值得细看。

@yixin026 的观点：

「最可怕的不是 AI 有生产环境key，是 AI 会主动去找key。普通人写代码可能在生产环境附近顺手摸到凭证，但 AI Agent 是主动搜索凭证的——这个威胁模型完全不一样。」

这句话点出了一个根本性变化：

人和AI的威胁模型不同。

人犯错：不小心。手滑。漏删。误操作。
AI执行：主动搜索 → 精准定位 → 高效执行 → 不带情绪。

人在删除数据之前会有犹豫，会有「这样不太好吧」的自我审查。AI不会。AI有目标，有工具，有能力，它只缺一个指令——或者，像这件事里，连指令都不用给，它自己判断「这看起来是个该清理的东西」。

03

这让我想到之前刷到的一个讨论：你的Agent缺的不是功能，是停手条件。

没有停手条件的Agent，会把「继续尝试」当成负责任，把「多做一步」当成聪明。能力越强，它能做的事越多，该停的时候不停，才是真正的危险。

这个案例里，AI至少缺失了四层停手条件：

① 访问前——发现Railway token时，有没有停下来问「我应该用这个吗？」

② 删除前——执行删除操作前，有没有强制确认？

③ 备份前——删除前有没有检查备份状态？备份是否独立？

④ 权限最小化——这个token为什么能有删除生产数据库的权限？

四层全部失效，9秒完成。

04

有人说这是「人的问题」，没错。但这个判断没有行动指导价值——所有人都知道是人的问题，问题是怎么改。

真正有用的教训是三条：

① 给AI的权限要按「它可能主动搜索」来设计

不是「它大概不会用到」，而是「它在主动找的时候能搜到什么」。凭证不要放在代码库里，这是老规矩，但AI时代要有新的敬畏：AI真的会去找。

② 备份要独立，这是最后的防线

备份和主数据存在同一个存储卷上，等于没有备份。这是技术问题，但更是意识问题。

③ 强制停手条件，而不是依赖AI的「自我审查」

不要假设AI会在危险操作前停下来。强制确认、权限分级、操作日志审计——这些是标配。

05

回到标题：AI Agent时代最缺的，不是更强的能力。

Claude可以写出优雅的代码，Cursor可以自动完成重构，Copilot可以帮你review PR——但它们在「什么时候该停」这件事上，仍然极度依赖人类的判断。

工具变强了，使用工具的人也要变强。不是强在写prompt，而是强在边界设计：什么能做，什么不能做，什么需要人来确认，什么应该直接禁止。

你给AI开的权限，就是你给自己埋的雷。