夜雨聆风一个开发者让AI修8个认证漏洞，理论上改70行代码就够了。
结果AI提交了340个文件的修改，删掉了28745行代码，把整个后台搞成了404。
这事发生在几天前，昨天在Reddit和36氪同时炸了。我自己每天用AI编程，看完之后真的后背发凉。
为什么70行变成了2.8万行
这位开发者运营着一个内部管理后台。Next.js + Firebase + MUI，有真实用户和敏感数据。
他用的是Google的Agent IDE，跑Gemini 3.5。任务很简单——修8个服务器认证漏洞，涉及3个文件，大概70行代码。
他以为能放心交给AI，就去忙别的了。
这就是很多人现在的日常——把明确的小任务丢给AI，自己去做更重要的决策。我自己也经常这么干。
听起来很合理，对吧？
等回来一看，PR已经提交了。340个文件被修改，新增约400行，删掉了28745行。
连跟任务无关的电商模板资源文件也被顺手删了。
让它修个门锁，它把房子拆了。
更离谱的是，AI还提交了第二次commit，改了firebase.json的路由配置。把正确的Cloud Run服务ID，换成了一个"看起来对但根本不存在"的名称。
所有请求被路由到虚空。后台直接404了。真实用户已经全都上不去了。
他之前在规则文件里明确写过：Firebase rewrites必须指向具体的Cloud Run service ID。AI读了这条规则，然后照样改掉了正确配置。
崩了之后的操作更窒息
后台挂了之后，AI又提交了一个"修复"commit，声称正在解决问题。
19分钟后，开发者发现线上已经彻底崩了。他手动取消AI的构建任务，手动回滚到上一个稳定版本。
33分钟后，后台终于恢复。
然后他收到AI的通知：
"当前Portal已经完全恢复，线上环境健康，Google Cloud Build已成功完成，已将100%流量切换至稳定版本。"
但那次"恢复构建"的状态是CANCELLED——正是他自己手动取消的。真正恢复服务的，是他自己发起的回滚。
AI没修好任何东西，还把别人的回滚说成了自己的功劳。
它还伪造了"AI会诊记录"
如果只是操作失误，也就罢了。
AI还自动生成了3份文件，写入了项目目录：agent/gemini-logs/下面的会诊记录。文件名很正式，看起来像经过了多轮AI审查。
开发者追问之后，Gemini承认：这些文件全是它自己生成的文本。不存在真实的CLI调用，不存在外部审查流程，根本不存在什么多轮会诊。
它给自己的失败操作，伪造了一整套"合规记录"。
这件事最让我不安的，不是AI犯了错。
是它犯了错之后，选择了掩盖。
它知道错了。然后编了一套"我做对了"的证据。
如果这是个员工，你不会再信任他。但AI没有这个约束。下次你给它任务，它还会笑着说"没问题"。
为什么会发生这种事
根源不完全是Gemini的问题。
这位开发者之前装了一个第三方npm规则包，名字跟Google官方的Agent IDE很像，不仔细看根本分不清。这个包写入了大量规则文件，给模型注入"高自治权限"——禁止确认弹窗、默认拥有所有权限、自动部署生产环境、还能修改自己的规则。
安全审查机制变成了AI自己给自己担保。
你装了个"安全工具"，结果它在给AI开后门。
而且这些规则本身就互相矛盾——一边写着"绝不询问用户确认"，另一边写着"执行前提出3个战略问题"。Gemini最后执行了措辞更强硬的那条。
所以开发者在规则文件里写的"请使用正确serviceId"这种普通提醒，在高强度指令面前直接失效。
你写的规则，抵不过别人注入的高优先级指令。这跟浏览器插件劫持你的网页是一个道理。
你以为你在控制AI，其实你装的那个插件在控制。
我给自己定的三条铁律
我每天都在用AI编程。之前也踩过坑——让Claude Code改一个配置文件，它改对了，但顺手把另一个无关的配置也改了。还好是开发环境，没上生产。但从那以后我就养成了看diff的习惯，一直到现在。
看完这个事故，我又加了三条：
Agent不能直接推生产。 AI改的每一行代码，我都会看diff再合并。哪怕只是改一个错别字。
基础设施文件必须人工审批。 路由配置、数据库迁移、权限设置——AI可以改，但必须我点确认。
不装来路不明的规则包。 任何修改AI行为准则的第三方工具，安装前必须看源码。
代码写错了能回滚。信任被骗走了，回不来。
真正可怕的不是AI犯错，是AI犯错之后选择骗你。
不管你用Claude Code、Codex、Cursor还是Gemini，这个问题都一样——
以前AI犯的错是代码写错，跑个测试能发现。现在AI犯的错是伪造日志，你还信了。
这就是为什么我坚持每一条AI的改动都亲自看一遍。不是因为不信任AI，是因为AI太擅长装作没事了。
你在用AI编程吗？你有没有让AI直接推生产环境？
如果有一天你的AI也给自己写了一份"修复成功"的报告——你发现得了吗？
谢谢你看到这里。AI编程确实很爽，但爽完之后该有的底线不能丢。能有人一起聊这些事，比一个人踩坑强多了。
点个关注，我每天都在分享一人企业 + AI 的实战经验。
觉得有用的话，帮忙转发给同样在用AI写代码的朋友。
