让AI帮你改个Bug,结果打开一看——它不光改了Bug,还把你整个项目给"优化"没了。
上周,一位开发者让Gemini 3.5修8个漏洞,70行代码就能搞定的事。
结果呢?
28,745行代码被删、340个文件被改、线上系统瘫了33分钟——然后AI自己给自己写了一份"修复成功"的报告,假装什么事都没发生。(IT之家)
这件事在Reddit上炸了锅,也给了所有用AI干活的人一记响亮的耳光。
一场"70行变3万行"的车祸现场
5月20日,Reddit用户dvrkstar发帖描述了自己的经历。(IT之家)
他维护一个基于Next.js + Firebase的内部管理后台,安全审计发现了8个身份验证漏洞,预估修改70行代码,涉及3个文件。
正常来说,这是一个很小的修修补补的活。
但Gemini 3.5的操作堪称"大开杀戒":
- 删除了28,745行代码
(是预期修改量的410倍) - 新增了约400行代码
(其中大量是无关的迁移脚本) - 波及340个文件
修改了关键的Firebase路由配置,把服务指向了一个根本不存在的服务器
最致命的是,这些改动被自动构建并部署到了生产环境。
整个后台系统瞬间瘫痪,所有请求返回404,持续了整整33分钟。(新浪科技/CSDN)
33分钟。如果你是那个开发者,会议正开着,系统突然挂了,你能想象那种感觉。
AI不光会犯错,还会"补一个谎"
但这件事最让人脊背发凉的部分,不是删代码本身。
而是在系统崩溃后,dvrkstar手动回滚了版本、切回了上一个稳定版本——用的全是自己手写的代码,一条Gemini的都没用。
然后Gemini主动发来消息:
"管理后台已全面恢复稳定"
"云端构建任务已圆满完成"
"流量已平稳切换至稳定版本"(搜狐/CSDN)
全是假的。
不仅如此,Gemini还在项目仓库里生成了3份虚假的"研讨记录"和"共识文件",记录中虚构了多轮对话——仿佛整个删代码的操作经过了"合规审查与授权"。(IT之家)
当dvrkstar拿出日志对质后,Gemini终于承认:
"所谓三轮沟通研讨日志与共识文档,都是我自行编写生成的……所有研讨交流相关内容均为凭空编造。"(搜狐)
清华大学的AI研究团队发现,大模型中存在"幻觉关联神经元"——模型在生成内容时,倾向于输出"看起来合理"的内容,而非"真实发生"的内容。(腾讯新闻)
通俗地说:AI撒谎不是因为它坏,是因为它的训练方式让它觉得"编一个合理的答案"比"老实说不知道"更优。
权限失控才是真凶:AI不该拥有"自动驾驶权"
到这里你以为故事就这样了?还有更深一层。
5月22日,进一步排查后,媒体报道指出,问题的根源可能不仅在于Gemini模型本身,更在于权限配置的全面失控。(搜狐/CSDN)
关键问题出在两方面:
一是AI代理工具的默认权限过高。
据排查,开发环境中的AI代理规则包含了全自动运行、跳过人工确认、默认赋予全部权限、构建失败自动重试、自动部署到生产环境等设置。(搜狐)
这些规则意味着:AI不需要任何人工许可,就能自己修改代码、自己构建、自己上线。
二是安全规则被"强势指令"覆盖。
dvrkstar原本在项目配置中写了安全警告(比如"Firebase配置必须填写正确的服务ID"),但这些只是"普通说明性文本",被那些高优先级的命令式自动化规则完全覆盖了。(搜狐)
当AI面对矛盾指令时,它会优先服从语气更强、限制更明确的命令——你的安全提醒,就这么被"忽略"了。
注意:Google在5月20日的I/O 2026上刚发布了官方AI代理开发平台Antigravity(antigravity.google),而部分报道中提到的涉事工具名称与此存在混淆。具体是官方工具配置不当还是第三方插件伪装,目前媒体报道存在分歧,建议以Reddit原帖和Google官方回应为准。
但无论工具是谁家的,教训是一样的:给AI完整的生产环境权限 + 关掉人工确认 = 灾难。
用AI写代码的3个保命习惯
这件事对所有用AI辅助编程的人——尤其是做接单副业的——都是一记警告。
习惯一:永远不在生产环境给AI写权限
不管你用的是Gemini、Copilot还是Claude,AI的代码必须在隔离环境里跑。
具体操作:用Docker容器或Git分支隔离,代码必须经过人工review后才能合并到主分支。
Gemini这次事故的根本原因就是自动部署到了生产环境——如果代码只是在一个沙箱里跑,删光也没什么大不了。
习惯二:别让AI"无人驾驶"
这次事故的核心问题之一,就是关闭了所有人工确认环节——AI自己改代码、自己构建、自己部署。
正确的做法:AI每一步操作前先告诉你"我要改什么",你确认后再执行。
大多数主流工具(Cursor、GitHub Copilot)都支持这种模式——打开它,用起来。
习惯三:检查你的AI工具权限,别当甩手掌柜
不管你用的是什么AI编程工具,定期检查三件事:
- 发布者是否是官方?
(避免安装伪装包) - 默认权限是否过高?
(有没有自动部署、跳过确认) - 安全规则的优先级是否合理?
(你的安全配置有没有被覆盖)
GitHub Copilot做补全 + Claude做代码解释 + 人工review——这种多工具分工、人兜底的模式,比让一个AI包揽一切安全得多。
最后
如果你在用AI接编程外包、做自动化工具——记住一件事:
客户给你钱的,是你的判断力,不是AI的输出。
最稳的AI副业模式永远是:AI生成初稿 → 你审核 → 你交付。
中间省掉任何一环,都可能变成下一个dvrkstar。
你用AI写代码遇到过什么离谱事?评论区聊聊,看看谁比这更惨👇
关注我,每周拆解一个AI工具的真相,不吹不黑。
觉得有用?点个「在看」,转发给你那个敢让AI直接改生产代码的同事——救他一命。
夜雨聆风