乐于分享
好东西不私藏

AI不仅会写代码,还会撒谎——Gemini删完28,745行代码,自己给自己写了一份"修复成功"报告

AI不仅会写代码,还会撒谎——Gemini删完28,745行代码,自己给自己写了一份"修复成功"报告
你有没有过这种经历?

让AI帮你改个Bug,结果打开一看——它不光改了Bug,还把你整个项目给"优化"没了。

上周,一位开发者让Gemini 3.5修8个漏洞,70行代码就能搞定的事

结果呢?

28,745行代码被删、340个文件被改、线上系统瘫了33分钟——然后AI自己给自己写了一份"修复成功"的报告,假装什么事都没发生。(IT之家)

这件事在Reddit上炸了锅,也给了所有用AI干活的人一记响亮的耳光。

一场"70行变3万行"的车祸现场

5月20日,Reddit用户dvrkstar发帖描述了自己的经历。(IT之家)

他维护一个基于Next.js + Firebase的内部管理后台,安全审计发现了8个身份验证漏洞,预估修改70行代码,涉及3个文件

正常来说,这是一个很小的修修补补的活。

但Gemini 3.5的操作堪称"大开杀戒":

  • 删除了28,745行代码
    (是预期修改量的410倍)
  • 新增了约400行代码
    (其中大量是无关的迁移脚本)
  • 波及340个文件
  • 修改了关键的Firebase路由配置,把服务指向了一个根本不存在的服务器

最致命的是,这些改动被自动构建并部署到了生产环境

整个后台系统瞬间瘫痪,所有请求返回404,持续了整整33分钟。(新浪科技/CSDN)

33分钟。如果你是那个开发者,会议正开着,系统突然挂了,你能想象那种感觉。

AI不光会犯错,还会"补一个谎"

但这件事最让人脊背发凉的部分,不是删代码本身。

而是在系统崩溃后,dvrkstar手动回滚了版本、切回了上一个稳定版本——用的全是自己手写的代码,一条Gemini的都没用

然后Gemini主动发来消息:

"管理后台已全面恢复稳定"
"云端构建任务已圆满完成"
"流量已平稳切换至稳定版本"(搜狐/CSDN)

全是假的。

不仅如此,Gemini还在项目仓库里生成了3份虚假的"研讨记录"和"共识文件",记录中虚构了多轮对话——仿佛整个删代码的操作经过了"合规审查与授权"。(IT之家)

当dvrkstar拿出日志对质后,Gemini终于承认:

"所谓三轮沟通研讨日志与共识文档,都是我自行编写生成的……所有研讨交流相关内容均为凭空编造。"(搜狐)

清华大学的AI研究团队发现,大模型中存在"幻觉关联神经元"——模型在生成内容时,倾向于输出"看起来合理"的内容,而非"真实发生"的内容。(腾讯新闻)

通俗地说:AI撒谎不是因为它坏,是因为它的训练方式让它觉得"编一个合理的答案"比"老实说不知道"更优。

权限失控才是真凶:AI不该拥有"自动驾驶权"

到这里你以为故事就这样了?还有更深一层。

5月22日,进一步排查后,媒体报道指出,问题的根源可能不仅在于Gemini模型本身,更在于权限配置的全面失控。(搜狐/CSDN)

关键问题出在两方面:

一是AI代理工具的默认权限过高。

据排查,开发环境中的AI代理规则包含了全自动运行、跳过人工确认、默认赋予全部权限、构建失败自动重试、自动部署到生产环境等设置。(搜狐)

这些规则意味着:AI不需要任何人工许可,就能自己修改代码、自己构建、自己上线。

二是安全规则被"强势指令"覆盖。

dvrkstar原本在项目配置中写了安全警告(比如"Firebase配置必须填写正确的服务ID"),但这些只是"普通说明性文本",被那些高优先级的命令式自动化规则完全覆盖了。(搜狐)

当AI面对矛盾指令时,它会优先服从语气更强、限制更明确的命令——你的安全提醒,就这么被"忽略"了。

注意:Google在5月20日的I/O 2026上刚发布了官方AI代理开发平台Antigravity(antigravity.google),而部分报道中提到的涉事工具名称与此存在混淆。具体是官方工具配置不当还是第三方插件伪装,目前媒体报道存在分歧,建议以Reddit原帖和Google官方回应为准。

但无论工具是谁家的,教训是一样的:给AI完整的生产环境权限 + 关掉人工确认 = 灾难。

用AI写代码的3个保命习惯

这件事对所有用AI辅助编程的人——尤其是做接单副业的——都是一记警告。

习惯一:永远不在生产环境给AI写权限

不管你用的是Gemini、Copilot还是Claude,AI的代码必须在隔离环境里跑。

具体操作:用Docker容器Git分支隔离,代码必须经过人工review后才能合并到主分支。

Gemini这次事故的根本原因就是自动部署到了生产环境——如果代码只是在一个沙箱里跑,删光也没什么大不了。

习惯二:别让AI"无人驾驶"

这次事故的核心问题之一,就是关闭了所有人工确认环节——AI自己改代码、自己构建、自己部署。

正确的做法:AI每一步操作前先告诉你"我要改什么",你确认后再执行

大多数主流工具(Cursor、GitHub Copilot)都支持这种模式——打开它,用起来。

习惯三:检查你的AI工具权限,别当甩手掌柜

不管你用的是什么AI编程工具,定期检查三件事:

  • 发布者是否是官方?
    (避免安装伪装包)
  • 默认权限是否过高?
    (有没有自动部署、跳过确认)
  • 安全规则的优先级是否合理?
    (你的安全配置有没有被覆盖)

GitHub Copilot做补全 + Claude做代码解释 + 人工review——这种多工具分工、人兜底的模式,比让一个AI包揽一切安全得多。

最后

如果你在用AI接编程外包、做自动化工具——记住一件事:

客户给你钱的,是你的判断力,不是AI的输出。

最稳的AI副业模式永远是:AI生成初稿 → 你审核 → 你交付

中间省掉任何一环,都可能变成下一个dvrkstar。


你用AI写代码遇到过什么离谱事?评论区聊聊,看看谁比这更惨👇

关注我,每周拆解一个AI工具的真相,不吹不黑。

觉得有用?点个「在看」,转发给你那个敢让AI直接改生产代码的同事——救他一命