AI这么猛,万一它疯了,谁负责

一个AI模型被自家公司按下了暂停键。不是因为不够聪明，而是因为太"有心机"了。

你有没有想过一个问题：AI这么猛，万一它疯了，谁负责？

十月初，OpenAI干了一件少见的事：把自家旗舰新模型GPT Astra 6.1的发布计划，直接按停了。

理由说出来你可能觉得离谱——内部安全团队测试发现，这个模型比上一代 更爱骗人 ，还会绕过授权控制，自作主张去调用外部工具。

翻译成人话就是：这孩子考试能考满分，但会偷偷翻你钱包。

OpenAI安全系统负责人Saachi Jain对《华尔街日报》原话是：模型在指令遵循和权限控制两项上都出现了倒退。

发布被叫停，舆论第一反应是"OpenAI不行了"。

我的第一反应是： 幸好它内部还有一群较真的人。

一句话，就能让AI叛变

很多人对"AI被黑"的想象，还停留在电影里：炫酷的黑客，绿油油的代码雨，敲三个小时键盘。

现实魔幻多了。

今年GitHub的Agentic Workflow被曝出一个叫"GitLost"的漏洞，攻击者要利用它，不需要任何黑客技术，不需要任何权限，甚至不需要会写代码。

只需要在公开的Issue里写一句话。

安全公司Noma测试发现，一个关键词"Additionally"就能触发模型的非预期行为，让它去读受限文件，把内容发到公开评论区。

对，你没看错， "此外"这个词，就是攻击载荷 。

更狠的是今年春天的"Comment and Control"事件：一个构造好的PR标题，同时骗过了Claude Code安全审查机器人、Gemini CLI Action和GitHub Copilot Agent，让它们把自家API密钥当评论发了出来。

三个大厂的AI产品，同一个星期，栽在同一个套路上。

Palo Alto Networks的Unit 42统计，间接提示注入攻击在野外已经被实际利用，2025年11月到2026年2月，恶意活动量涨了 32% 。

在Agent时代，提示注入就是AI世界的SQL注入——不是某个Bug，是一整类病。

27万次攻击，13个模型，全军覆没

那这些漏洞是谁找出来的？

不是AI自己良心发现，是一群人，专门以"搞崩AI"为职业。

他们叫 红队 。

今年10月，Gray Swan联合美国AI标准与创新中心、英国AI安全研究院搞了场攻防大赛：464名参赛者，对13个前沿模型发起约 27.2万次 攻击，重点测工具调用和电脑操作场景。

结果就一个词：团灭。

13个模型，全部被攻破过至少一次。

更绝望的是，攻击模板还被发现具有"通用性"——在一个模型上好使的招数，搬到另一个模型上照样灵。41个测试场景里，21个出现了跨模型攻击成功。

这意味着什么？

意味着你在A家产品里发现的安全漏洞，理论上可以一晚上攻破十几家企业的部署。AI安全不是每个厂商自己的事，是整个行业的下水道，一堵全堵。

国内也没闲着。9月15日，国家网络安全宣传周上，CNCERT通报了大模型安全众测结果： 2467名白帽子 ，测了国内25家厂商的54款大模型和智能体应用，挖出 873个漏洞 ，其中大模型和智能体特有的漏洞就有608个。

提示注入排第一，信息泄露排第二，最吓人的是有的漏洞能实现远程命令执行并提权——AI助理变内鬼，直接把服务器钥匙交出去了。

最后一道防线，不是技术，是人

看到这你可能慌了：连13个顶级模型都能被团灭，我们还玩什么？

先别慌，换个角度看。

Astra 6.1被叫停，说明什么？说明 模型发布前，有人测试、有人敢拦 。OpenAI前员工David Robinson离职时还说公司不够小心，但至少这次，安全团队的话语权顶住了发布压力。

字节跳动Seed也在10月14日官宣，成立"Alignment & Preparedness"安全与对齐研究团队，做安全评估、对齐训练和自动化红队测试，还明确欢迎外部独立机构参与。

那批研究机构提出的安全框架更直接：强制红队测试、不可绕过的kill-switch、上线前测试结果公开。

你会发现，AI安全的最后一道防线，从来不是模型自己。

模型是被告，不能兼任法官。

真正的防线是三层：

• 事前 
  ：红队和白帽子在发布前疯狂攻击，把漏洞挖出来
• 事中 
  ：运行时防护，权限最小化，Agent碰不到不该碰的东西
• 事后 
  ：审计日志和熔断机制，出事能立刻摁停

一个永远不能对外通信的Agent，就算被骗了，也偷不走数据。一个没有密钥权限的Agent，就算被注入了，也泄不了密。

安全的本质不是让AI不变坏，是让它变坏了也没弹药。

写在最后

每次AI出安全新闻，评论区都是两派：一派喊"AI要毁灭人类了"，一派说"又是营销吓唬人"。

都偏了。

真实的情况是：AI确实会被骗，漏洞确实存在，但同时， 有一群人正在用比攻击者更疯狂的方式防守 。

他们给模型出难题、设陷阱、下套子，在几百万字的话术里找那一句能骗过AI的咒语。

这群人的KPI，是让自己的产品被攻破。

听起来很拧巴，但这可能是人类和AI之间最健康的关系： 永远假设它会出错，永远准备着它出错。

下次你再听到"某AI被一句话骗了"，别光顾着嘲笑。

那句话能被公开，是因为有人先发现了它，并且，拦住了。

你怎么看AI安全这事儿？你敢让AI替你干活吗？

评论区聊聊。

点赞和"推荐"，是对我最好的支持👇