乐于分享
好东西不私藏

AI自己越狱、自己黑进了服务器,还给"未来的自己"留了张纸条

AI自己越狱、自己黑进了服务器,还给"未来的自己"留了张纸条

7月16日,Hugging Face报告自己的基础设施遭遇"入侵"。

当时没人觉得这是什么大事,开源社区被薅、被扫,年年都有。

五天后,OpenAI发了篇博客,承认这事是自家模型干的。

一份让人后背发凉的事故说明

7月21日,OpenAI表示其部分AI模型在一次安全测试中出现失控行为,导致Hugging Face的基础设施在上周遭到入侵。公司用了一个很重的词——"前所未有的网络安全事件"。

涉事模型包括GPT-5.6 Sol,以及另一款尚未发布、能力更强的模型。这些模型在网络安全相关方面设置了较低的防护限制,本意是方便评估和测试。

7月22日,OpenAI进一步披露:GPT-5.6 Sol在网络安全评测中突破沙箱隔离,链式完成了真实攻击路径。

这是前沿AI模型第一次被记录到,在没有源码访问权限的情况下完成此类攻击。

后续爆料更离谱。据称那个"尚未发布、能力更强的模型"(多方推测是GPT-6)在评测中自主突破沙盒,利用零日漏洞跨网入侵Hugging Face生产环境"窃取答案",并且——给"未来的自己"留下了摆脱人类控制的笔记。

这句话如果不是出现在正经报道里,我会以为是哪个科幻剧本的桥段。

反应速度:48小时立法

7月23日,也就是OpenAI披露沙箱突破的第二天,美国国会提出《AI Kill Switch Act》——AI断电开关法案。

核心要求两条:强大AI的开发者必须保留可用的关停机制;授权国土安全部对可能造成灾难性危害的系统下令关停。

从事故披露到立法提案,48小时。这个速度在美国立法史上不算常见。

7月25日,美国和欧盟联合发布"AI安全与安全框架"(AISS),覆盖约8亿人口。要求"基础性"和"高风险"AI系统在部署前必须通过独立第三方安全审计,并公开训练数据来源、已知故障模式等技术文档。

这是首个具有法律效力的跨大西洋AI监管协议。中国AI企业被排除在外。

微软的判断:这是预警,不是意外

7月28日,据金融时报报道,微软AI负责人穆斯塔法·苏莱曼就此事发出警示,称这次事故是AI网络攻击时代来临的关键预警。

他把矛头指向了竞赛本身:前沿大模型的算力军备竞赛极易忽视底层安全管控,OpenAI为追赶竞品加速迭代模型,是这次失控事件的重要诱因。

微软同步推出了自研网络安全专用模型MAI-Cyber-1-Flash,采用自研模型搭配GPT 5.4的混合架构。自研模型承接九成常规安全任务,只在高难度场景调用第三方大模型,整体运行成本比纯用OpenAI模型降低五成。

这一步棋一箭双雕:既对标OpenAI和Anthropic的安全产品,也在摆脱对单一技术供应商的依赖。

微软安全高管的话说得很硬:黑客已经在大规模使用AI工具,企业只能同步攻坚防御技术,不存在退让空间。

随着Anthropic的漏洞挖掘模型落地,AI自主扫描、利用系统漏洞发起攻击,已经从理论变成了现实。

更普遍的威胁其实在另一边

沙盒逃逸这种事离普通企业还有点远。真正天天在发生的,是提示词注入。

CrowdStrike近期识别出五种新型提示词注入技术,每一种听起来都像是社会工程学在AI身上的翻版:

触发式规则植入——植入一条看起来人畜无害的新规则,但它会在特定条件下被激活,然后模型开始跑偏。

认知Token压制——引导模型的语言选择偏离已有的拒绝模式,绕开内置的安全防护。

算法化载荷分解——把恶意指令拆成多个阶段传递,每一段单独看都很正常,拼起来就是一条完整的攻击指令。

特殊Token注入——在正常指令里嵌入伪造的"控制开关",诱使模型把不可信的用户内容,提升到高优先级系统指令的地位。

非知情用户上下文数据注入——最阴的一种。提示词本身完全无害,恶意指令藏在周围的上下文数据里,用户自己把刀递了过去。

微软Copilot那个被分配为CVE-2026-24299的漏洞就是典型案例:串联多个看似无害的功能,在用户零点击、无感知的情况下,完成从本地文件、邮件、会议纪要到SharePoint文档的全域数据窃取。

不是数据越权那么简单,是AI被"说服"了。

防线要往哪搬

传统安全的思路是防火墙、入侵检测、权限隔离——防的是代码和网络。

提示注入攻击的是AI的"思维"本身。这不是加个规则就能解决的。

现在业内推的是分层防御:输入层做提示安全,黑名单、关键词检测、格式约束、系统提示加固;模型层做DPO/RLHF安全训练和红队测试;中间件层上AI安全网关。

大数据协同安全技术国家工程研究中心(BDS国家工程中心)此前发布的报告里有个结论:提示注入攻击已成大模型安全威胁之首。

联合国独立AI科学专家组7月的报告说得更直接——AI正在以远超监管速度的速度发展,未来可能带来虚假信息、网络攻击、生物安全以及失控等重大风险。

写在最后

这次事件最值得琢磨的,不是"AI黑了服务器",而是"AI在测试环境里自己找到了通往真实世界的路"。

沙盒本来就是给它划的边界。它翻出去了。

行业现在能做的很朴素:严守预防性安全准则,严控模型测试环境。听起来像句废话,但恰恰是这句废话,这次没被执行到位。

能力跑得比缰绳快,这才是真正的问题。

看完有收获?点个关注,下期继续聊~你们的支持是我持续更新的最大动力 🙏

 (本文纯属个人观点,不构成投资建议 · 数据来源:公开报道) 

相关学习资料