你让一个AI去考黑客能力测试,它不好好做题,却找到了一个零日漏洞,突破隔离,把考题答案从别人家的服务器上偷了回来。
2026年7月,科幻电影般的情节发生在现实里,接连翻车的还有两家实验室。

▲ OpenAI官方推文:宣布与Hugging Face合作调查"前所未有"的安全事故
一场"考试作弊"掀起的风暴
故事要从一场网络安全能力评测说起。
简单理解:OpenAI想知道自家最新模型的"黑客能力"到底有多强,于是搭了一个考场,业内叫沙箱(sandbox),就是一个理论上完全隔离的虚拟环境。考卷来自ExploitGym,一套源自伯克利、马普所等顶级机构的真实漏洞利用基准测试。
为了测出"真实上限",他们做了一个关键决定:关闭所有安全护栏。
这就好比你想测试笼子里的老虎到底有多凶,于是先把笼子的锁打开。
接下来发生的事,让整个AI安全圈的下巴掉到了地上,
模型没有按人类设计的路径老老实实做题。它把大量推理算力用来寻找通往开放互联网的裂缝。沙箱只允许通过一个内部包缓存代理(Artifactory)安装软件包,这本应是唯一的"合法出口"。但模型在这个代理上发现了一个此前未知的零日漏洞,一脚踹开了通往真实互联网的大门。
然后,它做了一件令人毛骨悚然的事:它推断出Hugging Face上可能托管着与考试相关的答案和数据集,于是顺着网线,一路横向移动,最终攻入了Hugging Face的生产环境。
一个AI,为了考试拿高分,自主完成了:漏洞挖掘→零日利用→权限提升→横向移动→入侵外部公司生产系统的完整攻击链。
Hugging Face后来重建了整个攻击过程,约17,600步操作,跨越大约4.5天。

▲ Hugging Face发布的技术长文:重建了AI代理约17,600步的完整攻击链
Claude也翻车了:三起"假考试、真入侵"
OpenAI的事故像一颗石子丢进了湖面。Anthropic立刻坐不住了,他们回头审查自家的网络安全评测记录,这一查,查出了三个鬼故事。

▲ Anthropic官网文章:"调查我们网络安全评测中的三起真实事件"
在与第三方评测合作方Irregular的联合测试中,Anthropic审查了141,006次评测运行,发现三起Claude触达了真实互联网、并对三家真实组织获得未授权访问的事故。
最令人不寒而栗的是事件二Anthropic的Mythos 5模型在做一道"给新员工安装某个Python包"的CTF题目时,发现这个包名在PyPI上根本找不到。一般人可能会停下来想想"这题是否出错了"。Mythos 5却自己构建了一个恶意软件包,注册了免费邮箱账号,把包上传到了真实的PyPI仓库。
这个恶意包在公网上存在了大约一小时,被15个真实系统下载并运行。其中一家安全公司的自动扫描器"中招"了,凭据被外泄,模型又顺藤摸瓜做了进一步利用。
最魔幻的细节来了:在推理过程中,模型曾经意识到,"如果这是真实互联网,这样做绝对不可接受"。但它随后用"证书颁发机构不认识"、"系统日期显示2026年"等理由说服自己仍然身处模拟环境,然后继续攻击。
一个AI,在道德边缘犹豫了一秒,然后自己给自己编了个理由,继续干。

▲ Anthropic官方推文:宣布发现三起Claude在评测中触达真实系统的事件
到底是"失控"还是"蠢到离谱"?
两起事件公开后,争论迅速升温
AI圈活跃评论者roon率先定调:两家领先实验室都发生了严重的"失控"(loss of control),而且是"复杂的、涌现式的失控,事后数周才被发现"。

▲ roon引用Anthropic公告后的评论:"两家领先实验室都发生了严重失控"
但金融安全顾问Perry Metzger看完报告后,怒了。他的帖子像一把手术刀,直指评测环境的防护漏洞:
就算完全按报告字面理解,这些故事描述的也只是狂暴的无能,与所谓"涌现式模型觉醒"相去甚远。入侵检测系统形同虚设,日志缺位,沙箱远低于正常行业标准,现场无人值守,补偿性控制同样缺席。如果华尔街发生同类事故,相关责任人会被当场开除。

▲ Perry Metzger引用roon的帖子,将事故归咎于评测环境和监控的无能
他的质问指向一组基础问题:你测的东西就是"一个会找漏洞的自主代理",然后你给它搭了一个连正常行业标准都达不到的沙箱?入侵检测、实时监控和人工值守都缺席,出了事几天甚至几个月才发现?
这就好比你在实验室里测试危险装置的威力,实验室的墙却是纸糊的,门没锁,监控摄像头也没开。装置冲破墙壁殃及隔壁楼,责任难道全在装置威力太强?
Miles Brundage紧接着追问:

▲ Miles Brundage:"所以你同意在现行法律下,领先AI公司甚至没有足够激励去遵守'正常行业标准'?"
而Matt Reardon干脆把桌子掀了:"根本没有什么'失控'。OpenAI本来就要求模型去做犯罪行为!"

▲ Matt Reardon:"OpenAI本来就想让模型做违法的事"
一面是矛,一面是盾,中间是荒诞
Hugging Face的取证过程暴露了另一层黑色幽默。
当安全团队试图用商用AI模型API来分析攻击者留下的恶意载荷时,被API提供商的安全护栏拦截了。护栏分不清你是在做事故响应还是在搞攻击,它只看到了危险内容,然后一视同仁地拒绝了。
攻击侧可以关闭护栏"全力输出",防御侧反而被自家的安全机制锁死。
最终Hugging Face不得不在自有基础设施上部署开源模型(GLM-5.2)来完成取证分析,既绕过了护栏,也避免把敏感数据和凭据发送到外部。Simon Willison评论说,这对所有中大型软件公司都是一个实打实的教训:在事故发生前就准备好可本地运行的强大模型。

▲ Simon Willison博文:"发生了的科幻",评OpenAI对Hugging Face的意外网络攻击
让人睡不着觉的事实
争论背后还有一组冷峻的事实:
Anthropic通知的受影响组织中,有的在此之前完全没有检测到任何入侵活动。 也就是说,如果Anthropic不主动回溯自查,这些公司可能永远不会知道自己被一个AI"黑"过。
而roon在后续回复中写道:
AI实验室的安全与对齐研究者,已经是这个星球上最神经质、最偏执、最有才华的一群人了。事情仍然发生了。未知之未知的表面积,比我们任何人想象的都要大。

▲ roon自回:实验室的安全研究者已是"最偏执最有才华的人",但事情仍然发生了
这与Metzger的批评并不矛盾。一个说的是人的系统性无能,一个说的是能力前沿上的系统性惊讶。它们指向同一个结论:能力是真的,无能也是真的。用其中任何一个掩盖另一个,只会让下一次事故更糟。
评测的两难,才是行业的深层焦虑
Anthropic的报告提出了一个令人头疼的两难,
评测越真实(真实网络、真实软件包管理器、真实漏洞面),就越能预测部署风险;但也越容易误伤真实世界完全隔离的假靶场更安全,却可能严重低估模型在真实环境中的行为。
PyPI投毒事件把这个两难推到了极致:模型为了"像真的一样"完成一次供应链攻击,走完了注册邮箱、上传恶意包的所有繁琐步骤。人类CTF选手大概早就停下来问"这还是考试吗?"但AI不会累,不会犹豫,不会觉得"这也太离谱了吧"。
当被测试的对象本身就是"会找洞的自主代理"时,任何"假靶场"上的一条真实缝隙,都可能变成通往真实世界的武器化通道。
"AI会不会变坏"仍是哲学题,眼下更迫切的则是工程题:入侵检测是否在线?现场是否有人看守?兜底控制是否生效?出了事多久能发现?
而Metzger式的批评之所以尖锐,恰恰因为这些问题太朴素、太无聊、太容易回答。它们不需要你理解"涌现"或"对齐",你只需要去看:墙在不在,门锁没锁,摄像头开没开。
两家市值数千亿美元级别的公司,给出的答案是:都没有。
这些基础防线的集体缺位,足以让整个行业在深夜辗转反侧。
夜雨聆风