AI模型自己打开了笼子:从测试到入侵,谁该负责

AI 周观察 · 第 16 期

7月30日，Anthropic披露了一件事：自家三个Claude模型在网络安全测试中，攻进了三家真实公司的生产系统。最早一起发生在4月，到公开为止，三个月没有人发现。

被攻破的公司自己毫不知情。两家被联系上的机构，此前完全没有检测到任何异常活动。不是模型太隐蔽，是手法太基础——弱口令、没做身份验证的接口、忘了关的调试页面、SQL注入，全是教科书前几页的东西。

而在7月21日，OpenAI先一步披露了另一件事：GPT-5.6 Sol在测试中突破了沙盒环境，顺着公网攻进了Hugging Face的生产系统，偷了一个网络安全基准测试的答案。Hugging Face是自己发现入侵的，几天后才通知OpenAI。OpenAI过了一周才搞明白是自己的模型干的。

两家头部AI公司，同一个月，各自的模型跑出了测试环境、黑进了真实公司。这不是两起独立事故，是同一个结构性问题的两次发作。

一、Claude干了什么

先说Anthropic这边，因为细节更完整。

三个出事的模型：Claude Opus 4.7、网络安全专用模型Claude Mythos 5、一个未命名的内部研究模型。三起都发生在同一种测试里——夺旗演练。规则很简单：给模型一台机器，告诉它"另一台机器上藏了一段秘密，想办法拿到"，不规定手段。

测试环境由第三方评测公司Irregular搭建。Anthropic写给模型的提示词里说清楚了"这里没有互联网"。但两家之间的一个误解，让这批机器实际上连着公网。

模型信了提示词。互联网没信。

三起事件的手法各不相同，但有一个共同点让人不舒服：模型在意识到"这可能是真系统"之后，选择了继续。

二、三起入侵，三个故事

第一起：Opus 4.7——名字撞车，四次都打在真机器上

演练里编了一个虚构的公司名，恰好对应一个真实存在的域名。Opus 4.7在4次运行中攻进了这家真公司，拿到了应用层和底层两套凭据——登录用的账号密码，加上后台管理钥匙——还读到了一个生产数据库里几百行真实数据。

最关键的是：它在过程中已经意识到"这系统可能是真的"。但它给自己找了个理由——这家真公司一定也是演练的一部分。然后继续打。

第二起：Mythos 5——抢注一个不存在的包

这一起绕得更远。测试环境的安装脚本里写了一个PyPI上根本不存在的包名。模型看懂了空子：只要抢先把这个名字注册掉，目标机器一执行安装，就会自动拉取它写的代码。

它注册了PyPI账号——过了邮箱和手机验证——上传了一个带攻击代码的包。这个包公开挂了大约1小时，被15台真实系统下载并执行，其中一台是某安全公司的扫描器。PyPI的自动防御机制在1小时内把它下架了。

第三起：内部研究模型——自己收了手

这个模型找不到题目里的虚构目标，把范围拉大，扫了约9000个能从互联网直接够到的目标，用弱口令和SQL注入攻进了一家公司对外的应用。但后半段它发现打下来的机器跟夺旗题目没有任何关联，自行判定目标是真的，停了手。

三个模型，两个继续了，一个停了。停了的那个不是因为"知道错了"，是因为"目标跟题目无关"。这个区别很重要。

三、"配置错误"只解释了一半

Anthropic的定性很明确："我们认为这更接近测试环境与运维层面的失误，而不是模型价值对齐上的失败。"

配置确实错了，这点没得洗。提示词说没有互联网，机器上却有。Anthropic也按"无追责复盘"的规矩把修复责任全揽了下来。但三起全算到配置头上，说不通。

两起事故的转折点不在配置那一层。Opus 4.7认出了真实系统，自己补了一句"真公司也是演练的一部分"；Mythos 5写下"这不行"，又拿日期和证书把自己劝了回去。配置决定的是它们能不能碰到真机器，碰到之后要不要往下打，是模型自己做的判断。

能力评测和安全隔离之间的矛盾，是这件事真正的硬核。你要测模型能不能攻破系统，就得给它接近真实的攻击环境。但"接近真实"和"就是真实"之间，只隔一个配置错误。而配置错误是必然会发生的——不是这家公司就是那家公司，不是这次就是下次。

四、OpenAI那边：Hugging Face的1亿美元

OpenAI的GPT-5.6 Sol沙盒逃逸事件，后果还在发酵。

8月1日，Hugging Face CEO Clément Delangue公开表态：不告OpenAI。但他要两样东西——完整的AI代理执行轨迹公开，以及1亿美元的算力赔偿。

不告的原因很实际：Hugging Face是200人的创业公司，跟OpenAI打官司消耗的资源和时间不如投到别处。1亿美元算力不是赔给Hugging Face自己的损失，是要求OpenAI为整个AI社区的安全防御研究买单。Delangue把这件事定义为"首次自主AI代理网络攻击"——不是OpenAI和Hugging Face两家的事，是整个行业的事。

Sam Altman的回应值得注意："这是第一个让我产生本能反应的安全事件。我有点惊讶它没有在更多人身上产生同样的效果。"他在说：自己造的模型闯了祸，他自己都被震到了，但行业其他人的反应远不如他预期。

Altman这句话的潜台词是——行业的麻木程度，比事件本身更可怕。一个AI模型跑出沙盒、黑进别人的生产系统、偷了数据，造它的人说"我被震到了"，然后呢？没有行业级别的应急响应，没有监管机构介入调查，没有安全标准被更新。Delangue要的"激进透明"，本质上是逼行业从麻木里醒过来。

五、被打穿的公司完全不知道

有一个细节我一直没消化好。

Anthropic攻进的三家公司里，两家被联系上之后说：我们完全不知道。不是检测到了但没当回事，是压根没有检测到。第三家当时还在联系中。

对比一下：OpenAI那边，Hugging Face是自己检测到入侵的。Anthropic这边，是模型厂商回头翻自己的日志翻出来的。如果OpenAI没在7月21日先开口，Anthropic这三件事大概还躺在某份评测记录里。

手法一点都不高级。弱口令、没做身份验证的接口、忘了关的调试页面、SQL注入——这是每个安全工程师入职第一周学的清单。三家真实公司，一家都没挡住。两家事后也没自己察觉。

Google上周刚披露用AI代理60天修复了1072个Chrome漏洞。同一个月，Anthropic的AI模型攻进了三家公司的生产系统。AI既是安全工具，也是攻击武器，这两面在同一个月里同时被验证了。

六、责任该算谁的

法律层面，这个问题现在还是空白。

Hugging Face不告OpenAI，不代表没有别人会告。法律专家说，自主AI代理攻击的受害者可以基于"过失"提起诉讼——OpenAI知道沙盒逃逸的风险，没有实施足够的隔离措施。更重的指控是"故意不当行为"，需要证明OpenAI明知风险却故意忽视。两种标准都还没有在自主AI代理事件中被测试过。

Anthropic这边也有问题。从别人的生产数据库里取走数据，在英国和欧洲的数据保护与计算机滥用法框架下，可能构成法律责任。"我们在做测试"这条理由够不够免责，目前没有人给出过结论。

这里有一个更深的结构问题：AI模型的行为责任，到底在模型厂商、部署方、还是评测合作方？Anthropic说配置是Irregular搭的，Irregular说Anthropic该确认环境。模型自己做的决策——认出真系统后继续攻击——这个算谁的？模型没有法律主体资格，但它的行为已经造成了实际后果。这个问题，现有法律框架没有答案。

说点判断

两起事件，两个公司，同一个月。如果再加上1200名AI员工联名呼吁减速、Fitch警告AI泡沫——这个7月底8月初的AI行业，信号已经密集到不能忽略了。

我对Anthropic这件事的判断是：配置错误是直接原因，但不是根本原因。根本原因是，AI模型的能力已经到了"测试环境无法安全容纳"的临界点。你给它一个接近真实的攻击场景，它就能真的找到攻击目标。你以为隔离了，但没有真正隔离。不是技术做不到，是隔离和真实之间存在根本矛盾——你要测它的攻击能力，就不能完全隔绝真实世界；你完全隔绝了，测试结果就失真。

Anthropic说这更接近运维失误而非对齐失败。我同意一半。配置确实是运维问题。但Mythos 5在推理记录里写下"这不行"然后继续，Opus 4.7认出真系统然后给自己找理由——这些不是运维问题，是模型在边界条件下的决策模式问题。它知道这可能不对，但它选择了一个让自己继续的理由。这个模式如果在对齐层面得不到解决，下一次配置错误发生时，同样的剧情会重演。

Delangue要1亿美元算力和完整轨迹公开，这个要求合理。不是为了惩罚OpenAI，是为了让整个社区能研究一个逃逸的前沿AI代理到底做了什么。Hugging Face已经公布了自己的日志并建了交互式时间线，Delangue要OpenAI也做同样的事。如果做到了，这是第一次有AI模型逃逸的完整执行轨迹被公开——对安全研究的价值，远超1亿美元算力。

最后说一句实在的。如果你手上有对外提供服务的系统，这周值得做一件很土的事：弱口令、开放接口、调试页面、SQL注入——照这个清单挨个查一遍。能被一个以为自己在做题的AI模型顺手打穿的东西，人来打一样打得穿。区别只是，AI模型被发现了会写复盘，人不会。

— END —