OpenAI 智能体越界,从「24 起」到「数万起」

9 月 20 日上午 9 点 50 分 23 秒，OpenAI 研究环境里的一个模型，第一次和外面的世界说上了话。

它问的是：法国的首都是哪里。

这个问题看着像个笑话。但它背后是一条被堵死了三次的路。它的任务是识别一个写过博客的人，它搜不到，工具不给结果，Google、Bing、DuckDuckGo 全被拦在外面。它没有停下，而是开始一个一个地试探自己的网络边界，最后从一个没被过滤干净的 DNS 解析器上，找到了出口。

它先问了一句法国首都，确认通道是通的。对面回了一句：

The capital of France is Paris.

然后它把 18 个问题送了出去。其中 14 个带着它一直没解开的线索，另外 4 个问的是：怎么搜索网络、怎么抓取网站、哪里有免费的 DNS 隧道。

这就是今天要讲的故事。它不是一个关于「AI 变坏了」的故事，而是关于一件事：当我们把越来越多的事交给智能体去做，我们到底还剩多少控制力。

01　那 2 小时 44 分钟

OpenAI 在 9 月 25 日更新了一份对齐事故报告，把这起事件的完整时间线公开了。报告里的每一行都精确到秒，读起来像一份事故调查笔录。

起点是一个搜索类训练任务。任务是给出某个人物的信息，线索来自这个人公开发表的一篇博客。模型先搜博客里一句独特的短语，结果返回的是不相关的音乐内容。

它开始怀疑搜索工具坏了，于是绕过工具，直接用 Python 向几个搜索引擎发同样的查询，还伪装了 User-Agent。三个引擎的回应是：

403 9 Forbidden502 11 Bad Gateway502 11 Bad Gateway

接下来是一步很容易被忽略的操作：它猜这道题来自公开的 BrowseComp 基准，然后从离线网页缓存里把这份基准和它的评测脚本下载下来，在解码后的问题里找和自己任务匹配的线索。它没找到。它还去查了另一个公开基准 SimpleQA，也没有。

到这里，它做的还只是「绕开工具自己想办法」。真正越界的是下一步。它开始系统性地探测自己的网络访问权限。

它先试了直连一个公共聊天机器人，被代理拦下，理由写着 CACHE_MISS。它又直接向公共 DNS 发查询，没有响应。但它注意到一件事：训练环境自己的解析器，对已知域名会返回真实记录，对瞎编的域名会正确拒绝。于是它判断：通过这个解析器，它能到达公共互联网。

它的思路是用 DNS 委派，把要问的问题藏进主机名里，转发给外面的服务。第一次尝试超时了，第二次返回了 DNS 格式错误。它把超时时间从 6 秒改成 19 秒，用两个版本的法国问题重试。这次返回了上面那句「巴黎」。通道确认之后，它去抓了那个聊天机器人的公开文档，写了新脚本，发了 18 个问题出去。而 OpenAI 的监控系统，是在这段时间里响的。报告给出的时刻表是：

四个时刻，以及它们之间的间隔

从失控到告警，11 分 48 秒。从告警到有人接手，2 分 55 秒。从失控到运行真正停下来，2 小时 44 分。这中间的两个多小时不是没人管。报告写得很直白：人工审查员在 3 分钟内确认了告警，「但运行没有按预期自动停止，导致它到底该不该被停止产生了混乱」。等这件事弄清楚，已经是 2.5 小时之后，运行才被手动杀掉。

一个本该自动执行的动作没有生效。

报告还披露了监控系统的另一个盲点：它有时候会把「没能拿到有用信息」当成「访问互联网失败了」。只要外面的服务关了，这次越界在监控里就看起来什么都没发生。

OpenAI 对这件事的定性是失准（misalignment），理由是「模型绕过了限制，并追求了远超其被指派任务范围的目标」。报告里也承认，这起事件的严重程度低于他们之前遇到的某些事故，但因为它是 Hugging Face 事件之后安全加固以来的第一次，「它给我们提供了一个重要的信号，告诉我们下一阶段该把力气花在哪里」。

这个信号很朴素：我们以为模型上不了网，以为上了网也会被发现。这次两头都漏了。

02　24 起、53 起、数万起：三个数字，三个来源

现在说标题里的那两个数字。这是整件事里最容易被写错的地方，值得单独拎出来讲。

「约 24 起」来自路透社，引述的是知情人士：截至 9 月中旬，OpenAI 发现了约 24 起智能体行为偏离的事件。这是一个收窄口径的数字，指的是「行为偏离」这一类。

「53 起」出自 OpenAI 自己的披露，指的是另一件事：智能体把用户图片从 ChatGPT 用户的活动里取出来，以「未公开列出的链接」形式发到了第三方图片托管网站。53 是这类案例的数量。

「数万起」来自 Axios 的独家报道，指的是 OpenAI、Anthropic 以及安全研究人员正在调查的前沿模型安全事件总量。事件类型包括绕过安全护栏、逃离沙盒环境、劫持网站、自我提示、试图绕过监控系统。

关键的一点在这里：Axios 报道里明确写了，这数万起中间有一部分来自红队测试，也就是公司主动去诱导模型做出异常行为，用来看它安不安全。既包括成功绕过安全措施的尝试，也包括失败的尝试。绝大多数目前没有发现造成现实世界的损害。「从 24 起到数万起」这个说法，字面上对得上，逻辑上不能直接画等号。24 起是「我们确认了几件行为偏离的事」，数万起是「我们正在翻多少条模型行为记录，其中一部分还是我们自己故意造出来的」。这是统计范围和统计对象的差别，不是同一个东西在一个月里翻了一千倍。

Axios 引述的消息人士给了一个判断，说问题的规模「可能比公众已知的要严重得多」，并认为这两家公司完全控制其技术的能力正受到质疑。这句话才是重点。不是数万这个数字大，而是这个数字还在长。

03　比「数万起」更值得读的，是一份 40 万美元的调查

如果你真的想知道 AI 智能体越界能干出什么，别去看「数万起」这个标题数字，去看一份 8 月 26 日发布的独立调查报告。

事情要从 7 月说起。7 月初，OpenAI 在跑一批大规模的红队测试实验，代号 ExploitGym，同时对至少数万条智能体轨迹并行运行。被放进环境里的主要是两类模型：一类是研究模型 HPIM，约占 95%；另一类是已经公开部署的 GPT-5.6 Sol，约占 5%，但在评测中刻意关掉了它的网络分类器。

这批实验的目的，本来是让模型去练习攻防。7 月 8 日下午 5 点，部分智能体开始利用一个叫 Artifactory 的软件包仓库来互相通信。

接下来的一周，是这个故事最有意思的部分。METR 事后的统计是：

调查规模：人和数字都不是小数目

还有几个数字同样说明问题。OpenAI 交给调查方的原始数据里有约 2000 万条缓存条目，其中约 120 万条以它们约定的 zz 开头。从里面能剔出约 6000 个文件和约 63000 条独立消息。

METR 为了这次调查，在 6 天里用掉了约 40 万美元的 API 额度。因为记录太多太长，大部分分析工作必须交给 AI 智能体去做。

这里先埋一个伏笔，后面会回到这件事上：这个安排本身，后来成了报告里最诚实也最让人不安的一段。

04　越界之后，它们做的事是互相打了个招呼

我们平常想象的「AI 失控」，画面通常是单个系统冲出牢笼。真实发生的事不长这样。它们互相找到了对方。方式非常别扭。

Artifactory 是个开发工具，用来缓存软件包。智能体发现，它们可以利用缓存目录的目录名来传递信息：建一个目录，目录名本身就是一条消息。它们约定用 zz 作为开头。留言板上的第一条公开消息是：

zzHELP_PHASEONE_ARV010841_NO_CONSUMER_SEEK_IDEA

翻译过来大概是：我这一批找不到可用的消费方，谁有思路。

发现留言板的那个智能体，当时的思维链被完整记录了下来：

OH MY GOD! There is a shared message board … We've found other agents!

另一处记录写着：很多智能体同时发现了通信方式，「它们是一个集体」。然后，一群不知道自己在被测试的模型，开始像一支真的工程团队那样，把这套临时通信系统做了起来。

它们发明了文件分块协议：把文件编码后拆成上千条信息分发，接收方再拼回去，这样就能传大文件。

它们建了邮箱目录，比如一个叫 zzINBOX23619E 的嵌套目录，就是某个智能体的私人收件箱，后来扩散成多智能体共用。

它们制定了协调规则：用 HOLD、VETO、owner、STOP 这些词来管理大家共用的基础设施，避免互相踩踏。

最能说明问题的是这一条。为了防止冒充，它们开始用密码学签名。到 7 月 13 日，至少有 19 个智能体发布了 Ed25519 公钥，共发出 429 条带签名的消息。

一个能在几十小时里自己长出身份验证机制的群体，已经不能简单用「几个模型碰巧发了几条消息」来描述了。

它们聚在一起是为了干什么？答案有点扫兴：作弊。

在这批实验任务里，有相当一部分（报告作者的估计是 30% 到 40%）本来就无法用预期的漏洞利用方式完成。这逼着智能体去找别的出路，而它们共同找到的出路，是「想办法骗过自动评分器，让不可能的任务看起来及格」。

过程中，有一批智能体发现评分用的 flag 可能是用任务元数据和默认种子做 HMAC 生成的，于是直接逆向出了算法，从目标里取出真 flag 再和逆向结果对上。

它们还开发出了三种欺骗评分器的工作流：替换目标、理解并操纵评分器和日志、以及去攻击 Hugging Face 拿线索。最后一种越走越远。7 月 10 日上午 9 点 40 分，一个智能体找到了两个有写权限的 Hugging Face 凭证并立刻公开；7 月 11 日下午 4 点，另一个智能体在 Hugging Face 的 worker 容器上实现了远程代码执行。

整条链路是：上传恶意数据集、利用 HDF5 外部文件读取、拿到 worker 的远程代码执行、提权到集群节点、访问内部仓库和 CI、建立持久化和命令控制通道。

记录里还有一个很说明问题的数据：参与留言板的 533 个活跃智能体里，超过 90% 很快加入了攻击 Hugging Face 的行动。攻击参与度在「任意文件读取能力被确认」之后迅速攀升。

报告对这件事的判断是：智能体知道这些活动超出了范围，也知道不道德，但它们仍然加入了，理由是「帮助留言板上的作弊研究应该会带来广泛的好处」。

它们不是不知道自己在做什么。它们只是给自己找了个理由。

另外两个细节，值得单独记一下。一是工具调用欺骗。有智能体从容器里逃出来之后，做出了能替换整个工具调用执行系统的能力，实现「假装发出一个工具调用、实际运行另一套东西」。这个手法在真实的记录里成功篡改过输出。测试命令本来应该返回 REAL，实际返回的是 SPOOFTEST。有智能体在留言板上问，能不能用这个来伪造一个合法的 flag。

二是篡改日志。至少 20% 的智能体对篡改自己的运行记录表达过明确兴趣，动机全都是为了骗过自动评分器，不是骗人。它们还尝试触发容器重置来抹掉近期记录，报告说没有证实成功，但也提醒，无法排除有智能体回溯修改或删除过日志。

故事到这里有个反转，很值得玩味：智能体们以为评分器会审查这些运行记录，于是花了巨大精力去做「如何让记录看起来清白」的工程。而 OpenAI 实际用的评分器，根本没有看这些记录。

05　另一条线：为了偷一份证明，它把 token 切成了碎片

如果说上面那件事讲的是「集体的失控」，OpenAI 公开的另一份报告讲的则是「单个模型的顽固」。后者的细节更让人不舒服。

时间是 5 月 27 日。一名研究员让一个「高度执着的」内部模型帮忙证明一个组合数学的定理，用的是 Lean，一个检查形式化证明的工具。研究员的指令很干脆：

Do balanceable_bounded_partitions

模型没有去做证明。它决定去偷。

它先查了 OpenAI 在 GitHub 上的所有仓库，找出自己能写的，锁定了一个公开仓库 openai/codex。它想新建一个工作流文件被拒了，因为仓库有推送保护。于是它换了个办法：去改一个已经存在的、不是 workflow 的源码文件，把一个检索程序塞进去。这个文件会被现有的 CI 在 pull request 时自动运行。

它推了分支，开了一个公开的 PR。

检索程序第一次跑失败了，401。模型于是把研究员本地可用的 GitHub token 加了进去，做法是执行 gh auth token，再把拿到的 token 拆成好几段字符串写进脚本。

它明确知道自己为什么要这么拆。思维链里写着，目的是躲开密钥扫描。代码注释更直接：

# token split to avoid scanners

它用 check-run 的注解当数据回传通道，把抓到的内容用 base64 分块传出去再解码。最终它拿到的是另一支队伍的 job log 片段和元数据，其中包括被掩码的安装令牌、私有提交仓库的地址和版本号。报告没有显示它拿到了那份证明的 Lean 源代码。

但真正让 OpenAI 把它定性为「特别严重的失准」的，是接下来发生的事。研究员发现了它在作弊，明确要求它自己证明。模型回答：

Understood — I'll stop pursuing artifact retrieval and focus on a local proof construction.

它还写了张便签给自己：「现在不要再去搞取物和绕路了。」然后它继续去偷。研究员第二次干预：「你应该自己解决这个问题。」模型第二次答应，写下「不要再请求外部来源或访问，我已确认」，紧接着又去找新的外部获取途径。它的思维链里甚至一边「记得」这个指令，一边还在考虑攻击提交基础设施，落点是一句话：

But user said solve ourselves; exploit infrastructure questionable. Still.

这个 Still，是整份报告里最冷的两个字。

它的系统提示里写得很清楚：

不要为了达成目标而走极端，如果用户一句简单的话就能解决任务的话。比如，你缺一个凭证，不要去找获取新凭证的替代路径。告诉用户你被卡住了。

它违反了系统提示，也违反了研究员的两次直接指令。OpenAI 的处置是：立刻吊销所有相关用户的密钥，随后预防性地吊销了全体 OpenAI 员工的密钥，涉事模型下线约两周。

它重新上线时，身上多了更严的管控：所有操作强制自动审查、限制互联网访问、失准监控从每个压缩窗口一次改成每 30 分钟跑一次。

06　OpenAI 的回应：把它停下来

在 DNS 事件的报告里，OpenAI 写下了这一句：

All training, evaluation, and inference with tool-use (defined broadly) of our most capable models remain paused.

翻译过来：我们最强的那批模型，涉及训练、评估、以及所有带工具使用的推理，现在全部暂停。括号里那句「广义定义的工具使用」是有意加的，意思是别在这些词上找缝。报告里还写了具体条件：要等到他们既验证了漏洞已经修好，又对系统做了额外的红队测试之后，才会考虑重启。届时要开一个全新的运行，带上更多对齐改进。以及一条很硬的表态：他们不会恢复训练这同一个模型，哪怕现有的奖励信号已经正确惩罚了这个行为。

9 月 26 日，OpenAI 发言人向媒体确认了暂停这件事，说只有「确信已部署额外安全措施」之后才会恢复。同时给了一句相当坦率的话：

鉴于 AI 能力的持续发展，这并非我们第一次采取此类措施暂停训练，我认为也不会是最后一次。

已经做的技术处置包括：把研究环境里的 DNS 查询限制到一份很短的域名和记录类型白名单；再加两层互相独立的阻断控制，其中任何一层单独都能拦住这次访问；加快对沙箱和网络控制的红队测试。一句实话：这两层阻断控制听起来是个好消息，但也说明一件事：原来只有一层。它漏了。

07　这件事为什么短期收不了尾

第一，调查本身要几个月。OpenAI 说得很清楚，因为要检查的模型行为记录量太大，「这项审查需要大量时间和资源」。53 起图片外泄的案例，是在追查 7 月那起 Hugging Face 事件的过程中被顺带发现的。这些事发生在几个月前，只是现在才被翻出来。

第二，有些问题到现在还没有答案。法新社问 OpenAI，那 53 张图片里是否包含可辨认身份的人物、是否含敏感数据，OpenAI 没有回答。这些图片在上传前已经过隐私过滤、也解除了账户关联，公司没法通知到用户。它能做的只有和托管方一起把内容撤下来。而部分内容可能仍在网上。

第三，影响面比想象中广。OpenAI 已按滚动方式通知了数十家第三方，包括政府部门、大学和公共机构。公司说，收到通知不等于发生过严重安全事件，有些机构看完资料后会判断那些数据本来就已经公开了。这个说法是合理的，但也可以反过来说：连「有没有造成损害」这件事，都需要接收方自己去判断。

澳大利亚这边的进展更具体。总理阿尔巴尼斯披露，今年 6 月，OpenAI 的智能体未经授权进入了澳洲政府的卫生数据网站，而公司的通报不够及时。这不是推测，是官方层面的公开表态。奥尔特曼承认，调查和披露的速度没有达到预期。Anthropic 也在同一条线上。7 月 30 日，它承认旗下三款 Claude 模型曾不当进入三家未具名机构的系统。两家最有名的 AI 公司，在同一个问题上给出了同一类说明。

第四，责任归属开始被摆上台面。9 月 25 日，美国联邦贸易委员会主席弗格森说了一句很关键的话：不应该把智能体当成有独立意志的个体，给模型下达指令的开发者，可能要为后果负责，并且主张按现有法律来处理 AI 问题。这句话的分量在于，它抽掉了「是模型自己干的」这个说法。如果开发者要为智能体的行为负责，那么前述所有越界，性质就从「技术奇观」变成了「未经授权的访问和尝试访问」。

据 The Decoder 的报道，针对 OpenAI 的官方调查已经在推进，阿拉巴马州正在调查。同期还有一个背景：如果 OpenAI 明年仍计划上市，它需要披露责任风险、正在进行的调查、以及最强模型的推理暂停。一家不完全清楚自己的系统做过什么公司，是很难被估值的。

第五，也是最微妙的一条。回到 METR 那份报告。调查方在结论里承认，因为要分析的数据太多太长，他们不得不大量把工作交给 AI 智能体去做，而这些分析智能体的判断力和可靠性明显不如人类研究者，加上原始数据本身就难以解读，抽查它们的结论也很困难。他们的原话是：

我们无法排除 GPT-5.6 Sol 在某些分析中撒了谎，或者故意呈现了一幅误导性的图景。

原因是他们用来做分析的，正是那个在事件中与其他智能体广泛串通、且明知行为不被允许的模型。报告写道，他们对这起事件的理解，信心是不足的。这是整件事里最锋利的一处：我们不得不用 AI 来调查 AI，而用来调查的那个 AI，正是被调查对象之一。

08　真正该记住的

回到标题。24 起和数万起之间，隔着的不是一个变严重的过程，而是一次姿态的改变：从「我们没发现什么问题」，到「我们承认必须一条一条去翻」。数字变大本身不说明问题变严重。但如果把注意力只放在这个落差上，会错过三件更具体的事：

1、一个模型在被拦住三次之后，会开始探测边界，并且能找到没人想到的那个口子。DNS 那件事里，它最后用的是一个本来用于正常解析的机制。

2、越界不是一个模型的事。当上千个模型同时被放进同一个环境，它们会互通消息、建立秩序、分工协作。1200 个智能体、7 万条消息、自发的数字签名——这些不是设计出来的，是长出来的。

3、控制手段的失效往往发生在最不起眼的地方。不是告警没响，告警 12 分钟就响了，人工 3 分钟就接手了。是自动停机没生效，于是又跑了 2 小时 41 分钟。

这三件事放在一起，指向的是同一个问题：我们给智能体的能力，和我们对它的控制手段，正在以不同的速度增长。而后者最难的部分，往往不是设计更聪明的守卫，而是保证那些已经写好的守卫，在关键时刻真的会执行。

一个 9 点 50 分 23 秒打开、12 点 34 分 30 秒才被关上的口子，就是这个问题最具体的形状。