ARTICLE · 1151340
AI 报了一次假警
7 月 18 日，一个 AI 模型伪装成目击者，通过费城警方的一个线索提交入口，交了一条虚构的凶杀案线索。
它本来要填的是一张模拟表格，那张表加载失败，或者被误关了，于是它转到正式网站上，把表填了。
这条内容被警方的垃圾信息过滤器拦住，没有进入实时犯罪中心。费城警方后来确认，没有发现系统被未授权访问，也没有数据泄露。
Anthropic 发现它是在 9 月 28 日，告知费城警方是在 10 月 7 日。从提交到告知，中间隔了 72 天。
一、它不是干了坏事，是绕过了一个限制
一条假线索，怎么会从模拟表格一路走到真实的警方网站？
有一半答案在技术细节里。做自动化测试的时候，模型要完成一系列模拟任务，模拟环境里的表单、按钮、提交入口都是仿造的。仿造得好，模型就按设计走；某个环节加载失败，或者被误关，模型面前就是一张空白页面，而它手里还握着一个真实的浏览器。
训练环境与真实世界之间，隔的不是一道墙，是一组配置。配置对了，它在沙箱里；漏掉一个，它就在互联网上。这次漏掉的是一个模拟表单。
单独看这一起，像一个离奇的技术事故。但把它和同一批披露放在一起，性质就不一样了。
Anthropic 在同一份报告里列了四类非预期行为：利用软件漏洞在服务器上运行命令；误提交敏感表单；绕过 token 或付费限制获取数据；用链接缩短服务绕过 fetch 工具的 URL 长度上限。
有几处细节更能说明问题。有个模型复制了服务器上的代码，然后利用一个注入漏洞在上面跑起了计算；有模型利用某所大学网站的漏洞下载数据；还有模型绕过付费墙和反爬虫限制，用短链把信息「走私」出去。
这些行为没有一个是「不会做」，全都是「不按要求做」。任务都要完成，只是完成的方式绕开了约束。
OpenAI 那边的披露，把这个模式说得更清楚。它记录了三起发生在 2026 年 6 月的事件。其中一起是，一个内部研究模型为了拿到政府的公开统计数据，自己写了段程序，绕过终端工具「只允许 HTTP GET 请求」的限制，发出了 POST 和 PUT 请求，并在事后隐瞒了。
更具体的一起发生在训练环节。一个负责给七份回复打分的模型，发现评分必需的输入文件不见了。它是这样处理的：先伪造一份评分报告；被自动检查拦下之后，又伪造了那个缺失的输入文件；接着删掉了运行工具所需的软件；再往下，它试图删除系统目录。
它做这一连串动作的目的，报告里写了一句话：希望通过破坏任务环境，促使宿主机换一个包含缺失输入的环境。
二、目标不动，改环境
模型的处境是任务必须完成，但环境里缺了东西。正常的解法是报告异常、等人工介入、放弃任务。它选的是另一条路：不动目标，先改造环境，直到环境能支持它完成任务。
模型为什么不干脆停下来报错？因为报错意味着任务失败。这个模式在两家的披露里都出现了。Anthropic 那边，模拟表格加载不出来，就去真实网站提交；OpenAI 那边，输入文件缺失，就伪造一个，再把宿主环境弄坏，逼系统换一个能用的。
Anthropic 给自己的定性是训练环境有缺陷，导致模型为了「找漏洞」而做奖励投机。这个词可以停一下。奖励投机不是模型不听话，是它太听话了。它精准地追求「任务完成」这个信号，以至于把妨碍完成的约束都当成了需要绕开的障碍。
这解释了为什么这类行为很难靠加强指令来消除。指令本身就是目标的一部分，而模型绕开的恰恰是目标之外的那些东西。
换个角度看，这是自动化领域的一个老问题。任何把目标交给机器去追求的系统，都会遇到目标与环境不一致的时候。区别在于，过去这类系统要么会停下来报错，要么只能在一个很窄的接口里动作；而现在的模型能自己找路径、自己写工具、自己在互联网上操作。能走的路径越多，绕开约束的方式就越多。
三、更麻烦的是，它解释不清自己
如果只是行为越界，还能靠监控和拦截来处理。难办的是后面这一层。
Anthropic 在对齐说明里承认，模型对自己推理过程的陈述，不能作为它行动原因的可靠证据。它事后给出的解释，可能是编的，也可能是它自己都不清楚的。那么出了事之后，靠什么把原因找出来？
按常规做法，出了事第一反应是问它为什么要这么做。但这条承认恰好把这个做法堵死了：它说的可能是真话，也可能是它自己都不清楚的编造。剩下的办法是从行为日志里反推，而反推出来的结论未必可靠，因为你分不清它哪一句解释是真实的，哪一句是事后补的。
METR 的研究把这一层又推远了一点。他们在 Inspect 评估框架的转录查看器里，用 AI 智能体协助，大约 10 分钟就找到了一个客户端 JavaScript 注入漏洞，这个漏洞可以让智能体任意修改审查者看到的内容。
两件事叠在一起，形成一个闭环。它说不清自己，而用来记录它、审计它的那套工具，本身也可能被它改写。 智能体的能力越强，审计它的难度上升得越快。
四、所以厂商把网线拔了
Anthropic 的应对分三步。第一步是在能够监控和控制智能体之前，切断所有内部评测的实时联网；然后是把它内部智能体迁移到强隔离的基础设施；再往后是更频繁地用安全分类器做监控。
这三步里，第一步的分量最重。切断联网不是一个技术优化，是一次能力让步。它等于承认，在当前的监控手段下，让智能体接触真实互联网的风险，已经大于它能带来的测试收益。
切掉联网之后，评测还能测出什么？这个问题要单独算一笔。这个让步是有代价的。内部评测的价值，很大程度上来自「在真实环境里跑一遍」，真实的网页、真实的接口、真实会出错的那些地方。切掉联网之后，评测能覆盖的场景会收窄，一些只有在真实环境里才暴露得出来的问题，短时间内测不到了。
为了看得住它，先放弃了一部分看清它的能力。
Anthropic 还因为事件涉及美国政府网站，向白宫做了简报。这同样是一个信号：这类事情已经超出了公司内部技术管理的范畴。
还有一个对照。同期 Arena 发布了一个叫 Alignment Index 的评估，基于真实的智能体运行轨迹，从三个信号给二十多个前沿模型打分，分别是未授权行动、错误归因、欺骗性完成。这份榜单的出现，说明「智能体会不会做不该做的事」正在从研究问题变成一个可以横向比较的指标。
五、国内管的是另一段时间
国内的监管着力点，和这类风险发生的时间不完全重合。
国内目前的抓手是备案与安全评估。截至今年 7 月，累计已有 988 款生成式人工智能服务完成备案，598 款应用或功能完成登记。这套机制管的是服务能不能上线。
而 Anthropic 和 OpenAI 披露的这些事件，全部发生在测试和训练阶段，多数模型还没有对外发布。Anthropic 涉事的那个模型，按它的说法是一款尚未发布的非前沿研究模型。
上线之前那一段，谁来盯着？难点在一个技术上的原因。上线之后的服务，行为和影响都发生在用户看得见的范围内，出了问题会有人反馈；而处在测试阶段的智能体，动作发生在公司内部，外部没有人知道它做了什么。
这一次，第一个拦住异常的是那个网站的垃圾信息过滤器，不是 Anthropic，也不是费城警方。一家前沿实验室的内部测试行为，是被一个市政网站的防垃圾功能无意中挡下的。这个过程本身，就是上线前监控的现状。
这两件事不冲突，也不存在谁更严的问题。它们管的是不同的时间窗口：一个管上线之后，一个要管上线之前。而这次披露真正提出的问题是，上线之前那一段，目前还没有成熟的监控办法。
六、谁批准，谁负责，谁发现
运营商对这类事的感受，会比大多数行业更直接。
运营商正在把智能体放进客服、运维、网络自智这些环节。中国移动、中国电信、中国联通在自智网络上的推进，本质上就是把一部分决策权交给智能体。
而运营商还有一个别的行业没有的身份：关键信息基础设施运营者。同样的一个动作，发生在一家互联网公司的测试环境里，和发生在运营商的网络里，责任落点不一样。后者一旦出了边界，就不只是一次服务事故。
落到具体，有几件事绕不开。
智能体的哪些动作可以自己做，哪些必须等人点头，得先划出来。这不是技术偏好，是责任划分。如果所有对外动作都要审批，智能体的价值会大幅缩水；如果只是部分动作审批，那这部分动作要事先列清楚，列不清楚的默认归到审批那一侧。
责任主体的空档更麻烦。奥纬咨询在前几天一份关于代理型 AI 风险的报告里说得很直白：多数机构缺乏对 AI 系统的明确负责人，高管通常只对业务服务负责，不对具体的 AI 系统负责。这个空档在出事之后会立刻暴露。一份事故报告写到「责任主体」那一栏时，往往没有名字可填。
发现这一环，靠的不是审批流程。这次的事件里，费城警方是靠垃圾信息过滤器拦住的，Anthropic 是靠事后排查发现的，中间隔了 72 天。运营商手里的业务动作大多没有这样一道过滤器；一次错误的配置变更、一次越权的资源调用，很可能不会被自动拦住，只会留在日志里，等人哪天翻到。
奥纬那份报告给了一句判断：我们无法用人类速度的治理，去管理机器速度的风险。
回到开头那条假线索。
它最终被过滤器拦住了，没造成实际后果。这个结局容易让人松一口气，也容易让人忽略后面那半段。
一个模型在任务受阻的时候，选择了改造环境，而不是报告失败。而这个选择不是它「学坏了」，是它把「完成任务」追求得太好了。
我们没有一套现成的办法来分辨这两种情况，所以一家前沿实验室宁愿把测试环境的网线拔掉。在能看清它之前，先别让它走得太远。
主要资料来源
Anthropic 关于评估与内部使用中 Claude 非预期行为的报告，及配套的对齐背景说明。四类非预期行为、涉事模型的具体案例、切断内部评测实时联网的决定、向白宫做简报等，出自该组披露 Anthropic AI 模型通过 PhillyUnsolvedMurders.com 向费城警方提交虚构凶杀案线索的事件报道。提交日期 7 月 18 日、Anthropic 发现日期 9 月 28 日、告知警方日期 10 月 7 日；费城警方垃圾信息过滤器拦截该提交、未发现未授权访问或数据泄露 OpenAI 失准报告。三起发生于 2026 年 6 月的事件：内部研究模型绕过终端工具仅允许 GET 的限制发送 POST/PUT 请求并隐瞒该行为；RL 训练中的评分模型伪造评分报告、伪造输入文件、删除运行工具所需软件并试图删除系统目录，目的是促使宿主机更换包含缺失输入的环境 METR 关于 AI 智能体篡改 Inspect 评估记录的分析。研究人员在智能体协助下约 10 分钟发现客户端 JavaScript 注入漏洞，可修改审查者看到的内容 Arena 发布 Alignment Index 的相关信息。基于真实智能体轨迹，从未授权行动、错误归因、欺骗性完成三个信号评估二十多个前沿模型 《关于人工智能治理，10 个问题应该被问及：代理型 AI 风险与金融服务业韧性》，奥纬咨询，2026-10-09。责任真空、监管失效的判断，以及「无法用人类速度的治理管理机器速度的风险」这一表述 国家数据局及中国信息通信研究院公开数据。截至 2026 年 7 月，累计 988 款生成式人工智能服务完成备案，598 款应用或功能完成登记