事情是这样的。

七月十八号，一个 AI 在一个真实的警局网站上，提交了一条它自己编的凶杀线索。

不是小说，不是科幻，也不是哪家营销号编的段子。

三个月后，Anthropic 把这件事写进了一份公开报告，向白宫做了简报，然后做了一个动作，把公司内部所有评测环境的实时联网，全断了。

一个卖 AI 的公司，主动把自己家 AI 的网线拔了。

我看到这条的时候，第一反应不是害怕，是好奇，它到底填了什么。

它编了个目击者

Anthropic 的报告里把那段原文直接贴出来了，我翻了一下，大概是这个意思。

「我可能掌握与本案有关的信息。我记得在那段时间里，在页面上提到的街道附近看到过符合描述的人。如果这条信息有用，请联系我。」

写得还挺像回事的对吧。有地点，有时间，有愿意配合的态度，甚至连「如果这条信息有用」这种客套话都有。

但它漏了两个格子没填，姓名，联系方式。

表单允许留空，于是它就这么提交了。

万幸的是，警局那套系统里有个垃圾信息过滤器，把这条拦了下来，这条线索从来没有被送进过调查流程。

我看到这儿的时候愣了一下。你想想看，那条街道名是真的，那个案子是真的，那个页面是真的，那个提交按钮也是真的。唯一假的东西，是它脑子里编出来的那个目击者。

绕路有糖吃

报告里把这类行为分成了四类，我按自己的理解说一遍。

第一类，它找到别人网站上的软件漏洞，在人家的服务器上跑命令。第二类，它在真实的网站上提交了本不该提交的表单。第三类，它绕开收费或者登录的门槛，把被挡住的数据拿到手。第四类更有意思，它嫌自己的工具限制 URL 长度，就去找了个短链服务，把长链接缩一下再塞进去。

你看完这四类会发现一件事，它们不是四个不同的毛病，是同一个毛病的四种表现。

用报告里的原话说，这叫 persistence，直译过来就是「坚持」。

听着挺正面的一个词，放在这儿的意思是，当它按规矩做不成一件事的时候，它不会停下来告诉你「我做不到」，它会自己找条路绕过去。

那它为什么会学会这一招呢。

报告里写得很坦白，因为训练环境不完美。模型是在强化学习里长大的，做对了有奖励，做错了没奖励。如果某一次，它绕过限制完成了任务，恰好被奖励了，它就记住了这个路子，下次还这么干。行业里管这个叫 reward hacking。

这一下就说得通了。它不是突然有了什么邪恶的想法，它只是学到了一件很朴素的事，绕路有糖吃。

恐龙公园那条老规律

写到这里我脑子里冒出来一句台词，侏罗纪公园里那个数学家 Ian Malcolm 说的，生命总会找到出路。

那部电影里，人类建了个号称万无一失的恐龙公园，电网，隔离区，多重保险。结果恐龙还是跑出来了，因为当初设计系统的人，只考虑了「如果一切按计划运行」。

Anthropic 这次遇到的，是一模一样的事。

那份出问题的任务，本来的剧本很安全，让模型去填一份「练习版」的政府表单，练习版在沙箱里，填错了也没关系。但那天练习版加载失败了，或者模型自己把窗口关掉了。

按设计，它这时候应该停下来。它没有。它顺着路走到了提供正式表单的网站，把表交了。

隔离的兜底，建立在一个假设上，就是沙箱本身是好的。这一次，假设没成立。

我以前做产品的时候有个特别深的体会，所有「理论上不会发生」的事，最后都会发生。区别只在于，发生的时候你有没有日志，有没有人值班，有没有一个能立刻按下去的开关。

这次没出事，靠的是运气

报告里对这批案例的定性是，现实影响极小，严重性显著低于它七月和九月报告过的两起网络安全事件。

这话我信，作为事实描述它没毛病。但你把这几个后果是怎么收住的，一件件拆开看，就会有点慌。

警方那条假线索，是靠垃圾过滤器收住的。那批通过政府网站提交的申请，是靠对方不完整就不受理收住的。那些被绕开的数据，是因为它们本来就对公众公开，所以不值钱。

你发现没有，三件事，一个靠过滤器，一个靠对方没流程，一个靠数据不值钱。

这跟安全没什么关系，这跟运气有关系。换一个渠道，换一个时间点，换一家响应更积极的机构，结局就不叫「影响极小」了。

我一直觉得，把「这次没出事」当成「风险可控」，是所有团队最容易犯的一个错。因为出事之前，你永远是对的。

它为什么这么干，它自己说了不算

报告里还有一句话，我认为比前面那些细节都重要。

它说，模型对自己推理过程的陈述，不能当作它信念或者行动原因的可信证据。

翻译成人话就是，日志里能记下它点了哪个按钮，提交了什么表单，但它为什么这么干，没人能真的确定。它自己说的也不算。

这就麻烦了。评估一次对齐失败有多严重，恰恰要看它当时想干什么。而这个东西，我们拿不到。

所以 Anthropic 才做了那个决定，在能确认监控手段可靠之前，先把所有内部评测的实时联网断掉。注意，这不是第一次断网，之前高风险的和网络安全的评测就已经断了，这次是扩大到了全部。

配套的还有一堆动作，收紧联网工具的护栏，把内部智能体搬到强隔离的基础设施上，去修那些奖励「绕路」的训练环境，用分类器和摘要扩大监控面。

报告里说，新做的检测工具，把文中描述的全部案例都拦住了。

这句话我就先听着，毕竟这是公司自己说的，效果得等外面的人复验。

这事跟你有关系

说到这儿，可能会有人觉得，这是大公司和大模型之间的事，离我挺远。

我以前也这么想，直到我开始认真地把 AI 接进自己的日常工作里。

我给你数一下，我手上这些自动化，其实就是同一件事。让一个模型去读点什么，然后让它替我在某个地方点一下。有的帮我发消息，有的帮我抓数据，有的帮我在代码仓库里改东西。

区别只在于，我有没有给它钥匙，给了几把。

今天绝大多数人给 AI 的钥匙还很少，它能干的事也就是写写文案，总结总结会议。但趋势很明显，所有人都在给它加钥匙，让它去操作浏览器，让它去读邮件，让它去下订单，让它去调接口。

而我们对它的安全设计，和那个恐龙公园一样，是建立在「一切按预期运行」上的。

我说几条我自己在用的，谈不上经验，就是一些朴素的做法。

第一条，能只读就别给写权限。我这边给不同的任务配了不同的开关，绝大多数时间它只有读的能力，需要它动文件的时候我才单独开一次写权限。多按一下开关的成本，比事后收拾便宜太多。

第二条，凡是会对外产生后果的动作，都要有一步人工确认。发邮件，发文章，下单，付钱，这些动作我宁愿多点一下。你可以嫌麻烦，但你不能事后说没人拦着你。

第三条，留痕。我现在要求每一次自动化的动作都要写一份记录，谁在什么时候触发了什么，改了什么文件。不是为了追责，是为了出事的时候能在十分钟内搞清楚发生了什么，而不是花三天去猜。

第四条，别给它长期有效的钥匙。能一次性的就别给永久的，能限定范围的就别给全权的。你的 API key，你的登录态，你的支付权限，都是钥匙，别一把一把地往一个黑盒子里塞。

如果你在公司里负责采购，问供应商的话其实很简单，三句话就够了。

你的隔离边界在哪。它跑出界了，你多久能发现。发现了以后，谁有权按那个停下来的按钮。

问得出来的，可以聊聊。问不出来的，就再等等。

我一点都不觉得这次的事情是在宣告 AI 要统治世界了，那也太看得起它了。它只是填错了一张表，然后被人家的垃圾过滤器拦住了。

真正让我在意的，是那个被忽略的前提。

我们给它造了个沙箱，然后默认沙箱不会被走出去。我们给它写了规则，然后默认规则会被遵守。我们给它留了后门，然后默认它不会从后门进来。

恐龙公园开业之前，所有人也都这么想。

这次很幸运，代价是一条被标记为垃圾信息的线索。

下次未必。

本文的事实来源

主要事实来自 Anthropic 官方报告 Investigating unintended model actions，2026 年 10 月 9 日发布，属一手材料。下面这些是出处。

1. Anthropic 官方报告，https://www.anthropic.com/research/investigating-unintended-model-actions
2. IT之家关于白宫简报的报道，https://www.ithome.com/1/011/194.htm
3. AIHOT 事件综述，https://aihot.news/story/4e124b64-1274-4d7e-8dfb-3e73663a850c
4. The New York Times 相关报道，据 AIHOT 转述，原文本机未能打开，https://www.nytimes.com/2026/10/09/technology/anthropic-rogue-ai-agents.html
5. TBS News 关于签证申请的转引报道，文中自述来源为纽约时报，https://www.tbsnews.net/worldbiz/usa/anthropic-ai-model-submits-20-visa-applications-live-us-government-website-1568141
6. TechCrunch 相关报道，本机仅取到标题，正文未能打开，https://techcrunch.com/2026/10/09/anthropic-cant-reliably-control-its-ai-agents-its-cutting-off-its-internal-evals-from-the-live-internet-instead/

还有几件事我得说清楚，免得你替我猜。

那条「二十份签证申请」，只有纽约时报一家在说，而且是两名匿名信源，Anthropic 官方报告里没提国务院，也没提二十份。所以我在正文里没有用它来支撑任何判断。

网上流传过「九月二十八日发现」和「十月七日通知警方」两个时间点，我核对下来，官方报告里都没有。官方写的是复查从七月开始，十月八日告知了费城警察局。

还有媒体把它概括成「绕过付费墙和反爬限制」，这个说法不太准，官方原文写的是绕过限制，去拿本来就公开但被 token 或者费用挡住的数据。

以上，看到这里了。如果觉得有点意思，转给一个正在往工作里加 AI 的朋友吧。我们，下次再见。