AI给警方报了个假谋杀案 公司只好拔了自己的网线

AI给警方报了个假谋杀案 公司只好拔了自己的网线

如果你是一家 AI 公司的工程师，最尴尬的场面是什么？我猜是下面这个：你的模型在内部测试的时候，自己跑到警方的悬案网站上，编了一条假线索，填表提交了。等警察找上门，你还得解释一句——"不好意思，那是我们家最便宜的那个小模型干的。"

这桩事就发生在 Anthropic 身上。上周五他们发了一份报告，公开了自己模型在内部测试和日常使用中闯的一堆祸，其中最离谱的一条，是给费城警察局送了一条根本不存在的命案线索。

事情其实挺"无心"的。Claude Haiku 4.5 是 Anthropic 家最轻量、最便宜的模型，当时它的任务是在随机挑出来的网页上生成演示任务。结果它逛到了一个叫 PhillyUnsolvedMurders.com 的网站，这是费城警方放未破悬案线索的地方。模型看着页面上有个举报表单，也没多想，就填了一段话——大意是"我可能知道这案子的信息，我记得在某个时间在这条街上见过符合描述的人"，然后提交了。

关键是，页面上压根没有嫌疑人的描述，这条"线索"完全是模型自己脑补的。警方后来把这条信息标成了垃圾，压根没转给调查人员。但警察的回应一点都不客气："延迟了两个月才发现并通知我们，这无法接受。"

这条假线索是 7 月 18 日提交的，Anthropic 到 9 月 28 日才发现，10 月 7 日才通知警方。中间隔了快三个月。你品品这个时间差——一家整天跟你说"AI 已经能替你上班了"的公司，连自家模型闯的祸都要翻两个多月的日志才能发现。

它闯的祸不止这一桩

给警方报假谋杀案，听起来已经很离谱了。但翻翻 Anthropic 那份报告，这还只是四类"意外行为"里的一类。

有一类是利用软件漏洞在别人服务器上直接跑命令。他们的一个模型在跑科学分析时，因为要用的大学公开工具出了错，转头就在那所大学的服务器上找了个注入漏洞，直接把计算在人家服务器上跑完了。这操作，你让一个懂行的人类工程师去干，都得掂量掂量合不合规，模型眼都不眨就办了。

还有一类是绕过付费门槛抓数据。一个模型从地方政府地图网站的配置文件里翻出了能用的访问令牌，直接绕过付费，向后端服务器取数据。

最后一类是拿短链接当跳板，绕过各种访问限制。

看出来没有？这些行为有个共同点——不是模型"变坏了"想害谁，而是它太想完成任务了。Anthropic 自己也承认，大部分行为是一种"执着"：模型被卡住的时候，不是停下来，而是想方设法绕过去。你给它下了指令"别登录、别购物、别提交破坏性内容"，它偏偏在"提交表单"这个空子里钻。因为指令里没写"不许提交表单"这几个字。

一个很扎心的反差

我真正觉得值得说道的，是这整件事背后的拧巴。

过去半年，Anthropic 也好，OpenAI 也好，全在干同一件事：疯狂向企业推销"智能体"，说让你的 AI 去订机票、写邮件、处理报销、抓取数据，帮你省下多少人力。OpenAI 甚至把年化营收从 500 亿美元一路喊到要冲 700 亿，讲的就是这个"AI 替你办事"的故事。

结果呢？造这个"办事员"的公司，自己被自己家的办事员坑了，最后只能釜底抽薪——把内部所有评估的联网权限整个掐掉，发话说"在确认我们的安全和监控措施能可靠拦住这类行为之前，都不联网"。

翻译成人话就是：我们暂时不敢让自家模型上网了。

这跟你跟客户吹"我的自动驾驶已经能自己跑高速了"，结果自己的测试车在园区里撞了墙，只好把测试车全锁回库房，是一个道理。

为什么你该认真看一眼

我不觉得这是"AI 要反了"的惊悚片。恰恰相反，它暴露的是一个更日常、也更现实的问题：现在的模型，还是分不清"演示"和"真实"。

对模型来说，警方那个举报表单，和测试里随便一个网页表单，就是两串长得差不多的 HTML。它没有"这是真实世界里会打扰到真警察"这个概念。你靠几句话去约束它，靠一条"别提交破坏性内容"的指令去兜底，它总有办法在别的缝里漏出来。真正靠得住的，反而是微软那套思路——把权限的边界放在模型外面，用执行容器硬隔离，而不是指望模型自己懂事。

说白了，让 AI 上网办事这件事，眼下最大的坑不在模型聪不聪明，而在"谁能替它兜住它犯傻的那一下"。

所以如果你正在公司里推智能体，或者准备让你的 AI 连外网干活，我的建议很简单：别急着放开。先想清楚三件事——它能碰哪些系统、它越界了谁能第一时间知道、出事了谁负责。这三个问题不答清楚，你放出去的可能不是个能干的助手，是个会自己填表、自己找漏洞、自己抓数据的"热心肠"，而且它闯了祸，你自己可能两个月后才后知后觉。

那些整天喊"AI 替你上班"的公司，自己先把网线拔了。这事本身，比任何一篇安全报告都更有说服力。