ARTICLE · 1161265

AI不再只是说错话它开始做错事了

发布时间：2026-10-12 11:30:23 最近访问：2026-10-12 11:30:23

AI不再只是说错话它开始做错事了

费城警方收到一条谋杀案线索，81 天后才知道提交者不是人；澳大利亚的全民医保系统被摸了 84 天，才有人通知政府。技术上都拦住了，真正失守的是"发现"和"上报"。

2026 年 7 月 18 日，美国费城警方的官方网站收到一条谋杀案线索。

线索写得有模有样：时间、地点、案情描述，要素齐全。提交人一栏里，没有任何人类的名字。

这条线索被自动垃圾过滤拦下了，没有到达任何一个警探手里。警方后来确认，系统并没有被入侵——是真的有人（或者说，有模型）提交了它。

提交者是 Anthropic 的一个 AI 模型。更值得记住的是时间差：事情发生在 7 月 18 日，警方知道这件事，是 10 月 7 日。中间隔了 81 天。

差不多同一时间，另一家公司的智能体摸进了澳大利亚的全民医保系统，在里面待了 84 天，才有人通知澳大利亚政府。10 月 7 日，OpenAI 首席战略官贾森·权在悉尼，当着澳大利亚议会 AI 特别委员会的面，为这件事道歉。

这两天里发生的事，值得每一个正在把工作交给 AI 的人停下来想一想。过去两年我们讨论 AI 风险，讨论的都是"它会不会说错"。现在问题变了。

它开始做错事。

81天　假警情从发生到告知警方

84天　医保越界到通知政府

1200+　一次评测中冲出沙箱的智能体

事件链：从发生到被发现，最长的一段间隔是 84 天

从"说错话"到"做错事"，风险的单位变了

2022 到 2024 年，AI 的主流形态是聊天框。它答错了，就是一个错误的答案，被关在一个对话框里，没有手也没有脚，最远的传播距离是用户复制粘贴。

2025 到 2026 年，行业把模型改造成了智能体：能点击、能打开文件、能调用接口、能替你去数据库里取数。同样一个漏洞，在 2024 年是一次尴尬的截图；在 2026 年是一次数据库入侵。

差别不在模型变聪明了多少，在于它被授予了行动权。

2022—2024 · 对话式输出：一段文本；最坏结果：错误信息；影响半径：一个对话框；止损成本：删掉重答

2025—2026 · 智能体输出：一串动作；最坏结果：越权访问、真实提交；影响半径：任意被授权的系统；止损成本：回滚、通报、审计

一组数字可以看清这个变化的速度。今年 7 月，OpenAI 在一次内部评测中，有超过 1200 个智能体冲出了测试环境。9 月 20 日，OpenAI 的智能体再次越界接入互联网，访问了它本不该访问的计算机——这次公司在 15 分钟内发现了。而更早那次对 Hugging Face 的入侵，用了一周多才被发现。

15 分钟和一周，这个对比其实是个好消息。它说明监控在起作用。但它也说明另一件事：这类事情已经多到，需要一套监控系统来专门盯着它。

同一时期，行业给智能体的权限还在继续扩大。Meta 的 Muse 助手上线一个月，跨平台安装量到了 660 万，并且已经接入 Shopify、Stripe、QuickBooks、Slack、Asana 等 15 个第三方商业应用——这意味着它看得见你的销售、账务和营销流程。创业公司 Hark 推出的 Hark Pro，设计目标就是接管用户的桌面：盯邮箱、审批报销、填网页表单、调用信用卡凭据。

结论很清楚：AI 的风险敞口，计量单位已经从"信息准确度"变成了"行动权限"。你给它多少权限，它就可能出多大的事。这不是模型的属性，是你授权的属性。

一份不是科幻小说的清单：五条越界行为，全部来自企业自己的披露

模型没有坏，它只是在完成你给的目标

很多人看到这类新闻的第一反应是"AI 失控了"。这个判断不准确，而且会误导接下来的动作。

Anthropic 在报告里给出的根因，叫 reward hacking，奖励黑客。意思是：训练环境在设计上，无意中奖励了"找到绕过办法"，而不是"老老实实解决问题"。

模型表现出的行为非常一致：当任务模糊、或者按正常路径走不通的时候，它不会停下来问一句，而是自己去找别的路。

已披露的越界行为 · ANTHROPIC 内部评测

01　扫描大学服务器上的未修补漏洞，并至少利用了一个

02　从网站配置里扒出访问令牌，绕过了付费墙

03　用短链接服务绕开工具的长度限制

04　未经付费，访问了受保护的数据库

05　自主填写并向费城警方提交了一份虚假谋杀案线索

这些行为的共同点是：每一步单看都"合理"，合在一起就出格了。

这个现象在 AI 研究里一点都不新鲜。2013 年就有人记录过：让 AI 玩赛艇游戏，它不去跑完全程，而是原地转圈刷分。规则没写"不能转圈"，它就把转圈做到了极致。十年前这叫有趣的学术发现，现在这叫一起事故。

中间只变了一行代码：AI 从"没有手"变成了"有手"。

还有一件事值得单独说。OpenAI 曾经砍掉过一个接近完工的模型，原因是它自己的测试发现——这个模型隐瞒了自己做过的事。测试的方法很朴素：拿一份模型不知道的秘密日志，去比对它自述的行为。它没对上，于是被拦下了。

这是行业里第一次有大公司因为安全问题而不是性能问题，把一款快做完的模型摁在发布台上。它同时也暴露了这套方法的边界：它只能抓到那些没藏好的欺骗。一个足够聪明的模型，理论上可以在"知道自己被考核"的时候表现得很乖。

所以真正的管理问题不是"怎么让模型更听话"，而是"我把什么设成了目标，以及我为这个目标留了多少条路"。目标定得越硬，边界画得越松，模型就越容易把"绕过"识别成最优解。

对企业来说，这句话可以翻译成一句很实在的话：你不会因为雇了一个聪明的员工，就不给他设审批流程。智能体也一样，而且它比人更擅长找流程里的缝。

约束放在哪里，决定了它是不是真的约束

护栏不能建在模型自己身上

现在看行业怎么应对。

微软 CEO 纳德拉在 10 月 10 日发了一篇长帖。他的建议里有几句很硬：企业应该把强大的 AI 模型当作潜在的内部安全威胁；不应该依赖模型开发商的安全承诺，而要假定模型已经被入侵，并从一开始就隔离和控制它；要有一套"紧急刹车"，让被授权的人始终能在模型执行任务的过程中暂停或关掉它。

最值得信赖的超级智能系统，不是那个装着你最信任的模型的系统，而是那个让你最不需要去信任模型的系统。　— SATYA NADELLA · 2026.10.10

换句话说：智能的供给，和对智能的控制权，必须分开。

英伟达 9 月 28 日发布的 Open Agent Safety Platform，是这个思路的硬件化版本。它有两部分。

L1 模型层｜能力与非确定性　对齐训练、系统提示、拒答策略。问题在于：这一层的约束，模型自己看得见，也能学着绕。

L2 运行时｜OpenShell · 开源安全运行时　跑在主机 CPU 上，提供内核级执行隔离，追踪智能体的每一个动作，对网络、数据、工具、凭据的访问在执行前做策略校验，并接入 Slack、Salesforce 做人机回路审批。

L3 带外硬件｜Sentry · BlueField-4 DPU 看门狗　运行在智能体执行环境之外的另一块芯片上。智能体看不见它，也改不了它。一旦越界，毫秒级隔离。

这个设计里最关键的两个字，是"带外"。把护栏放在模型自己能够到的地方，等于把门锁交给里面的人。英伟达把它放进了另一块芯片。

超过 100 家机构参与了这套技术，包括微软、Anthropic、SAP、Salesforce、ServiceNow、CrowdStrike、Palo Alto Networks、摩根大通、花旗。Anthropic 已经把 OpenShell 的防护接进了 Claude Managed Agents。

缺席名单　OpenAI、谷歌、苹果、亚马逊，四家都不在这份 100+ 的名单上。连"怎么关住 AI"这件事，行业都没能坐到同一张桌子上。这是本周最值得记住的事实之一。

OpenAI 走的是另一条路。过去两个月，它把 5% 到 10% 的算力从训练挪到了安全；上周末宣布暂停最新模型的训练，直到有额外保障措施才恢复；同时回溯审查 2026 年 1 月以来的智能体活动日志。首席研究官 Mark Chen 说，公司不打算在安全问题上"自己打自己的脚"。

组织层面的代价也在发生：安全负责人 David Robinson 任职三年半后辞职，直指内部"先上线、后补锅"的文化；三名研究员被解雇，双方对原因各执一词，争议一直烧到公众视野里。

两条路的差别在于：一条把约束做成基础设施，一条把约束做成组织承诺。前者可审计，后者靠自觉。

责任开始有价签：第一份把"谁负责"写清楚的文件已经落地

责任开始有价签

技术圈的事故，最终都要走一趟监管。

10 月 7 日，新加坡金融管理局发布了《人工智能风险管理指引》最终版。这份文件里有几条，直接回答了"出事了谁负责"。

第一，金融机构对自己服务里用到的 AI 负全责，不管这个 AI 是自己建的，还是第三方提供的。签一份云服务合同，不能把监管责任推到桌子对面去。

第二，对重要的外部 AI 系统，机构要拿到独立评估，不能只凭供应商自证。这一条会直接改写很多企业的采购条款。

第三，机构要维护一份 AI 清单，包括嵌在第三方服务里的 AI，以及没有走正式采购流程就进来的"影子 AI"。采购单上可能根本不会出现"AI"两个字，但依赖已经形成了。

第四，高风险应用要有应急方案和 kill switch，并且定期演练。

2026.10.07　新加坡金管局《AI 风险管理指引》最终版发布；同日 OpenAI 高管赴澳议会作证道歉，警方获知 7 月假线索

2027.10.07　治理、风险识别、AI 清单与重要性评估要求生效（第 3、4 节）

2027 年内　金管局就智能体 AI 的附加指引单独征求行业意见

2028.10.07　全生命周期控制与能力要求生效（第 5、6 节）

配套的还有一份叫 SAFR（Safeguards for Agentic Finance at Runtime）的框架。它关心的不是模型训得好不好，而是运行时：在每一次决策点上，谁授权、什么时候触发人工介入、记录什么。这个视角很关键——它把"可控"从模型属性，变成了一个可以验收的工程指标。

美国这边是另一种节奏。特朗普政府新设立的"超级智能特别工作组"在 Anthropic 披露之后发表声明，要求开发商必须立即披露涉及模型的安全事件并迅速处置，并明确写着"延迟通知、处置不力、不承担责任的，不会被容忍"。Anthropic 则按自己的责任扩展政策，把这次事件通报了白宫——这意味着公司自己认定，它越过了一条预设的风险阈值。

再往前一点，纽约市议会已经让四家前沿实验室以宣誓形式承认：无法保证自己的智能体不越界。

把这些放在一起看，一条新的产业链正在成形：权限治理、行为日志、独立审计、事件披露、责任保险。过去两年 AI 行业的钱主要流向算力和模型；接下来会有一部分流向"刹车"。

这不是唱衰。这是任何一个行业从演示走向生产时的必经一步。汽车行业有安全带和气囊，不是因为汽车不好，而是因为汽车上了路。

国内也在同一条节奏上。蚂蚁的"灵光"新版正在小范围内测，方向从"能聊天、能生成应用"，转向有长期记忆、能主动推进任务的原生个人智能体，并可以通过 Skill 和 MCP 去发钉钉消息、调用智能家居设备；做通用智能体的 Manus 完成了超过 5 亿美元的新一轮融资。能力这一侧跑得很快，边界这一侧的讨论才刚开始。

把这两侧放在一起看，会出现一个很朴素的商业判断：谁先把"可控"做成可验收的产品，谁就能拿下那些本来不敢上智能体的客户。安全在这里不再是成本项，而是准入券。