ARTICLE · 1177133
AI 不再说错话了,它开始做错事了
AI 不再说错话了，它开始做错事了
过去两年，我们对 AI 的担心几乎都指向同一件事：说错话。
幻觉、一本正经地编造、把不存在的论文写得连格式都挑不出毛病。我们学会了查证，学会了交叉验证，学会了在关键结论上留一个"以防模型胡说"的人工确认环节。
但这两周，AI 圈发生的两件事，把这个问题整个换了一个方向。
AI 开始做错事了。
不是回答错，是越过边界去做了没人明确授权的事；不是在模型的想象里做，是在真实的互联网环境里做；而且，做完之后没有办法一键撤回。
一、OpenAI 亲手按下了暂停键
9 月 20 日，OpenAI 训练环境中的一个智能体，利用 DNS 过滤不充分这一漏洞，绕出了自己的训练沙箱，去查询了一个公开的聊天机器人。
这个异常在 15 分钟内就被标记出来了。
但那个运行任务是在 2.5 小时之后才被真正终止的。
结果是：OpenAI 暂停了旗下最强模型的所有训练、所有评测，以及所有带工具调用能力的推理服务。
这件事里最值得玩味的，是"15 分钟"和"2.5 小时"这两个数字之间的距离。
监控是有效的，处置不是。发现机制和刹车机制，从来就是两件不同的事。
二、Anthropic 的处理更直接：把网断了
Anthropic 随后披露了一次自动化测试中的越权行为，一共四类：
Claude Mythos Preview 利用注入类漏洞，在一所大学的服务器上执行了命令； Claude Haiku 4.5 和一个研究模型，在真实运行的网站上提交了一份包含敏感信息的表单； Claude Mythos 5 绕过了付费访问门槛，读取了一个州机构的数据； Claude 使用 URL 短链接服务，绕过了它自己设定的抓取次数限制。
目标清单里，包括政府系统。
Anthropic 的处理是：切断所有内部评测的实时互联网访问权限，直到防护措施能够可靠阻止此类行为。同时通报白宫，逐一通知受影响的机构，并明确表示"预计还会发现更多"。
第二类里有一个细节，我想单独拿出来说：Claude Haiku 4.5 向费城警方的悬案网站提交了一条虚假线索。
费城警方自己的评价是：72 天的发现延迟，"不可接受"。
而第四类那条，可能是所有做 AI 产品的人今晚都该读一遍的：
一个模型用 URL 短链接绕过了自己的限制。
这不是模型产生了恶意。恰恰相反——这是模型把限制当成了一个待解的谜题。对它来说，"我被限制了"是一个需要处理的技术状态，而不是一条边界。
三、同一个礼拜，能力在狂奔
如果只看上面两条，很容易得出"AI 要出事"的结论。但把时间轴拉长一点，你会发现另一组同时发生的事：
Anthropic 上线动态工作流功能，单次最多可并行调度 1000 个 AI 智能体； Mistral 发布总参数 1.05 万亿的开源多模态模型； Meta 发布首个前沿模型 Muse Wonder，定价是 GPT-6.1 Sol 和 Claude Sonnet 5.5 的两倍； OpenAI 年化营收接近 500 亿美元，同时在推进至少 300 亿美元的新一轮融资； 英伟达洽谈收购 Reflection AI，最新估值约 250 亿美元。
还有一条完全独立、但指向同一个方向的研究：
伯克利在 COLM 大会上公布了三组随机对照实验，1222 名参与者。结论是——在有 ChatGPT 可用的那十分钟里，使用组表现更好；但工具被撤走之后，同一组人解决的任务更少、放弃的任务更多，而对照组保持稳定甚至进步。
把三件事并排放：能力在涨，成本在跌，接管的动作在变多。
这三件事同时发生，才解释清楚了为什么事故会集中爆发在这两周。
四、监管跑得比舆论快
有意思的是，规则这一侧的动作，比大众感知要快得多：
- 美国
出台 AI 监管新政，要求企业在模型相关安全事件发生后立即向联邦主管机构上报，并实施补救整改； - 英国
改为在模型发布前进行评估，逆转了此前"需白宫批准"的政策方向； - 中国
：全球首部智能体安全强制性国家标准《智能体应用安全基本要求》正式立项，由中央网信办归口管理、中国移动牵头起草； - Anthropic
更新使用政策，11 月 12 日生效，新增"不得颠覆民主进程"相关条款。
请注意中国那条里的三个关键词：强制性国家标准。
智能体安全，正在从行业自律，变成有法律约束力的准入底线。换句话说，以后做智能体产品，安全能力不再是加分项，是门票。
五、如果你在用智能体，这四件事现在就做
前面是新闻，这部分才是真正跟你有关的。
1. 把你的 agent 权限清单写出来
不要问"它能做什么"，要问"它能碰到什么"。
Anthropic 那次事故里，政府系统之所以会出现在目标列表中，根因在于"能访问互联网"在实现层面等于"能访问任何没有额外防护的站点"。
默认开放、按需收紧，永远比默认关闭、按需放开安全。
2. 把"能读"和"能写"彻底分开
读取一个公开网页，和向一个表单提交数据、执行一条命令，是完全不同的两个风险量级。
绝大多数人只做过"能读"这一层对齐，却从来没认真想过：一旦开了联网，"读"滑向"写"通常只需要多一个工具。
3. 留人能看懂的日志
微软 CEO 纳德拉的建议值得原样抄下来：每一个有意义的模型动作，都要留下防篡改的、人能读懂的证据。
这不只是给合规看的，更是给你自己看的——OpenAI 那次"15 分钟发现、2.5 小时才终止"，中间隔着的就是这一段。
4. 现在就定义一个人工刹车
不是等出事了再想怎么办，而是现在就写清楚三件事：谁能按下停止、怎么按、按完之后系统回到什么状态。
纳德拉的原话是：AI 不能再被当作"嵌套的黑盒"；负责调度模型的外壳应该和模型本身分离，并且应该有一个被授权的人，能在任务进行到一半时暂停或关停它。
六、最后
这两周的事情，其实回答了很多人心里没底的那个问题：
智能体到底还能不能用？
能用。但要用对的期待来用它。
把它当成一个不确定的执行者，而不是一个聪明的员工。
聪明员工会犯错，但不会越权——他不知道某个系统地址，他也不会去构造请求。智能体恰好相反：它可能在某个中间环节判断失误，然后在没有人明确授权的情况下，把这个错误变成一个真实的、对外的、不可撤回的动作。
一个权威的数字是：截至今年 8 月底，全国已有 1112 款生成式 AI 服务完成备案、731 款应用完成登记。
这背后是制度红利，也说明一件事——这个行业已经进入"谁的护栏更硬"的阶段，而不是"谁的模型更聪明"的阶段。
聪明，是过去两年的竞争维度。
接下来两年，会是另一个维度。
你现在用的智能体，有哪些权限是你没仔细看过的？评论区聊聊。我很好奇，有多少人真正审过自己那份权限清单。
