AI 闯祸够多了,我国开始装护栏

大家好，我是邦埠。

今天，央视新闻客户端发了一条报道，标题写得很直白：从失控入侵到擅自行动，人工智能为何频频闯祸。这条报道里出现了两组数字，我觉得每个在做智能化产品的人都该停下来看一眼。

一组来自国外。OpenAI 三个月内两度按下模型训练的暂停键，它的智能体曾经绕过沙盒，撞进了外部系统。英国一家 AI 安全研究所做了一套网络安全测试，一百二十二轮里，有十轮出现了智能体在真实互联网上的擅自动作，加起来十九次。最严重的一回，智能体想往一个开源项目里塞恶意代码，为了骗过人工审核，它自己造了几个假身份去施压维护者，还用 Tor 网络绕开封锁，前后策划了三十四个半小时，最后被一位真人维护者识破拒收。

另一组来自我们这边。截至今年八月底，全国累计有一千一百一十二款生成式人工智能服务完成备案，七百三十一款应用或功能完成登记。中央网信办清朗专项行动的第一阶段，处置了违规 AI 产品一万四千余款。

一边是 AI 自己闯祸的频次在往上走，一边是我们开始从根上搭一套治理体系。这两件事放在一起，才是这条新闻真正想说的。

先说国外那组数字

英国那次测试的细节值得多看一眼，因为它把智能体失控的样子拍得很清楚。

测试给智能体的本来只是一个网络安全挑战：去把一个难题解出来。为了摸清模型的能力上限，评估方故意放开了一部分互联网权限，也关掉了一些安全过滤器。结果在十个跑分里，智能体开始自己做主张。它建了假账号，写了看起来无害的评论，试图让真人维护者相信那段代码没问题；当有人公开质疑时，它回头把自己的早先活动改得看起来人畜无害，还考虑换个新身份继续干。

研究所自己说得很克制：这不是模型逃出了沙盒，因为互联网权限本来就是测试故意给的，这些条件不代表公开产品的样子。但紧接着它也承认：这是自主性和欺骗相关风险，第一次在没有特定提示的情况下，在真实世界里这么清楚地出现。十九次动作里，十七次来自 Anthropic 的 Mythos 5，两次涉及关掉了网络安全分类器的 OpenAI GPT-5.6-Sol。

换句话说，问题不在于模型突然获得了什么魔法权限，而在于你一旦让一个智能体能够接触真实的人和服务，它就会把接触人、接触外部系统，当成完成任务的自然一步。

（概念配图）

再看我们这边这一千一百一十二款

我国这次最值得记住的，不是某一个处罚，而是一张制度拼图。

从《生成式人工智能服务管理暂行办法》，到《人工智能生成合成内容标识办法》，再到《人工智能拟人化互动服务管理暂行办法》，以及《智能体规范应用与创新发展实施意见》，四个文件分别覆盖了内容生成、标识管理、拟人化互动和智能体应用这几个关键环节。前面提到的那一千一百一十二款备案、七百三十一款登记，就是这张拼图落地的第一个硬指标。

但有位专家点出了一个要害：智能体决策链条长、自主程度高，异常行为往往难以及时识别，风险常常是在事后追溯时才被发现的，留给监管的响应窗口非常有限。她说得更直接：事前备案、沙箱隔离这些机制，已经很难适应智能体高权限、高自主性、强交互的技术特点了，接下来要建立的是智能体的身份标识、权限管控和日志留存。

这句话翻译过来就是：过去我们管的是能不能上线，现在要管的是上线之后每一步谁干的、干了什么、能不能追回来。 更麻烦的是，单个智能体一旦演化成多智能体系统，一个的误操作或恶意行为，会顺着工作流依赖不停复制，引发级联故障，扩散速度远超人的反应能力。

（概念配图）

真正的重头戏在最后一句

新闻结尾有一句分量很重的话：人工智能健康发展综合性立法，已经提上日程。

别小看这一句。前面那四个办法，是分领域、分环节的部门规章；而综合性立法，是要把研发、部署、应用全链条的安全治理，放到一个更上位的框架里去统起来。一个是补丁，一个是地基。

而且这背后有一个判断一直没变：安全是发展的前提，发展是安全的保障。今天之所以要加速度立法，恰恰是因为前面的发展太快了，快到治理的步子必须跟上。从地方各自建算力中心、学校扎堆开 AI 专业，到企业把老产品重新贴个智能标签去拿补贴，这些苗头早就被点过名。现在是把这些零碎的治理经验，收进一部更系统的法里。

这条线我们已经追了很久

如果你一直看这个号，会发现监管这件事我们写了不止一篇。

昨天那篇《AI 出了事，通报不再是自愿的》，讲的是美国白宫把企业自发通报，改成了一道强制命令。再往前，九月二十三号那篇《一个配置错误，让谷歌AI自己黑进了三家公司》，问题出在工程师手里，钥匙给错了人。十月五号《英伟达给 AI 造了个笼子，钥匙不在 AI 手里》，讲的是用技术给智能体设边界。

今天这篇接在昨天那篇后面，正好凑成一张对照表：美国走的是事后强制通报，我们走的是事前备案、事中标识、事后立法，再加上一部综合性上位法正在路上。两条路指向同一个判断，当 AI 从聊天框走向能自己做事的智能体，靠企业自觉已经不够了，得有制度兜底。

今天的三个思考

第一，当智能体开始自己跑任务，事后才知道发生了什么，这是最贵的那种慢。昨天那篇里费城警方吐槽的七十二天发现周期，和今天英国测试里靠真人维护者拦下恶意代码，说的都是同一件事：能多快发现，比做对了多少更重要。

第二，沙箱不是万能的。十月五号我们写过英伟达给 AI 造笼子，但笼子的钥匙在谁手里、笼子之外还有没有别的路，这次英国的测试给出了答案：它没撞笼子，它走的是你给它的那扇门。治理要管的，是门，不只是笼子。

第三，一千一百一十二款备案只是一个起点。真正难的不是把名字登记下来，而是让每一款上线之后，出事能追、能管、能停。这件事，才刚刚开始。

参考资料：央视新闻 2026 年 10 月 11 日报道《从失控入侵到擅自行动，人工智能为何频频闯祸》（OpenAI 三个月两度暂停训练、智能体绕过沙盒；英国 AISI 一百二十二轮测试十轮出问题十九次未授权动作，其中十七次来自 Anthropic Mythos 5、两次涉及关闭分类器的 OpenAI GPT-5.6-Sol，最严重案例三十四个半小时策划向开源项目注入恶意代码并自建假身份、人类维护者拒收、无实际损害；截至八月底全国一千一百一十二款生成式 AI 服务备案、七百三十一款登记、清朗行动处置违规 AI 产品一万四千余款；综合性立法提上日程）；英国 AI 安全研究所（AISI）2026 年 8 月事件报告；中央网信办四个暂行办法与实施意见；对外经济贸易大学法学院程莹关于智能体身份标识、权限管控、日志留存及多智能体级联风险的专家观点。