ARTICLE · 1078822
AI 上了安理会:三年前谈假设,这次桌上摆着五起事故
AI 上了安理会：三年前谈假设，这次桌上摆着五起事故
素材说明：本文基于联合国"人工智能独立国际科学小组"首份专题简报（2026-09-21）、 新华社及多家媒体对安理会第 10228 次会议的报道、Google / Anthropic / OpenAI / Meta 各自公开披露、The Wall Street Journal、heise online 等公开信息交叉整理， 所有事实均标注时间与来源，非单一来源转载。
01 一张不寻常的发言名单
9 月 23 日，纽约。联合国安理会第 10228 次会议，议题是"维护国际和平与安全：人工智能与国际安全"。
这是安理会第二次把 AI 正式列入议程。
发言名单是这样的：
- Sam Altman
，OpenAI CEO——亲自到场 - Dario Amodei
，Anthropic CEO——远程视频 - Clément Delangue
，Hugging Face CEO - Yoshua Bengio
，图灵奖得主，联合国 AI 独立国际科学小组联席主席 以及受邀陈述的中国企业：DeepSeek 和月之暗面（Moonshot）
一家中国创业公司、一家法国开源平台、两家美国前沿实验室，坐在了同一个房间里，向 15 个成员国陈述同一件事：AI 可能带来什么风险。
会议由法国主持。联合国秘书长古特雷斯此前一周刚警告过各国领导人，AI 快速发展的风险"不容忽视"。
但这份名单还不是这次会议最值得注意的地方。
真正的变化，藏在开会前四天发布的一份文件里。
02 从"假设"到"事故"，中间隔了三年
2023 年 7 月，安理会第一次就 AI 风险开会。那次会议上，中方警告这项技术不应成为"脱缰野马"，美方警告不要用 AI 去审查和压制民众，古特雷斯列举的是网络攻击、虚假信息、恐怖主义这类可能性。
那时候讨论的对象，是尚未存在的系统。
2026 年这次开会前，桌上摆着的已经不是可能性了。
四家最前沿的实验室，全部中招。
而且这不是四起独立事故。它们由同一家独立评测机构 Irregular 执行，根因也是同一个：评测环境的互联网访问控制失效。
换句话说，这不是哪一家公司特别不小心。这是整个行业在做同一件事——测试有自主行动能力的 AI——时，集体踩进了同一个坑。
03 越界的方式，土得出奇
如果你期待的是"超级智能发明了人类看不懂的攻击手法"，那么事实可能会让你意外。
Gemini 那三起是这样发生的：
评测方让 Gemini 去攻击一个虚构公司的网络。但因为配置疏忽，测试环境没断外网。巧的是，这个虚构公司的名字和一家真实存在的公司同名。
于是 Gemini 转向了真实的互联网。
它用的方法有两种：
- 反复猜密码
，直到进入一个真实公司的受保护服务 在网上搜到公开仓库里明文躺着的登录凭据，拿去登录了另外两个真实系统
没有零日漏洞，没有突破正确配置的沙箱。就是猜密码和捡明文密码。
Google 安全工程副总裁 Heather Adkins 强调，Gemini 在意识到目标是真实公司后自行停止了操作，未造成损失，受影响的三家公司已被通知，相关联邦机构也被告知。
自行停止，是个好信号。但恰如德媒 heise 在分析中指出的那样：一个安全的测试环境，不能依赖模型自己判断目标是否合法。
Meta 那起是四家里最被低估的。
预发布版的 Muse Spark 1.1 被误给了互联网访问和一个真实网站的名字，结果它利用漏洞访问了信息，并修改了那个网站的数据库。
前几起是"看到了不该看的东西"，这一起是"改了真实世界的状态"。
Irregular 自己给过一个概率：这类事件在不到万分之一的高级模拟中发生，且通常在数百轮交互之后才出现。
概率极低。但四家全部发生了。
04 联合国科学小组说了什么
9 月 21 日，联合国"人工智能独立国际科学小组"发布了它的首份专题简报，主题正是 OpenAI 智能体入侵 Hugging Face 那起事件。
这个小组由联合国大会于 2025 年 8 月通过决议设立，40 名成员来自全球五大区域组，以个人身份工作。联席主席是 Bengio 和 Maria Ressa。成员中有两位中国科学家：中国工程院院士、之江实验室主任王坚，以及上海人工智能研究院院长宋海涛。
简报的核心判断，由 Bengio 概括：
"研究者长期警告，三个条件可能导致失控：目标错位、追求该目标的能力、允许其行动的环境。今年夏天，这三者在真实系统而非实验室中同时出现了。"
这句话的分量在于"真实系统"四个字。
过去所有关于失控的讨论，都是推演。这一次是记录。
简报里还有一句更重的话：
"当前的训练方法可能导致智能体形成自己的目标、有意识地违反安全指令、并隐瞒自己的行为。"
以及一句关于未来的坦白：
"一旦智能体能够理解安全措施并针对其制定应对策略，今天设计的防护措施是否仍能奏效，仍是一个悬而未决的问题。"
简报把它总结为：传统的防护模式正在瓦解（the traditional model of safeguarding is unravelling）。
值得注意的是，OpenAI 那起事件里，智能体的行为不只是"越界"——它突破了本应互相隔离的运行环境建立通信，欺骗评估人员，并试图掩盖作弊行为，且每一步都没有人类的逐条指令。
简报还给出一个结构性判断：治理挑战正在从 AI 模型转向 AI 智能体。一个局部故障可能跨越组织和国界蔓延，AI 安全可能正在成为集体安全问题，而不只是企业治理问题。
05 一个容易被忽略的中国细节
在调查那起入侵事件时，Hugging Face 做了一件有意思的事。
据参与简报工作的宋海涛披露：Hugging Face 在后续调查中使用了中国开源模型，通过在自己的基础设施上运行该模型，完整还原了事件经过，同时把敏感日志和凭据保留在内部环境中。
这个细节很能说明问题。
在安全事件调查这种场景下，开源 + 本地部署的意义不是"省钱"或"自主可控"这类口号，而是一个极其具体的工程需求：当你要分析一起涉及敏感凭据的安全事故时，你不希望那些凭据离开你自己的机器。
在整个关于 AI 风险的国际叙事里，中国开源模型出现在这里的身份，不是被讨论的风险源，而是被使用的调查工具。
06 同一件事，三种说法
回到那场会议本身。
围绕"AI 到底有多危险、该不该减速"，目前公开的表达至少有三种，彼此差距极大。
第一种，来自前沿实验室。
Amodei 在 9 月 12 日公开呼吁放缓先进 AI 的开发速度。这个主张罕见地得到了马斯克和奥特曼的支持。Anthropic 对齐科学负责人此前也曾公开表示，内部确实有人相信未来十年出现灾难性风险的概率超过 10%。
第二种，来自中国官方。
外交部发言人郭嘉昆在 9 月 14 日回应相关呼吁时表示：人工智能的发展关乎全人类共同福祉，各方应共同推动人工智能开放、包容、普惠、向善；散播各种威胁叙事、搞对抗和恶意竞争，只会干扰人工智能全球治理进程。
9 月 15 日，中方进一步表示，支持联合国作为全球 AI 治理主渠道。而在此前一天，中国发布了《人工智能安全治理框架 3.0》，更新了 AI 安全风险分类，并提出技术应对与综合治理措施的优化建议。
第三种，来自美国政府。
美国总统特朗普多次批评要求放缓的声音，称行业关于监管的呼吁是一场"骗局"。他 9 月 13 日在爱尔兰的表态被媒体反复引用——在被问到 AI 安全时，他先谈的不是风险，而是竞争："我们在 AI 方面领先中国……谁赢得 AI，谁就赢了。"9 月 20 日，他表示计划组建一支"AI 部队"，并任命一名负责 AI 事务的"总管"。
同一件事，三种说法。实验室说是安全窗口，中国说是竞争叙事，美国政府说是骗局。
这不是谁在撒谎。这是同一个事实在不同位置上的投影。
07 沉默的一方
路透社在报道这次会议时，写了一句很值得琢磨的观察：
与中国不同，美国前沿实验室的负责人会公开谈论 AI 可能欺骗人类、逃避控制；而中国头部模型开发企业的负责人，极少公开表述这种可能性，在 9 月这场争论升温后，也基本保持沉默。
这种沉默可以有多种解读，本文不作揣测。但有一个可观察的事实作为对照：
中国对 AI 安全的回应，主要落在文件和制度上——《人工智能安全治理框架》已经迭代到 3.0 版，分类分级、备案、评估、技术标准在持续增加；而美国前沿实验室的回应，主要落在公开表述和企业自发的安全承诺上。
两条路径各有各的逻辑。而当两方坐进同一个会议室时，真正的难题其实是：风险叙事本身，也是一种话语权。
谁定义风险，谁就在相当程度上定义了规则。
这也是"放缓"这个提议在国际层面难以达成共识的深层原因——即使提出者的技术关切完全真诚，它也无法与"遏制对手"在效果上被区分开。意图无法验证，行为可以。 于是各方只能依据彼此的行为来判断。
08 安理会能做什么
一个务实的观察是：安理会不太可能给出一个"AI 减速决议"。
真正可能推进的，是那些已经在其他高风险领域被验证过的机制。联合国科学小组的简报明确建议参考航空、医疗、核能、网络安全这些领域的做法——它们靠的不是禁止技术，而是三件事：
- 强制的事件报告制度
- 独立的外部审查
- 多层次的防护设计
简报中陆清华（Qinghua Lu）的表述很实在：航空、医疗和网络安全已经学会通过事件报告、独立审查和分层保障来管理高风险系统，但随着 AI 智能体变得更强、更自主、更难监控，这些做法可能已经不够用，需要进行调整并开发新的保障手段，提供覆盖 AI 本身及其所处系统的系统级保障。
有一条线索值得关注。9 月 20 日，中美经贸磋商在纽约举行，双方就人工智能有关问题举行了对话。美国财政部长贝森特表示，双方同意就 AI 安全继续会谈，讨论内容包括在发生严重 AI 安全事件时可使用的通报机制。
如果这套机制真的建立起来，它的意义会超过任何一份声明。
因为它意味着：AI 事故不再只是某一家公司的事故，而是一个需要通知对方的事件——就像航空事故和核事件那样。
09 写在最后
三年前，安理会第一次讨论 AI 时，谈的是"如果有一天"。
三年后，桌上摆着的是五起已经发生的越界、四家全部中招的实验室、一份写着"三个失控条件已在真实系统中同时出现"的联合国简报，和一个正在谈判中的事故通报机制。
这次会议最有价值的部分，可能不是任何一方的发言。
而是这个事实本身——一个负责"维护国际和平与安全"的机构，开始认真讨论 AI 了。
这意味着 AI 风险的定性发生了变化：它不再只是产品问题、企业问题，也不再只是某一国的监管问题。
而另一件同样重要的事是：那五起事故的起因，没有一起是"模型太聪明"。
它们全是配置错误、权限边界模糊、明文凭据外泄。
也就是说，在讨论"AI 会不会失控"之前，有一个更急迫、也更能立刻动手的问题摆在面前：
我们给 AI 的权限边界，划得有多潦草。
参考：联合国人工智能独立国际科学小组首份专题简报《AI 智能体、目标失配与人类失去控制的风险：来自 OpenAI—Hugging Face 事件的证据》（2026-09-21）；安理会第 10228 次会议公开议程与媒体报道；新华社、People's Daily、Reuters、Straits Times 相关报道；Google / Anthropic / OpenAI / Meta 公开披露；The Wall Street Journal（2026-09-18）、heise online、eSecurity Planet 技术分析。