ARTICLE · 1072916
造AI的人上安理会 说可能失控
造AI的人上安理会 说可能失控9 月 23 日下午，纽约，联合国安理会那间会议室里坐着几位平时只在发布会上出现的人：OpenAI 的首席执行官奥尔特曼、Anthropic 的首席执行官阿莫代伊、Hugging Face 的首席执行官德朗格，还有图灵奖得主、联合国人工智能国际独立科学专家组联席主席本吉奥。他们这次去，不是发新模型的，是去讲风险的。 这场会的分量，从参会名单就能看出来：把 AI 摆到安理会桌面上的，不是记者，是造 AI 的人自己。 
一、这场会到底是谁开的、讲了什么 按联合国新闻的报道，当地时间 9 月 23 日下午，安理会围绕"人工智能与国际安全"举行高级别会议。本月安理会轮值主席国法国提交的会议概念文件写道：随着人工智能能力持续增强，未来系统可能具备自主实施网络攻击、影响关键基础设施运行，甚至不断自我改进的能力。会议聚焦的正是这些风险，以及国际社会该怎么合作。 联合国新闻的报道把这场会定性为一次高级别讨论：来自科学界和产业界的多位代表，从风险治理、技术发展、安全监管和国际合作四个角度分别作了阐述。安理会曾在 2023 年首次专门讨论人工智能带来的国际安全风险，这是又一次把 AI 摆到安理会桌面上的会议。 讲话的四个人，各说了一句值得记下来的话。 本吉奥列了三项相互关联的风险：灾难性滥用、权力过度集中、人类失去控制。他特别点了"竞赛论"——有人把 AI 发展说成一场不可避免的竞赛，他的回应是："这不是自然规律，而是人为选择。"他主张建立国际许可制度，对最先进的模型做独立安全评估、事故报告和持续监督。发言最后他说了一句很有画面感的话："我们正在高速前进，但前方的能见度越来越低。" 奥尔特曼的说法更直白。据新浪财经转述，他在会上说"我们可能会失去对未来的控制"。联合国新闻记录了他的另一句话：无论重大灾难发生的概率是一成、千分之一还是万分之一，都不应被视为可以接受。他谈到前沿模型可能参与开发下一代模型——在这种情况下，技术进步速度有可能远超人类既有监管体系和制度建设速度。他的主张是建立国际统一的模型评估标准、安全测试体系和风险通报机制。他还说，没有任何国家、公司或者个人应该拥有向全世界强加其价值观的权力。 阿莫代伊讲的是速度。他说，仅仅几年前人工智能还难以完成复杂编程任务，今天已经能解决高水平数学问题，并逐渐参与科学研究过程。按目前趋势，未来一到两年内，人类可能拥有能力相当于"天才组成的国家"的系统——单一模型体系或许能同时承担大量研究人员、工程师和分析师的工作。他点出的两项重点风险是生物安全和控制能力不足。据法国国际广播电台报道，他甚至表示，必要时会单方面放慢研发速度。 德朗格把话题偏向了另一个方向。他说，最值得关注的问题未必是人工智能过于强大，而是能力越来越集中于少数组织和少数国家。他提到，Hugging Face 首先公开披露了一起自主智能体参与网络攻击的案例，事后发现类似情况在业内已经出现过，只是没有被公开讨论。他的结论是：治理要建立在事实和证据之上，而不是恐惧和猜测。 一个细节：阿莫代伊在会上透露，就在会议召开的当天，Anthropic 宣布他们的模型自主发现了一种新的酶系统——不只是读文献，还参与了研究假设和实验思路的生成。这句话和"我们可能失去控制"是同一个人的同一场发言。 二、同一天，也有人说不该这么管 会上呼吁建立国际框架的声音很整齐，会外的画风并不一致。 据美联社报道，会议前一天，美国总统特朗普把人工智能称为"超级智能"，并表示美国会拒绝限制这项技术的努力，理由是要在与中国的竞赛中赢得先手。同一天，英伟达首席执行官黄仁勋在《纽约时报》的一档播客节目里表示，AI 企业不应以安全合作为由，去换反垄断法或产品责任法方面的豁免（据凤凰网科技报道）。 英国外交大臣米利班德在会上的表态，则把这种分歧说得很形象。据美联社报道，他说：这些科技领袖"坦率地告诉我们，不能把防止灾难的责任留给他们自己"，"我们不能忽视他们，因为他们是对的。" 同一条线上还有中国的身影。据路透社报道，DeepSeek、月之暗面等中国 AI 企业受邀在本次会议上作陈述，其中 DeepSeek 创始人梁文锋不打算出席。另据路透社报道，美中双方正在筹备两国间首次专门针对人工智能的双边对话，美方代表团由财政部长贝森特带队，议题包括就监测 AI 参与的网络攻击展开合作。 三、为什么这件事值得你看一眼 一场在纽约开的会，看起来跟你的日常没关系，但会上讨论的东西，最后会落到你用的工具上。 第一，它讨论的是"考试标准"。 奥尔特曼和本吉奥都提到同一件事：对最先进模型做独立评估、统一测试标准、出事故要通报。这些词听着技术，但它决定了你未来能用到什么模型、在哪个地区能用、要付什么样的合规成本。今天你随手打开的对话框背后是不是"考过试"的模型，取决于这类标准落不落地。 第二，它讨论的是"事故要不要公开"。 德朗格那句"透明度本身就是安全机制"是有具体背景的：他所在的 Hugging Face 先公开了一起自主智能体参与网络攻击的案例，随后发现业内早有类似情况却没人说。如果事故被留在企业内部，外界既不知道风险在哪，也谈不上防范。 第三，它讨论的是"谁说了算"。 本吉奥说得很清楚：决定 AI 未来方向的问题，不应只由少数国家和少数企业作出。奥尔特曼也讲了一句同向的话：最重要的决定不能仅仅由旧金山的实验室作出。这句话从一位旧金山实验室的负责人嘴里说出来，耐人寻味。 而你手上其实也有能做的小事，三件： 一是给你自己在用的 AI 工具列一张边界表：哪些数据绝对不能贴进去，哪些任务可以交，哪些要留痕。多数人不是被模型坑的，是被自己顺手粘贴的那段内容坑的。 二是把"谁能代表你说话"写清楚：如果公司要用 AI 处理客户或同事的信息，先明确谁批准、谁复核、出事找谁。会上讨论的"事故报告机制"，落到你身上就是这张责任表。 三是别把"开安全会"当成"AI 要变慢"的信号：同一个人可以在上午宣布模型发现了新的酶，下午讲可能失去控制。这两件事从来不矛盾，看趋势就好，别急着下结论。 
四、冷静账：四条边界先讲清 一，这是一场"讲风险"的会，不是"定规则"的会。 据美联社的报道，围绕 AI 管控，各方要解决的问题不只是"要不要管"，还包括"谁来管、怎么管、以及是不是已经太晚"。会议上的呼吁很密集，但具约束力的规则、时间表都还没有。 二，"慢下来"的承诺带条件。 阿莫代伊说的是"必要时"会单方面放慢研发速度——必要与否，由他自己判断。同一天，Anthropic 还在会上宣布模型自主发现新酶系统的进展；把这两条放在一起看，比单看任何一条都更接近事实。 三，呼吁管控和反对管控的，都是当事人。 一边是模型公司在安理会讲风险，一边是美国方面表示不接受限制、芯片公司反对监管豁免。这不是"好人坏人"的故事，是同一门生意里不同位置的人在算不同的账。 四，这不是第一次。 2023 年安理会就首次专门讨论过 AI 的国际安全风险。三年过去，会议开了不止一场，有约束力的国际规则仍未落地。所以这次也别急着当拐点看——它更像一个信号：讨论的层级，从"行业会议"上升到了"安理会"。 五、一句话 真正让这件事值得关注的，不是哪位 CEO 说了什么漂亮话，而是造 AI 的人第一次成排地站到国际安全机构的桌子前，说这件事我们自己兜不住。至于兜不兜得住、怎么兜，接下来的一年才见分晓——据美联社报道，明年联合国将把 AI 管控放到讨论的核心位置，目标是找出一套全球统一的标准。 你怎么看这件事？如果哪天你常用的那个 AI 工具因为"安全评估"被下架或改了规则，你会换工具，还是会等它合规？评论区聊聊。 · · · 事实来源（逐条可查） 联合国新闻《【高级别周特别报道】安理会高级别会议聚焦人工智能与国际安全》，2026-09-23：https://news.un.org/zh/story/2026/09/1142858 —— 会议时间与议题、法国轮值主席国会议概念文件、本吉奥三项风险与"这不是自然规律，而是人为选择""我们正在高速前进，但前方的能见度越来越低"、奥尔特曼"无论重大灾难发生的概率是一成、千分之一还是万分之一，都不应被视为可以接受"与国际统一评估标准主张、阿莫代伊"天才组成的国家"与生物安全风险、德朗格透明度主张与 Hugging Face 披露的自主智能体网络攻击案例、阿莫代伊透露 Anthropic 当日宣布 Claude 自主发现新酶系统。 新浪财经《奥特曼在联合国发言：人类可能失去对AI未来发展的控制》，2026-09-24：https://finance.sina.com.cn/jjxw/2026-09-24/doc-inisxnvc0342023.shtml —— "我们可能会失去对未来的控制"、"最重要的决定不能仅仅由旧金山的实验室作出"、两类风险表述、2023 年安理会曾首次专门讨论 AI 风险。 美联社报道（经 aawsat 英文站转发）《Heads of AI Firms Tell UN Security Council That It Could Be a Risk to All Humanity》，2026-09-24：https://english.aawsat.com/world/5321879-heads-ai-firms-tell-un-security-council-it-could-be-risk-all-humanity —— 阿莫代伊"如果管理不当，我甚至认为 AI 可能成为全人类的风险"、奥尔特曼"We could lose control of the future to AI"、英国外交大臣米利班德表态、特朗普称 AI 为"超级智能"并表示美国拒绝管控努力、明年联合国将把 AI 管控置于讨论核心并寻求单一套全球标准。 法国国际广播电台《联合国聚焦人工智能风险 OpenAI与Anthropic负责人呼吁加强警惕与合作》，2026-09-23：https://www.rfi.fr/cn/中国/20260923-联合国聚焦人工智能风险-openai与anthropic负责人呼吁加强警惕与合作 —— 阿莫代伊表示必要时将单方面放慢研发速度；会议由法国倡议召开。 凤凰网科技《奥特曼、阿莫迪向联合国呼吁放缓AI确保安全，黄仁勋反对任何企业获得监管豁免》，2026-09-23：https://news.ifeng.com/c/8wg1ajuUat0 —— 黄仁勋在《纽约时报》播客中的表态、奥尔特曼约 10 分钟演讲、阿莫代伊视频连线。 路透社报道（经 Business Standard 转发）《DeepSeek, OpenAI and Anthropic to brief UN Security Council on AI this week》，2026-09-22：https://www.business-standard.com/world-news/deepseek-openai-and-anthropic-to-brief-un-security-council-on-ai-this-week-126092201553_1.html —— DeepSeek、月之暗面等中国 AI 企业受邀陈述；经 IT之家/凤凰网转述，梁文锋不打算出席。 路透社报道（经 statement.com 转述）《US, China Open Talks on AI Safety》——美中筹备首次专门针对 AI 的双边对话，美方由财政部长贝森特带队，讨论监测 AI 参与的网络攻击合作及"蒸馏"指控。 口径说明：文中所有引语与数字均来自上述公开报道，未使用任何未经发布的官方文件；涉及各国政府表态的部分，一律标注为媒体转述口径，不做立场解读；会议是否有具约束力的成果文件，公开报道中未见，故正文只写"呼吁与讨论"，未写"已达成"。 · · · 作者：东哥测AI ｜ 本文为原创内容关注 @东哥测AI ｜ 每个 AI 新玩法都拆到能直接用