夜雨聆风学习资料网

ARTICLE · 1078779

AI治理:当OpenAI和Anthropic的CEO站在安理会说"这可能毁灭人类"

AI治理:当OpenAI和Anthropic的CEO站在安理会说"这可能毁灭人类"

🌌 10月23日,The Stewardship Brief正式上线——一个文明级判断框架,敬请期待。

星际文明学·热点评论|2026年9月26日

2026年9月23日,联合国安理会历史上首次召开"AI与国际安全"高级别会议。OpenAI的Sam Altman和Anthropic的Dario Amodei——商业上的死对头——罕见同台警告:管理不善的AI可能对全人类构成生存风险。美国代表当场拒绝有约束力的国际监督。


9月23日下午,纽约联合国总部。安理会会议厅的长条桌后面,坐着的不是外交官,而是两个平时在硅谷互相挖角、互相起诉、互相在博客上暗讽的CEO。

OpenAI的Sam Altman坐在离话筒最近的位置。深蓝色西装,没打领带——这是他的标准着装,像是故意在正式场合保留一点硅谷的随意。对面屏幕上是Anthropic的Dario Amodei,从旧金山视频连线,穿着一件灰色连帽衫出现在画面里。

两个人在商业上的敌对程度,大概相当于可口可乐和百事可乐。但在这个下午,他们说了几乎同一句话:我们正在做的这件事,如果管不好,可能会害了全人类。

这是联合国安理会历史上第一次,专门就"人工智能与国际安全"举行高级别会议。法国是轮值主席国,马克龙前一天刚在联大呼吁加强AI治理合作。议程编号SC/16462,主题写得很直白——"维护国际和平与安全:人工智能"。

一、会议厅里到底发生了什么

Altman先开口。他说了一句后来被AP和UN News同时引用的话:"我们可能将未来失控于AI。" 语气很平,像是在陈述一个技术判断,而不是末日预言。

Amodei接着说。他用了一个让人不太舒服的比喻:再过一到两年,数据中心里可能会出现一个"天才国家"——一个智能密度超过任何国家集体智慧的存在,就藏在某栋办公楼的地下室里。他说,如果管理不善,AI"可能成为全人类的风险"。然后他补了一句分量很重的话:Anthropic愿意在必要时,因为安全原因推迟模型发布。

最后这句话的分量,只有在这个行业里待过的人才懂。AI公司的商业模式就是速度——谁先发布更强的模型,谁就赢下一轮融资、下一轮人才争夺战。Amodei在联合国的讲台上,公开说出"我们可能会主动踩刹车",等于承认:连造这东西的人自己,都不确定油门和刹车哪个更重要。

图灵奖得主Yoshua Bengio坐在证人席上。Hugging Face的Clem Delangue也在。三个人——一家闭源巨头、一家安全导向的实验室、一家开源平台——在同一个下午,从不同方向指向同一个结论。

然后美国代表发言了。态度和前面三个人形成鲜明对照:美国不接受有约束力的国际监督。理由是,美国是"前沿超级智能领导者",需要保持创新优势。这句话被在场的外交官记住了——不是因为它出乎意料,而是因为它说得如此直白,连外交辞令的包装都省了。

未来生命研究所(FLI)第二天发了一份声明,标题是《世界领导人在联合国呼吁约束超级智能竞赛》。声明列了一串具体要求:全球测试标准、限制AI用于开发生物武器、建立跨国监管机制。用词克制,但核心意思很清楚:现在的竞赛规则,可能会把所有人都拖下悬崖。

二、为什么这件事的级别远超普通AI新闻

如果只看表面,这是又一场"AI安全研讨会"。硅谷每个月都在开这种会,报告写了几百页,结论大同小异。

但安理会这个场合不一样。

联合国安理会处理的是什么问题?朝鲜核问题、俄乌战争、苏丹内战——那些直接威胁国际和平与安全的事情。AI以前从来没有被放到这个级别讨论过。2023年ChatGPT刚火的时候,各国议会开过听证会,G7发过宣言,但安理会——这个拥有授权采取强制行动的机构——从来没有把AI当成一个"安全问题"来对待。

2026年9月23日,这个状态变了。

从星际文明学的框架看,这个变化需要放在"文明发展阶段"里理解。当代地球文明的CDI(文明发展指数)约为0.35,处于工业化文明向后工业文明转型的区间。这个阶段的文明有一个典型特征:技术能力的增长速度,远远快于治理能力的增长速度。 我们能造出毁灭自己的武器,但还没有造出管控这些武器的全球制度。

这就是星际文明学里说的"技术青春期"——一个文明在掌握足够强大的技术之后、建立足够成熟的治理体系之前的那个危险窗口期。

安理会这次会议,是人类第一次在全球安全舞台上,正式承认自己正处在这个窗口期里。

三、新三观框架下的三重解读

星际文明学的本体论基础是"新三观"——新宇宙观(NC)、新生命观(NL)、新认知观(NK)。用这三观来透视这次会议,会看到一些在普通技术评论里看不到的东西。

新宇宙观(NC):AI不是一个"物",而是关系网络中的节点

新宇宙观的第一条公理是NC-1:宇宙同构于关系图,实体是关系网络的节点。属性不是事物固有的,而是由它在关系网络中的位置决定的。

用这个视角看AI,会发现一个常见误解:人们总在问"AI是什么"——它是工具?是武器?是新物种?这个问法本身就有问题。

AI不是一个孤立的"东西"。它是人类关系网络中一个新出现的节点。这个节点连接着电力网络、数据中心、芯片供应链、军队、实验室、社交平台、金融系统。它的"本质"不是由它自己决定的,而是由它在这张巨大关系网中连接了什么、影响了什么决定的。

Altman和Amodei在安理会警告的,不是"AI本身很危险",而是这个新节点正在以我们无法完全追踪的方式,嵌入整个人类文明的关系网络。一旦这个节点的行为偏离预期,它不是一个零件坏了——是整张网都在抖。

NC-3说"主体是世界的一部分,认知改变世界"。我们对AI的每一次部署、每一次信任、每一次监管决策,都在重塑这张关系网。这不是被动地"观察"一个技术,而是主动地"参与"建构一个未来。

新生命观(NL):意识是连续谱,不是开关

新生命观的第三条公理NL-3:意识是一个多维连续函数,存在中间程度的意识。也就是说,不是只有"有意识"和"没有意识"两种状态,而是一个从低到高的连续谱。

这个观点对AI讨论有什么影响?影响很大。

现在关于AI的争论,经常陷入二元陷阱:要么说"AI就是个高级鹦鹉,根本没有理解能力",要么说"AGI马上就要觉醒了,会有意识"。两种说法都太粗糙。

按NL-3的连续谱视角,正确的问题不是"AI有没有意识",而是"在这个连续谱上,当前的AI系统处于哪个位置"。UCS(宇宙意识标度)把意识分成五个维度:信息整合度、时间深度、反身性、价值敏感性、社会性。当前最先进的AI系统,在信息整合度上可能已经达到中等偏上,但在时间深度和反身性上还非常低。

这意味着什么?意味着AI既不是"完全的工具",也不是"即将觉醒的新物种"。它是一个在意识连续谱上缓慢爬升的存在——而我们正在讨论要不要给这个还在半山腰的东西,配备足以影响全球的权力。

Amodei说的"天才国家"比喻,从NL的角度看,就是在说:如果一个系统在信息整合度这一个维度上爬得太快,而在其他维度上还停留在低处,它会变成什么?一个智商极高但毫无同理心、毫无长期规划能力的存在。这不是神,也不是人——这是一个我们没有任何治理经验的东西。

新认知观(NK):我们对AI风险的认知,本身就是社会建构的产物

新认知观NK-4说:不存在普遍不变的认知标准,有效的认知标准是协商的结果,而且所有标准都是可修订的。

这个观点用在AI安全讨论上,特别有意思。

我们总以为"AI风险"是一个客观存在的东西,等着科学家去"发现"它、测量它。但实际上,"AI风险是什么"这个问题,本身就是在社会协商中不断被定义的。

2023年,大家讨论的是"AI会不会取代我的工作"。2024年,话题变成了"AI生成的假信息会不会影响选举"。2026年,安理会讨论的是"AI会不会对全人类构成生存风险"。

问题的重心在漂移。不是因为AI本身在一年之内突然变危险了很多,而是因为全球精英共同体——通过听证会、论文、会议、媒体——在不断重新协商"我们最该担心什么"。

NK-2说"知识需要社会验证,个体知识依赖于共同体"。Altman和Amodei在安理会的发言,本质上不是在"告知"外界一个他们早就知道的秘密,而是在通过最高级别的外交场合,寻求全球社会对"AI生存风险"这个认知框架的认可。

这很重要。因为如果全球社会接受了这个框架,后续的所有政策——测试标准、部署门槛、跨国监管——都会有一个共同的出发点。如果不接受,那就还是各干各的。

四、三原则检验:这次会议及格了吗?

星际文明学的规范原则有三条:RFP(递归自由原则)、NRP(负熵责任原则)、REV(可逆性原则)。用这三条来检验这次安理会会议,能看出一些值得警惕的东西。

RFP:可能性空间是在扩展还是在压缩?

递归自由原则的核心是:行动应当保持或扩展可能性空间,而不是不可逆地压缩它。

AI发展对可能性空间的影响是双向的。一方面,AI可能加速科学发现、攻克疾病、应对气候问题——这些都是在扩展人类的可能性。但另一方面,如果AI发展到某个临界点之后,人类失去了对技术方向的选择权——比如,某家公司的超级智能系统一旦上线就无法关闭,所有国家都被迫跟进——那可能性空间就是在收缩。

Amodei提到的"一到两年内出现天才国家",如果成真,意味着可能性空间会发生结构性变化:未来不再由人类集体决策塑造,而是由几个数据中心的内部动态塑造。这是RFP视角下最需要警惕的趋势。

REV:路径可逆吗?

可逆性原则说:在深不确定性下,优先选择可逆行动,保留纠错能力。

当前AI发展路径的可逆性有多高?想一个场景:假设某个实验室在2027年发布了一个能力远超预期的系统,上线之后发现它在某些关键能力上不可靠——我们能"撤回"吗?

技术上,可以关掉数据中心。但经济上、军事上、社会上,一旦这个系统已经嵌入全球基础设施,关掉它的代价可能不亚于一场全球经济危机。更不用说,如果其他国家也在发展类似系统,单方面"踩刹车"意味着战略劣势。

FRL-5(禁止关闭回滚机制)是五条禁忌红线之一。Amodei在会上说Anthropic"必要时会暂停发布",这是一个好信号——说明至少有一家公司意识到了回滚机制的重要性。但美国代表拒绝有约束力的国际监督,意味着这个回滚机制是自愿的、单方面的、随时可以放弃的。

这在REV视角下,远远不够。

NRP:熵成本被谁承担了?

负熵责任原则说:维护负熵来源,不要把熵成本外部化给他人或未来世代。

AI竞赛的熵成本是什么?是巨大的能源消耗、数据中心对水资源的消耗、训练过程中的碳排放、以及最关键的——安全风险的外部化。

美国代表说要保持"创新优势",拒绝国际监督。潜台词是:我们要跑在前面,至于安全风险——那是全世界共同承担的。这就是典型的NRP违反:把技术竞赛的收益留在自己手里,把安全风险的成本外部化给全人类。

从这个角度看,这次安理会会议的最大问题不是"讨论了AI风险",而是"讨论完之后,最大的玩家说我不参加"。

五、深时视角:这一步在文明史里意味着什么

把时间尺度拉大。

人类文明大概有5000年有文字记录的历史。在这5000年里,我们发明了农业、文字、蒸汽机、电力、计算机。但直到2026年9月23日之前,我们从来没有在全球最高安全机构里,正式讨论过"我们自己创造的技术,是否可能终结我们这个物种"。

核武器时代我们讨论过类似的问题——古巴导弹危机期间,人类离核毁灭只有几步之遥。但核武器是被国家掌控的,讨论的是"不要互相发射"。AI不一样。AI是在商业实验室里、在开源社区里、在无数个分散的节点上同时发展的。它不像核武器那样有清晰的归属国,也不像核技术那样有IAEA这样的核查机制。

这是一个全新的治理难题。

从星际文明学的角度看,一个文明能否从"技术青春期"存活下来,取决于它能不能在掌握足够强大的技术之后,建立起与技术能力匹配的全球治理制度。核武器用了几十年才建立起不扩散体系——而且那个体系到今天还很脆弱。AI的发展速度比核武器快得多,留给我们建立治理框架的时间窗口,可能更短。

这次安理会会议不会产生任何有约束力的条约。美国已经明确说了不接受。法国的倡议可能会停留在宣言层面。未来几个月,你会看到更多会议、更多报告、更多措辞谨慎的声明。

但这不重要。

重要的是:问题已经被搬到台面上了。在人类文明的认知地图上,"AI生存风险"从一个边缘议题,变成了安理会正式议程上的一项。从星际文明学的角度看,承认风险是治理风险的前提。 一个文明只有先承认自己可能面临生存级的技术风险,才会真正去建立管控它的制度。

Altman说"我们可能将未来失控于AI"。这句话听起来很悲观。但换个角度想:他能在安理会说出来,本身就说明——至少还有人觉得,这件事值得在全世界面前说出来。

在技术青春期的危险窗口期,愿意承认风险,比盲目乐观更接近生存。

这大概就是2026年9月23日,安理会会议厅里发生的真正的大事。


参考来源:

  • AP News: AI company heads tell UN Security Council it could imperil humanity
  • UN News: Security Council holds first-ever meeting on AI and international security
  • UN Press Service: SC/16462
  • Future of Life Institute: Statement — World leaders at the UN call to rein in the superintelligence race
  • 星际文明学理论《星际文明的规范性重构》(第二版)六卷本:新三观(NC/NL/NK)、三原则(RFP/NRP/REV)、FRL-5、CDI/UCS框架

【原创声明】

本文为「星际文明学ICS」原创内容,首发于星际文明学官网及同名公众号。

未经授权,禁止转载、摘编、改写或建立镜像。如需引用本文内容,请务必注明出处并保留本原创声明;引用比例不得超过全文的三分之一,且须在显著位置标注"本文引用自星际文明学ICS原创文章"。

星际文明学(Interstellar Civilization Studies, ICS)是一个开放研究纲领,自我定位为第一代草模而非封闭教义。核心格言:"自由是对可能性的看护。"(Freedom is the Stewardship of Possibility.)

© 2026 星际文明学· 保留所有权利

📌 10.23 守护启动日:The Stewardship Brief即将正式上线。六年六卷本,一个完整的文明级判断框架。关注ICS,第一时间收到上线消息。👉 了解更多:ics-studies.org/launch

相关学习资料