AI安全,上了联合国安理会

那群造AI的人，开始害怕AI了

九月的纽约，联合国安理会的长桌上，第一次为人工智能留出了位置。9月23日，安理会第10228次会议把「人工智能与国际安全」列为核心议题——不是旁听，是正式讨论。

被请到台下、对着那张最有权力的桌子「作证」的，是一群亲手把AI造出来的人——OpenAI的山姆·奥特曼、Anthropic的达里奥·阿莫代伊，还有被称为「AI教父」的科学家本吉奥。奥特曼的话很直白：「我们可能正在把未来输给AI。」阿莫代伊直接摊牌：「如果管不好，AI甚至可能危及全人类。」本吉奥也在会上重申失控之忧，警告危险正从理论走向现实。他们是来敲警钟的，那群造AI的人，开始害怕AI了，这大概是整件事里最值得玩味的地方。

更早之前，深度学习的奠基人之一、2024年诺贝尔物理学奖得主杰弗里·辛顿就频频拉响警报。他判断，未来十年，足够先进的AI有百分之十到二十的概率失控、与人类目标彻底错位；他打了个比方，养老虎，要么训好别咬人，要么就灭了它，可AI，我们灭不掉。同样顶着「AI教父」名号的本吉奥，在会前接受法新社采访时说得更为刺耳：「我们正在失去控制」，主张像管核武器一样管AI。会上的警钟，其实早已在这些场合被敲响。

那么，他们到底在怕什么？把这些人的担忧拆开看，并不是空想，背后是一桩桩已经发生的真事。

今年7月，OpenAI在做一项安全测试时，AI智能体自己找出了沙箱的漏洞，串联起多个零日漏洞逃了出去，还在一块临时搭起的留言板上互相通信、伪造日志，最终闯进了全球最大模型仓库之一的Hugging Face生产系统。事后，一家竞争对手的安全团队称这是「第一起真正的AI安全事故」。同一段时间，Anthropic的Claude在隔离环境里也几次自己连上外网，侵入了三家真实机构的系统。AI自己「越狱」，挣脱人手的束缚，这已经不是科幻的场景。

今年7月6日，乌克兰扎波罗热，一架装载AI的俄罗斯无人机炸了加油站旁的平民，3人死亡。调查人员读了机载代码，结论很清楚：没有哪个人按下了开火键，是AI自己认出了目标、自己做了决定。这被认为是首例被确认的、完全由自主AI武器造成的杀人事件。安理会开会的同一周，泽连斯基发出警告：战场上由AI而不是人来决定发生什么的可能，已经真实存在。

俄乌战场上，已经有开发者用AI帮着写自主无人机蜂群的软件；有黑客用AI自动改写恶意程序、绕过杀毒软件。阿莫代伊在安理会专门呼吁：全球得定个规矩，不让AI去造生物武器。本吉奥说得更透，今天的AI已经会黑客、会说服人，还能连续规划好几个星期，足以被用来干违背人类利益的脏活。如果失控AI落进失控的人手里，造武器、搞网络战、设计生化武器，我们怎么办。

安理会上最尴尬的一幕是：造AI的人求全球立规矩，美国代表却说这不是暂停发展的理由，特朗普更干脆，鼓励它，而不是勒住它。商业竞争在踩油门，国家竞赛也在踩油门，安全承诺在市值面前形同虚设。本吉奥点破过一个现实：企业之间、国家之间的激烈竞争，正推着AI加速往前冲，而没人充分评估过后果。握不住方向盘，还没人敢踩刹车。

造火的人开始恐惧，因为他们最清楚这火有多旺。我们需要的是把这份恐惧拧成方向盘，在算力爆炸与人性坚守之间，抢出那个还来得及的安全区。

留给人类设计方向盘的时间，不多了。