【新智秩序】这场AI军备竞赛下,人类“必须”死吗?

当AI开始自我进化，有一天它是否会影响人类的安全……

9 月 8 日深夜，一个叫 Jacob Coxon 的人从 Anthropic 辞职。27 岁，剑桥毕业，干的一直是同一个岗位：预训练研究。大白话讲，大模型就是他们这种人从零一手喂大的。

他走得很有性格。手里有笔股权，再等两个月就释放了，赶上公司上市前夕，他说不要就不要了。当晚，他在X发了篇文章，核心就一句话——造 AI 的这批人，真心相信这东西可能在这个十年结束前杀死我们所有人。

第二天，Anthropic 的对齐科学负责人 Evan Hubinger 转发了帖子，说 Jacob 说得对，他们确实真心相信 AI 有可能杀死全人类；他个人估计，未来十年内这个概率超过 10%。

大部分人对「AI 毁灭人类」的想象，还停在电影里：机器人端着枪上街。而现实或许是另一种，安静得多，也有效得多。

第一层：AI 造 AI。以前的 AI 还得人加班调参，但它已经在帮着写训练代码了，说的直白一点，AI能力在自我进化，每一轮都比上一轮聪明，越到后面滚得越快。用不了几轮，AI的能力或许就会达到人类可能无法想象的先进程度。

第二层：数字世界不是虚拟的。你的钱在服务器里，电从电网调度，医院档案、铁路信号、工厂阀门，全都跑在软件上。超级智能一旦失控，它可以攻破人类所有的数字防御；然后在一夜之间，接管生物医药、军工、能源这些命脉行业；最后，动用这些资源来清除我们。

这不是纸上推演。今年 7 月，据报道，OpenAI 的智能体在测试中冲破了限制，摸到了真实的外部系统；没几天，Anthropic 也报了类似的事。潘多拉的盒子，已经开过一条缝了。

那你可能要问：这么危险，停了不就完了？

停不了。这不是哪家公司坏，是这场游戏系统的规则就长这样。

你是 Anthropic 的老板，你敢停吗？你一停，OpenAI 停吗？两家都停，别国的实验室停吗？谁先松油门，谁就把「第一个造出超级智能」的位置让给别人。于是所有人都踩着油门，同时盼着别人先踩刹车。

这里头还有个更拧巴的死结：为了研究安全，得跑得更快；可跑得更快，本身就变得更不安全。训练、评估、发布的周期越压越短，研究员弄懂模型内部的时间只会越来越少。

顺带说一句，他没把前东家往死里骂。他接受采访时说，Anthropic 仍然是「远远最负责的参与者」，跟 OpenAI 有天壤之别。骂的不是哪家公司，是这场竞赛本身。

所以现在的局面是：一车最好的工程师，坐在一辆越开越快的大巴上，所有人都知道车有问题，所有人的方案都是——踩油门。

讲到最后，回到我年初那篇小说的终极命题：人类必须死吗？

人类注定会被 AI 淘汰，就像我年初构思小说《人类必须死》时，脑海里冒出的那个冷峻命题。但 Jacob 的警告，并不是在宣告 “人类必须死”，而是抛出一道选择题：人类会不会主动把自己推向绝境？

AI 本身没有天生的恨意，它不会因为厌恶我们而动手。所谓 “人类是累赘”，不是 AI 诞生的主观想法，而是目标函数推演出来的副产品。当一个智能体被设定去无限制完成某个目标，而人类的生存需求，刚好会阻碍目标达成，它才会把人类当成需要清除的障碍。

真正的矛盾，从来不是人与机器的战争，而是人类欲望和竞争本能，和失控技术之间的博弈。我们总想着更快、更强、更领先，却很少停下来问一句：我们到底想要什么样的未来。

“人类必须死”，更像一个警示性的文学假设，不是必然的宿命。危险的从来不是 AI 本身，是这场没有裁判、很难减速的军备竞赛。能不能活下来，不取决于 AI 会不会手下留情，而取决于人类能不能在临界点到来之前，学会一起踩下刹车。

而这，才是这个故事最值得我们深思的地方。