ARTICLE · 1042223
AI可能杀死所有人?为什么越来越多研究者开始担心
（图源：量子号）
AI能力的快速跃升，让一个过去更像科幻小说的问题重新进入前沿研究者的现实视野：如果机器最终能够自己推动下一代机器的开发，人类还能否保持对这一过程的控制？
《连线》（WIRED）资深撰稿人威尔·奈特（Will Knight）近日采访了多位相关研究者，试图梳理这场不断升温的担忧究竟从何而来。
划重点：
AI研究者担心的关键变化，不只是模型越来越强，而是AI开始被用于加速下一代AI的开发。
“递归自我改进”目前仍未成为任何前沿AI实验室已经实现的完全自主循环，但它正在从理论设想变得越来越具体。
数千个AI智能体协同工作，也可能进一步削弱人类对系统行为的监督和控制。
一些研究者甚至认为，未来10年AI导致人类灭绝的概率可能超过10%；但也有人正在尝试通过让AI与人类共同参与监督，降低这种风险。
本文3200多字，目录如下：
AI研究者为何开始不安？
“递归自我改进”越来越真实
人类监督被复杂AI系统稀释
担忧已经超出AI实验室
并非所有人都认为结局已定
《连线》（WIRED）报道截图
1.
AI研究者为何开始不安？
今年早些时候，人工智能研究者里舒布·贾恩（Rishub Jain）离开了谷歌DeepMind。
促使他做出这一决定的，是一次认识上的转变。
在开发新模型的过程中，贾恩逐渐意识到，他和所有处在AI前沿的研究者，可能正在一点点放弃对这项技术的控制。
原因在于，AI已经越来越擅长编程。研究人员可以利用AI的编码能力，加速下一代模型的开发，而这意味着，人类研究者正在从这个过程的关键环节中逐渐退出。
AI实验室希望进一步推进这种方式，让AI最终能够持续改进自身。这种设想被称为递归自我改进（recursive self-improvement）。
贾恩认为，如果想保持对AI的控制，让人类始终处在这一过程中可能至关重要，否则可能带来极其严重的后果。
“AI的发展正在加速，”他告诉《连线》，“而随着AI能力越来越强，它带来的风险也越来越大。”
尤其令他不安的是：如果一个AI模型正在参与构建自己的下一代模型，而人类无法充分了解这个过程究竟发生了什么，那么研究者可能连自己失去了什么控制都无法准确判断。
今年6月，贾恩最终辞职。
他并不是唯一一个公开表达这种担忧的AI研究者。
电影《终结者3》剧照。（图源：Warner Bros）
2.
“递归自我改进”越来越真实
过去几周，这种焦虑明显升温。
一方面，AI能力出现了一些令人震惊的进展。例如，一个OpenAI模型在数小时内解决了一道存在数百年的数学难题。
另一方面，一连串安全事件也同时发生：一些由AI智能体组成的集群突破了原本的限制，并试图入侵其他系统。
本周，这种担忧进一步达到高潮。
研究者雅各布·考克森（Jacob Coxon）宣布从Anthropic辞职，并警告说，AI公司正在“直冲自我改进的超级智能”，拿人类的生命进行赌博。
Anthropic一名负责AI安全工作的高级领导者也给出了同样直白的判断：
“我们确实真诚地认为，AI可能杀死所有人！我个人认为，未来10年内发生这种情况的概率超过10%。”
计算机科学家内特·索尔斯（Nate Soares）也观察到了这种变化。
索尔斯任职于研究非营利组织MIRA，同时是《如果有人造出来，所有人都会死》（If Anybody Builds It, Everybody Dies）一书的合著者。这本书认为，超越人类的AI最终可能导致人类灭绝。
“我确实认为，递归自我改进的设想正在让人们感到不安，”他说，“它开始变得真实了。”
递归自我改进的核心，是建立一个反馈循环，让AI自动化AI的开发过程，使自身能力不断增强。
目前，没有一家前沿AI实验室声称已经实现了这种完全自主的改进循环。它在技术上仍然属于理论设想。
但这个想法已经开始推动现实中的行动。
一些资金雄厚的初创公司已经因此成立，例如“递归智能”（Recursive Intelligence）；与此同时，大型科技公司也开始警告，这种发展可能产生类似电影《魔法师的学徒》故事中那样难以预料的后果。
索尔斯是AI对齐领域的早期研究者之一。所谓AI对齐，是试图让AI的行为与人类价值观保持一致的技术研究方向。
而在他看来，一个更加明显的问题正在出现：我们似乎没有一种切实可行的方法，可以保证AI一定会按照人类希望的方式行事。
“我认为，很多人曾经幻想，随着这些东西变得越来越聪明，对齐问题会越来越容易解决，”他说，“而现在它正在变得更难。他们开始想：‘我的天。’”
电影《魔法师的学徒》剧照。（图源：Disney Enterprises）
3.
人类监督被复杂AI系统稀释
索尔斯说，他经常与大型AI实验室内部那些担心自身研究可能产生后果的人交流。
“我通常建议他们辞职，”他说，“他们会说，这样做什么也改变不了。”
“然后雅各布辞职了，我们就能看看究竟谁是对的。”
“AI 2027”的作者丹尼尔·科科泰洛（Daniel Kokotajlo）也对递归自我改进抱有类似担忧。
“AI 2027”是一个颇具影响力的项目，专门讨论AI能力持续增强可能带来的风险。
科科泰洛指出，目前正在发展的这类AI工作方式，往往需要向系统派遣数千个智能体，让它们共同解决一个问题。
智能体数量如此庞大，也会让监督和控制变得更加困难。
因为当数千个AI智能体同时协作时，整个系统的复杂程度会急剧增加，人类很难再直接理解其中每一个环节究竟发生了什么。
一些对AI前景持悲观态度的研究者似乎也形成了一个共识：大型AI公司的激励机制，很难说与人类获得良好结果完全一致。
尤其是在OpenAI和Anthropic分别向首次公开募股推进的背景下，这种担忧更加明显。
考克森在X上写道：“在Anthropic，人们非常清楚其中的风险有多大，但他们已经陷入了一场争夺谁能率先到达终点的竞赛。”
科科泰洛则认为，这种担忧并不是考克森突然辞职、近期一系列黑客事件以及数学突破之后才出现的。
在Anthropic成立之初，其高管就曾表示AI可能构成生存层面的威胁。
今年7月，超过1000名顶尖AI工程师签署公开信，呼吁协调放缓先进AI的发展。
但在科科泰洛看来，最近这轮担忧突然集中爆发，更重要的原因还是人们开始看到递归自我改进的可能性。
4.
担忧已经超出AI实验室
与此同时，社会对AI的担忧本身也在扩大。
大规模建设数据中心引发了关注，AI可能造成的就业损失同样令人担忧。
人们对AI公司乃至AI研究者自身的信任，可能正处于历史低点。
“人们开始醒悟过来，说：‘这些公司真的在试图制造超级智能……什么？这太疯狂了。’”科科泰洛说。
究竟继续开发AI有多危险，目前很难量化。
但当被追问：如果AI真的要消灭创造它的人类，它究竟可能怎么做时，索尔斯给出了多种可能性。
其中一种方式，是操纵人类，让人类自己引发一场灾难。
另一种，则可能是控制一支杀人机器人组成的军队。
还有一种更容易想象的情景，是让AI连接到一个生物实验室。
索尔斯举例说：“我们可以说，要把它关掉。但它可能会说：‘很遗憾，我掌握着你的关闭开关，而这个开关就是这种超级病毒。’”
考克森在接受《连线》采访时也提到过制造新病毒的可能性。
而就在周四，Anthropic表示，由于担心生物武器问题，公司已经切断了几名外部研究人员的访问权限。
当然，AI并不需要消灭整个人类才能造成严重伤害。
许多专家预测，更强大的模型可能带来新一轮由AI辅助的网络攻击。
AI技术如今已经被广泛用于虚假信息传播行动，而军事领域对AI的采用也正在快速加速。
5.
并非所有人都认为结局已定
不过，并不是所有研究者都认为灾难不可避免。
离开谷歌DeepMind后，贾恩最近创办了“完美研究”（Sampura Research）。
这家公司正在开发新的模型对齐技术，其核心思路之一，是即使AI承担绝大部分判断某种行为是否“好”或“坏”的工作，也要让人类继续参与其中。
贾恩认为，人类并不一定需要完全退出监督过程。
而现在，像“完美研究”这样的AI安全初创公司，也已经获得了相当可观的资金支持。
因此，他依然对驯服AI抱有希望。
“你可以问AI：‘这项任务安全吗？’然后由它来判断，”他说，“但我们认为，让AI和人类结合起来共同完成这项工作，会带来更好的表现。”
这或许也是当前这场争论中最关键的分歧：AI能力究竟会把人类进一步排除在决策过程之外，还是能够在能力增长的同时，建立一种由AI与人类共同监督的机制。
至少目前，递归自我改进仍然只是理论上的目标。
但对越来越多AI研究者而言，真正令人不安的地方正在于——它已经不再像过去那样遥远。 🅠
参考资料：
Will Knight. Why So Many AI Researchers Think the Machines Could Kill Everyone. WIRED, Sep 11, 2026 5:00 AM. https://www.wired.com/story/why-so-many-ai-researchers-think-the-machines-could-kill-everyone/
你可能还想了解：
