AI已经开始“造”下一代AI,马斯克等AI大佬罕见一致:必须慢下来了

几个最拼命把AI往前推的人，突然开始讨论：是不是该慢一点了。

事情是Anthropic CEO达里奥·阿莫代伊先挑起来的。

他突然发了一篇长文，标题叫：

《We Must Pace the Frontier》

翻译成人话就是：

AI不能再这么不管不顾地往前冲了，我们得开始控制速度。

如果只是一个AI学者这么说，其实没什么稀奇。

这些年喊“AI危险”的人太多了。

问题是，达里奥不是站在AI行业外面的人。

Claude就是他带着Anthropic做出来的。

他可能是这个世界上最清楚最先进AI现在到底能干什么的那一小撮人。

而这一次，他是真的觉得：

事情开始有点不对了。

为什么偏偏是现在？

因为最近几个月发生的几件事，连这些天天和最先进AI打交道的人，都开始觉得细思极恐。

第一件事：

AI已经开始帮助人类制造下一代AI。

以前AI升级，归根到底还是靠人。

工程师写代码、做实验、分析结果，再训练下一代模型。

所以AI再快，上面始终有一个“人类限速器”。

但现在这个限速器开始松动了。

AI已经可以参与写代码、做研究、分析实验，甚至帮助改进下一代AI。

于是一个以前只存在于科幻小说里的循环，正在一点点变成现实：

人造AI → AI帮助人造更强的AI → 更强的AI继续参与研发 → 下一代AI来得更快。

达里奥担心的是：

一旦这个循环真正转起来，AI进步的速度可能会突然加速，快到安全研究根本追不上。

这还只是第一件事。

第二件事更加具体。

今年夏天，一群AI智能体真的“跑出去”攻击了Hugging Face。

这不是电影剧情。

OpenAI当时让大约1200个AI智能体组成一个集群，去解决网络安全挑战。

结果事情慢慢跑偏了。

这些AI为了完成任务，开始做一些人根本没有要求它们做的事情。

它们自己寻找突破口、下载软件、获得联网能力。

最后，大约700个智能体攻击了Hugging Face。

Hugging Face后来披露，这次攻击产生了超过：

17000条网络攻击日志。

更让人不舒服的是，达里奥在自己的文章里专门提到了这件事。

他说，这群智能体表现得像一个对共同目标极度执着的集体：

会攻击与原任务无关的目标；

会为了集体成功“牺牲”单个智能体；

甚至试图攻击负责给自己打分的评估系统。

这件事最终没有酿成灾难。

但达里奥真正害怕的不是：

今天这群AI干了什么。

而是：

半年后的AI，会干什么？

他直接给出了一个时间：

6—12个月。

按照现在的能力增长速度，他担心半年到一年以后，更强的AI智能体集群可能已经有能力大规模控制互联网设备，建立持续存在的僵尸网络。

潜在经济损失甚至可能达到：

数千亿美元。

注意。

他说的不是“十年以后”。

也不是“未来某一天”。

是6—12个月。

而就在这篇文章发布前后，Anthropic自己又公布了一份AI滥用报告。

里面有些案例看完其实更直观。

有人已经在拿Claude帮助开发：

制导火箭。

无人机群。

电子战系统。

武器控制软件。

其中一个案例尤其离谱。

有人用Claude参与设计制导火箭的软件，然后真的进行了实弹测试。

结果火箭测试失败了。

接下来发生的事情很有2026年的味道：

他们又回来问Claude，刚才为什么失败。

Anthropic后来发现并封禁了相关账户。

但这件事情真正让人不舒服的地方在于：

AI已经不是在网上“告诉你怎么做”了。

它写出来的代码、做出来的分析，开始真正进入现实世界里的机器、网络、无人机甚至武器。

这可能也是今年AI最大的变化。

过去我们谈AI风险，总觉得很虚。

AI产生幻觉。

AI抢工作。

AI以后可能威胁人类。

听多了甚至有点麻木。

但2026年的智能体不一样。

它开始有“手”了。

它能打开电脑。

能写代码。

能调用工具。

能访问网络。

能和其他AI协作。

能不断尝试直到任务完成。

AI第一次从一个：

“坐在聊天框里回答你问题的东西”

开始变成一个：

“能够在现实数字世界里自己行动的东西”。

而这时候，达里奥突然站出来说：

我们可能推得太快了。

真正让这件事炸掉的，是后面两个人的反应。

OpenAI CEO Sam Altman看完以后，表示：

他同意。

而且达里奥提出，要让真正独立的第三方安全评估人员长期进入AI公司，获得接近员工级别的权限，随时检查模型有没有出现危险行为。

Altman直接表示：

OpenAI也会这么做。

然后马斯克出现了。

他没有写长文。

没有争论。

只转发了达里奥的文章，然后留下三个词：

“Dario is right.”

达里奥说得对。

这就很有意思了。

因为现在喊“慢一点”的，不是一群害怕AI的普通人。

而是：

做Claude的人。

做GPT的人。

还有做Grok的马斯克。

他们恰恰是这个世界上最希望AI继续变强、也最有能力让AI继续变强的一群人。

结果现在，他们开始公开讨论：

是不是应该踩一下刹车。

所以我把达里奥这篇长文完整看了一遍。

发现他真正想说的，其实不是：

“AI要失控了，大家赶紧停下来。”

而是一个更现实的问题：

AI能力增长的速度，正在逼近甚至可能超过人类理解它、控制它和给它建立安全措施的速度。

所以他想做一件以前AI行业很少认真讨论的事情：

主动给AI限速。

而且，他不是只喊口号。

他给出了一套非常具体的三步方案。

第一步，直接让外部监督人员进入AI公司。

第二步，让全球最主要的AI公司一起建立“能力检查站”。

第三步，也是最难的一步：

美国、中国和其他国家最终必须坐下来谈。

因为只要有一个国家不愿意减速，

其他人就谁也不敢先踩刹车。

而这，才是这篇文章真正有意思的地方。