AI降速,熄灭普罗米修斯的火?

最近，最靠近AI这团火的人，开始谈降速熄火，有种AI降临派突然集体倒戈的感觉。

从Anthropic研究员Jocob coxon离职在X发的“生命赌博警示声明“，到 CEO Dario Amodei呼吁we must pace the frontier 控制前沿AI模型能力推进节奏，引入第三方评估机构，投入更多时间建立安全防护机制。

马斯克、Sam Altman表示“顶楼上”。

更有意思的是，Anthropic研究员Evan Hubinger加入群聊继续叠buff ”未来十年AI造成人类灭绝的概率超过10%“。AI教父辛顿也在最近的BBC Newsnight里面谈到“10% chance seems not an unreasonable estimate to me。”

这些每天都和AI朝夕相处的人，某天吃惊的发现，那个被自己孵出来的东西，悄悄越界了，它正在从“工具”变成“行动者”。

过去的AI再聪明，本质上仍然是一个被动工具。你问一个问题，它回答一个问题；你让它写代码，它写完等待下一条指令。

细想一下，可能就是这波Agent、AGI的发展改变了这个主客关系。看来我上一篇文章说AGI时刻还早，说早了。

GPT-6 Astra实测，普通人的AGI时刻来了吗？

AI能主动理解目标、拆解、操作、调用工具、再根据结果调整策略，不可控的递归式自我改进，用AI研究下一代更高级的AI，形成一个危险的反馈循环。真正让Dario等人警惕的并不是某一代模型突然觉醒，而是AI能力增长速度开始超过人类理解它、控制它以及建立制度的速度。

这与过去的工业革命有本质区别。蒸汽机扩大肌肉，汽车扩大速度，互联网扩大信息传播，核能扩大人类能够释放的能量，而AI扩大的是更底层的东西——智能与决策。 人区别于动物的差异和主权，正在被挑战。

这有点普罗米修斯式意味，人类过去担心自己能不能获得火，现在开始担心，火会不会学会生火再自燃。

这也是我最好奇的点。

第一个问题，10%怎么来的？找了很多资料，似乎就是Evan Hubinger的个人风险判断。也没有一个严密的风险计算公式类似：GPT能力 × 算力增长 × Agent数量 = 10%灭绝概率。那看来10%还是1%、0.1%并不是一个精准数字意义，而是一个风险哲学。无论概率低还是高，只要发生了，人类就=0。

第二个问题，如果把AI灭霸响指的过程拆解成大象装冰箱的步骤，是怎么个执行路径？

浅浅推演一下，这个风险链连续跨过很多门槛：

一个超级智能

变得高度自主，有长期规划

于是开始欺骗人类监督，具备了网络攻击能力

获取资金与算力，控制大量Agent

操纵现实生物技术和武器

人类失去关闭能力

人类文明，卒。

当然目前没有证据证明这条链已经成立。目前大家讨论的极端灾难路径主要集中在几个方向：AI协助制造大规模生物风险、自动化网络攻击关键基础设施、自主武器，以及失控的高级Agent取得越来越多现实资源和权限。Anthropic，Openai披露的实际案例也已经涉及网络攻击、监控以及潜在危险生物研究。

AI毁灭人类，并不需要产生真的意识，也不需要手脚。只需要拥有现实自主行动杠杆。

所以即使作为充分的既得利益者，AI巨头们还是害怕了，道理就是，如果一座桥坍塌的概率无法确定，但桥下是整个人类文明和自己的未来，我们还能不能假装看不见，一边继续踩油门加速？

作为一个坚定的AI左右横跳派，对于提议减速这种自上而下关注关怀集体命运的行为，有种捏了一把汗之后，如释重负的感觉。

虽然现在远不到所谓的灭绝，但已经能感受到AI在像潮水一样，隐隐的侵蚀着一些我们曾经牢不可破的价值和意义之墙。

白领的经验壁垒崩塌，普通人的议价能力下降，AI驱动的大规模岗位消失，认知外包，无限扩充的失真低价值内容，人的劳动意义缺失等等主体性消隐，技术性失能，这些先给甜头去温柔规训的异化结果。

也不是完全否认AI的好，毕竟我们实实在在吃到了一些技术红利，哪怕是图一乐的时代精神红利。但坦诚的发现和揭露集体狂欢下的问题，纠偏错误的行进轨道，更重要。人们何必要上杆子加速自己被替代和被灭亡呢？

当然，Dario、Altman、马斯克、黄仁勋等在这个降速之下也可能有自己的利益、竞争、监管诉求和其他商业算盘子。我们也不需要把这些造AI的科技巨头们突然浪漫化成文明守夜人。

安全也可能成为新的权力壁垒。如果只有几家巨头有资格定义什么模型是安全的、谁可以训练AI、谁拥有算力，那么保护人类也可能成为垄断技术的理由。

这是技术问题，也是经济和政治问题。

普罗米修斯从诸神那里盗取火种，把火带给原本脆弱的人类获得适应和改造自然的能力。现在AI这簇火，让人类获得了超越认知限制的能力。

但人类每一次获得更大的自由，也同时获得了制造更大后果的能力。

严格意义来说，我们也不是要熄灭这团火，而是要时刻意识到如何控制火势。