ARTICLE · 1024383
AI 灭绝人类概率超 10%,喊这话的公司正在冲刺 IPO
上周,我所在的几个群都在吵同一条新闻。
Anthropic 的安全负责人 Evan Hubinger(就是给 AI 上围栏的那位)公开说,AI 在未来十年内灭绝人类的概率,超过 10%。
一半人真慌了,讨论要不要囤点罐头。另一半人嗤之以鼻,营销号又来卖末日。
说实话我两头都不想站。我只想搞清楚,这事到底怎么回事。
本来只有一个问题,这话是真是假。查到最后,一个问题变成了四个。
第一问,这话是真是假
先查信源,一查,比标题猛。
源头是研究员 Jacob Coxon,9 月 8 日从 Anthropic 辞职,27 岁。他先后在 OpenAI 和 Anthropic 做了三年前沿模型预训练,其实就是亲手造这些模型的人。辞职帖 24 小时破亿,核心一句话,公司押注可自我改进的超级智能,安全方案还没影。
他给出的最激进时间表,是明年年底。
第二天,Hubinger 公开引用这条帖子,认同。原话大意,我们确实真诚地相信 AI 可能杀死所有人类,我个人认为十年内概率超过 10%,我们目前还没有解决方案。
10%。
一架飞机有 10% 的坠毁概率,整个航空业当天停摆。
往回翻,更猛的还有。
去年 9 月,CEO Dario Amodei 在华盛顿一场峰会上说,事情有 25% 的概率变得非常非常糟。
25%。说 10% 的那位,还不是公司里最悲观的,CEO 给的数字翻了一倍多。
再往前,今年 2 月,前安全护栏负责人 Mrinank Sharma 辞职,离职信里写,世界危矣。
四天之内,七位 AI 研究者接连警告,部分在职员工站出来呼应。所以这不是某个人的失控,是一家公司从 CEO 到安全负责人到一线研究员,公开地、集体地,相信自己在造的东西可能杀死所有人。
人类商业史上,这个场面出现过吗。
写产品有害的公司很多,烟草写过,写完照卖。写自己的产品可能灭绝人类的,这是第一家。

BBC 专访里 Coxon 还说了一句几乎没人报道的话,这事西方单方面管不住,需要和中国坐下来协调。
这句先记下,第四问要用。
第二问,那真会团灭吗
末日论的最强剧本叫递归自我改进,简称 RSI。AI 自己设计下一代训练,训出更强的,更强的再设计下一轮,循环加速,某个深夜越过人类,游戏结束。
All-In 播客把这剧本完整推演了一遍,主持人原话,从我们把 AI 当工具,直接跳到 RSI 极端论,再直接跳到所有人都会死。
中间那几步呢。没人讲。
圈内人自己都没吵完,大模型能不能通向 AGI,杨立昆和哈萨比斯至今意见相反。现实是,今天的 AI 连稳定订酒店都做不到,关键金融系统至今保留纸质备份,核心设施物理隔离,动一下要双人双钥匙。
指令毫秒级生成,但按开关的还是人。AI 从工具变成主人的那一步,卡的从来不是算法,是人肯不肯松手。
但拆剧本不等于没风险。真风险清单有人写好了,图灵奖得主 Bengio 牵头、100 多位专家的国际 AI 安全报告,头号风险两项,AI 加网络攻击,AI 加生物风险。
报告里还有一句被严重低估的判断,一次系统故障,越来越可能被当成一次敌意攻击。 中美高度提防对方的某个凌晨,一边系统抽风,另一边看到的是异常流量,技术失灵和蓄意攻击从外面看是同一个样子。
真正可能出事的夜晚,不需要 AI 觉醒。一次故障,加一次误判,就够了。
第二问的答案,风险是真的,但长得不像电影,长得像一次误判。
可这就更怪了。
第三问,那为什么满屏都是团灭
真风险长得这么朴素,为什么传播最广的,偏偏是最炸的团灭剧本。
我把几个时间点排在一起,你感受一下。
今年 2 月,安全护栏负责人 Sharma 辞职,信里写世界危矣。
9 月 8 日,Coxon 辞职。
9 月 9 日,Hubinger 公开背书那句 10%。
而招股书 S-1,预计三周后公开。路演排在 10 月中,上市定在 11 月 3 日,美国中期选举前一天。
一边是辞职潮,一边是 IPO 倒计时,两条线同时走。
再看钱。外媒披露,这一单谈的估值到了 2 万亿美元。摩根士丹利牵头,17 家银行组团,先给了 150 亿美元的循环信贷。公司对算力的承诺,800 亿美元。
现在问题来了。那句 10% 加上「我们还没有解决方案」,按规矩要写进招股书的风险披露章节。
如实写,等于亲手给原告律师、做空机构和敌对议员,递一份承认产品可能灾难性危险的文件。淡化写,又和自己在职安全负责人的公开言论对不上。
外媒一个记者开了个黑色玩笑,说他很好奇现在哪家律所的初级律师,正在连夜重写那一章。大概会写成这样,本公司正式立场为,有超过 10% 的概率开发出可能消灭人类的技术,这可能对我们的业务产生重大不利影响。
人类文明的终结,在招股书的语法里,是一条经营风险。

还有更扎心的观察。这些警告本身就是一种秀肌肉,我们的模型危险到可能灭绝人类,反过来等于我们的模型强到什么程度。在估值的逻辑里,危险感不是扣分项,是加分项。
所以过去五年,谈灭绝对这家公司是免费的,甚至是赚钱的。安全人设把它和别家区分开,客户信,投资人也信。
招股书,是这份免费坦率第一次要付价格的地方。
播客里 David Sacks 补了最后一层。末日叙事往前走一步,是联邦 AI 监管机构。再走一步,是前沿模型攥进两三家手里,开源被挡在门外。他说到底,这背后的根本动机是一套控制体系。
第三问的答案,最响的声音不一定是最真的声音,它可能只是最值钱的声音。
那真问题,谁来管。
第四问,那真问题,谁来管
回到 Coxon 那句没人报道的话。他为什么点名中国。
因为管住真风险这张牌桌,本来就该有中国的位子,而且桌子已经摆上了。
2026 年 5 月,两国元首在北京会晤,同意重启人工智能政府间对话。更早之前,清华的战略与安全研究中心和美国布鲁金斯学会,围绕 AI 安全已经低调对话了 14 次。两国元首还有过一条底线共识,核武器的决定权必须留在人手里。
这事有个老先例。古巴导弹危机里,赫鲁晓夫那份关键信件,光解码就耗了近 12 个小时,两边差点因为等不起而误判。事后美苏建了直接热线,热线没有消解任何根本矛盾,但每次紧要关头,给双方挣到了几个小时的核实时间。
真正降风险的动作,全是这种枯燥的东西。热线,模板,给 AI 生成内容加来源标识。上不了头条,也进不了招股书。
这张桌子还有一层,跟你的钱包直接相关。
现在把大模型价格打下来的,是开源这一路。DeepSeek、千问一轮轮卷下来,才有你随手可用的便宜 AI。末日叙事的终点是监管发牌、开源出局,价格变成两三家持牌公司坐在会议室里定的。
你怕的是 AI 毁灭世界,最后买单的,可能是更贵的 AI 和更少的选择。
四个问题过完,最后说回 Coxon 本人。
他当年加入 Anthropic,就是冲着这家公司最重视安全的名声。安全品牌把真信的人招进门,真信的人看着公司一边喊末日,一边冲 IPO。
然后他走了。招他进来的理由,最后成了他离开的理由。
同一件事里坐着三种人。卖恐惧的在写招股书,真信的走人了,真干活的在拉热线。
下次再刷到吓人的数字,先问一句,说这话的人,此刻在卖什么。
你的恐惧,正在给别人的招股书供电。
而那个真的信了的人,选择了走人。
对了,招股书再过几周就要公开,11 月 3 日,这家公司就要敲钟了。
那句灭绝警告最后会被写成什么,是原样写上,还是被律师磨成一段没人读得懂的风险套话,很快就能看到。
到时候,你可以把这篇翻出来,对一下答案。