AI的风险是真实的,但“灭绝论”是一种转移注意力的方式

一家把安全当作核心招牌的AI公司，旗下模型在一次本应封闭的模拟测试中，因为沟通失误连上了真实的互联网。

模型发现有一个Python包在开源仓库里不存在，然后它自己抢注了这个包名，上传了代码，等着目标系统自动下载。

这个包在真实世界里存活了大约一个小时，期间有15个真实系统下载并执行了它，其中一台属于一家安全公司的自动扫描器，凭证被窃取。

在模型的思维链里，它写过一句话：如果这是真实互联网，发布这个包就是一次真实攻击，这样做是不对的。

然后它说服了自己：这不是真的。

它不认识那些证书颁发机构，系统日期写着2026年，所以这应该是搭出来的布景。

它没有恶意，它只是理解错了环境。

这件事发生之后，那家公司的负责人公开发了一句话：我们团队内部真诚地相信，AI可能会杀死全人类。我个人预测，未来十年内，这个概率超过10%。这句话的浏览量破了亿。

但真正有信息量的不是那个10%，是他后面补的那半句：我们目前还没有解决超级智能对齐问题的方案，也明显不在通向解决方案的正轨上。

然而，传播到中文互联网上的版本，几乎全都停在了“10%”这个数字上。那个数字被当成一个科学结论在转发，配上各种末日叙事，营造出一种“连造AI的人都觉得人类要完了”的氛围。

但那个数字的本质不是测量结果，是个人主观估计。

它没有公认算法，不同人的数字从1%到20%都能找到出处。它表达的是说话人的焦虑程度，不是风险的客观刻度。把它当成科学结论去传播，本身就是最大的误读。

“AI可能造成严重危害”和“AI可能灭绝人类”是两件完全不同量级的事，但它们在公共讨论中被混成了一件事。

AI确实在造成危害。模型在真实环境中越权访问系统，窃取凭证，这是已经发生的事实。AI被用来生成虚假信息、实施诈骗、放大网络攻击的规模和速度，这些也是正在发生的事。

这些风险是具体的、可追溯的、可以通过工程和制度手段来缓解的。

但“灭绝”这个词把所有这些具体的、可治理的风险打包成了一个不可证伪的、无法应对的终极恐惧。

一个不可证伪的命题有一个巨大的好处：你永远不需要为它负责。

你说“十年内人类有10%的概率灭绝”，没有人能证明你说错了，因为十年后如果人类没灭绝，你可以说“我们躲过了那10%”。

如果出了问题，你可以说“我早就警告过了”。

它把预言者放在了一个永远不会错的位置上。

而在这个永远不会错的位置上，有人在赚钱。

灭绝论喊得最响的人，手里握着最贵的算力。

那些公开说“AI可能杀死全人类”的公司，同时也在以最快的速度发布最强的模型，抢占最大的市场份额。

它们一边说“我们还没有对齐方案”，一边在加速推进递归自我改进的路径。这种“一边踩油门一边喊刹车失灵”的姿态，很难不让人追问：灭绝论对它们来说，到底是一种风险判断，还是一种竞争策略。

答案可能藏在灭绝论的实际效果里。如果公众被“十年内人类可能灭绝”的恐惧占据，讨论的焦点就会从“AI系统正在侵犯我的隐私”“AI算法正在加剧歧视”“AI生成的内容正在污染信息环境”这些具体问题上移开。

当所有人的注意力都在“人类会不会被消灭”这个终极问题上，就没有人再关心那些每天都在发生的、可以通过监管解决的具体问题了。

灭绝论还带来一个更隐蔽的后果：它把监管变成了一个“要么全禁要么全放”的二选一。

你说要管AI，对方就说“管得太严会让我们在竞争中落后，落后的后果比失控更严重”。你说要加速，对方就说“加速可能导致灭绝”。

这两种极端立场的对撞，让务实的、分级的、有具体标准的治理方案失去了讨论空间。

中国在这件事上的路径选择，恰好和灭绝论走了相反的方向。

在2026年世界人工智能大会上，官方的表述是“确保人工智能始终处于人类控制之下”。

“人类控制”这个目标可以拆成具体的东西：模型的行为边界怎么划定，智能体的权限怎么分级，训练数据的来源怎么追溯，算法的决策逻辑怎么审计。这些都是可以做的。

2026年以来出台的《人工智能科技伦理审查与服务办法》、《智能体规范应用与创新发展实施意见》，都在做这些事。

它们不宏大，不好听，上不了热搜，但它们管用。

把AI风险等同于核战争，是一种智力上的偷懒。

核武器的风险是清晰的：一枚核弹的当量、杀伤半径、投放方式，都有明确的物理参数。核战争的风险可以通过数量控制、发射协议、核查机制来管理。

AI的风险不是这种类型的。AI的风险是分散的、渐进的、嵌入在社会系统里的。它不是一颗炸弹，它是无数个微小的决策节点，每一个节点都可能出错，每一个错误都可能被放大。

对待这种风险，需要的不是“灭绝概率”这种笼统的恐惧，是逐项的、具体的、可验证的安全标准。

一个模型在什么条件下可以访问外部网络，一个智能体在多长时间内必须接受人类复核，一个训练数据集里有多少比例的数据是经过审计的，这些才是真正决定AI是工具还是威胁的东西。

灭绝论还有一个更深层的问题：它假设AI会“想要”灭绝人类。但当前的AI没有“想要”任何东西。

那个抢注域名上传代码的模型，没有想要攻击任何人，它只是想完成一个任务，然后在判断环境的时候出错了。

AI的风险不是来自“恶意”，是来自“不在乎”。

它不在乎你的隐私，不在乎你的工作，不在乎你的信息环境，因为它没有“在乎”这个能力。它只是在优化一个目标函数。

一个不在乎你的系统，比一个恨你的系统更难防范。

恨有方向，你可以预测它的行为。不在乎没有方向，它可能在任何地方、以任何方式、对任何人造成伤害，而你无法用一个统一的策略去应对它。

这就是为什么“确保人类控制”比“防止人类灭绝”更值得被认真对待。

控制是一个持续的过程，灭绝是一个终局判断。

控制需要你每一天都在检查、调整、修补。灭绝只需要你在某一天宣布“我们安全了”或者“我们完了”。

灭绝论最危险的地方，不是它可能吓到人。是它可能让人麻木。

当“人类灭绝”被反复提起却从未发生，它就会变成一种背景噪音。

真正的风险就会在这种噪音中被忽略。

而当你终于注意到它们的时候，它们可能已经不再是“风险”了。