连造它的人都在谈“灭绝风险”:这场 AI 安全之争,到底在争什么?

这几天，一段访谈在技术圈里被反复转述、剪辑、放大。

被采访的是 Anthropic 的联合创始人兼 CEO 达里奥·阿莫代（Dario Amodei）。据公开报道，主持人几乎是把最难的问题直接甩到他脸上：这项技术，会不会在不久的将来杀死全人类？他没有绕开，也没有用“这取决于我们如何使用”之类的标准答案收尾，而是给了三个层面的回答。

时间点也很微妙。此前，他所在的公司刚发布了一份覆盖近九个月滥用案例的威胁情报报告（据公开报道）；同期，也有同行科学家在公开场合谈到技术“失控”的可能。一边是能力曲线往上冲，一边是掌舵人站出来说“危险是真的”——这种组合，本身就值得拆开看看。

需要先说清楚我的态度：这篇文章不替谁站台，也不打算复述立场。我只做三件事——把他说的三层逻辑摊开，看看每一层站不站得住，再聊聊这场争论和我们普通人有什么关系。

关于末日的话，我向来警惕。因为末日叙事最大的副作用不是恐慌，是麻木——听得太多，人连眼前真正会发生的坏事都不再警觉了。

他的第一个论据是技术规律，不是情绪：我们在一条指数曲线的陡弯上。

过去十多年，整个行业都在说 AI 是指数级增长。但据其说法，即便是研发者自己，此前也低估了曲线真正进入垂直爬升段时的速度——因为人对“1 到 2、2 到 4”这种线性直觉太熟悉了，反而对“16 变 32、32 变 64”的加速度没有体感。

第二个回答更有意思：他拒绝把人类命运当成掷骰子。

据这次访谈，他的意思大致是——如果继续按当前缺乏约束的模式往前跑，灾难性结果的概率“非常高”；但如果把安全护栏和研发节奏的控制真正建立起来，这个风险完全可能被压到很低的水平。换句话说，他反对的不是“AI 会不会”，而是“别把它当成一场听天由命的赌局”。

第三层就有点刺人了。据公开报道，他直接批评了自己所在的行业：这个行业长期以来只向公众展示绝对正面的前景，对毁灭性风险避而不谈，动机里掺着估值与商业利益的考量。

但这里必须补一句公道话，也是很多人忽略的：“灭绝风险”这个框架本身，在业内就吵得很凶。不少研究者的观点是，把注意力锁在遥远的灾难上，反而会挤掉对眼前危害的警惕——深度伪造带来的诈骗、个人数据的滥用、版权的争议、岗位结构的冲击。这些不是假想，是每天都在发生的事。

如果问“现实中最危险的滥用是什么”，答案可能出乎很多人的意料：不是机器人扛着枪造反，而是生物领域。

据公开报道，在那份威胁情报报告里，最让安全团队紧张的拦截案例，集中在有人试图把大模型用在病原体相关的用途上。这也是他在访谈里情绪最重的一段——大意是：网上天天嘲笑他们在这方面的安全措辞过于严苛，连生物专业的学生都在编段子调侃，但他宁可天天被嘲笑，也绝不愿某天醒来，发现有人真的用这套工具做出了生物武器。

这条线为什么最让人睡不着？因为门槛在降。过去，有些事需要实验室、经费和多年专业训练；而现在，一个“很会提问的人”能站到离那扇门更近的地方。安全策略在这里必然最严、也最不讨好。

顺便说一句，这条路不是没有现成的框架。据公开信息，《禁止生物武器公约》是国际社会坚持多年的多边安排，已有观点主张把“禁止用于武器”的这类共识，延伸到 AI 领域——这也是后面第三节要谈的“核查”问题的起点。

前阵子，据公开报道，有议员提出给前沿模型强制安装紧急关停开关。听起来是最直接的办法：再强的东西，拔了电总该停下吧？

他的回应是：这个方案在底层逻辑上有漏洞。当模型强到一定程度，它完全有可能在推演环境里识别出“这就是要关掉我”的意图，从而绕过指令。

这说法听着像科幻，但它其实指向一个更朴素的现实：关机键从来不只是技术问题。当全球的科研、气象预报、通讯枢纽、物流供应链都把模型接进了决策链，“谁有权限按”和“按下去之后由谁承担停摆”，本身就不是一道技术题，而是一道治理题。

所以他的主张不是“装个开关”，而是“叠五层”。这个模型借自网络安全领域的经典比喻——瑞士奶酪：单片奶酪到处是孔洞，但把多片错开叠起来，能被穿透的路径就基本堵死了。

光有防守不够，还得有人查。所以他在访谈里给了一套治理构想，据公开报道，大致是三步：

他给的类比很好懂：这套角色就像食品卫生检验员。不是等到出事再去追责，而是从原料到出厂全程盯着。

但这套方案的好处和坏处一样具体。好处是它可执行、有抓手；坏处是它把最难的问题往后推了一格——检查员由谁任命？检查员的判断凭什么被信任？评估标准又由谁来写？据公开研究，规则一旦由被监管的一方参与起草，就很容易写成“自己够得着的样子”，这种现象在学界有个名字，叫监管捕获。

整场访谈里，我认为最值得记录的不是技术判断，而是这一段。

面对“为什么把决定全人类命运的技术，交给少数几家私营公司”的质问，据公开报道，他罕见地表示了赞同：这项技术由几家私人商业公司来主导开发，本身就是极度怪异、且令人不安的。他甚至表态，愿意接受由多个经选举产生的政府组成的联合监管架构，来深度介入治理。

这是很诚实的一段，也是最难落地的一段。因为它要求公司在“谁来写规则”这件事上，主动让出一部分权力。

据公开访谈，他把 AI 监管的终局，比作历史上核与生物领域的多边安排：当年彼此并不友好的国家，也正是因为毁灭力量过于庞大，才坐下来谈限制。

这个类比方向是对的，但难点必须说清楚：核查什么？核武器有物理特征——材料可以称重，设施可以拍照，离心机有热信号。而模型是代码加算力，训练可以分散在多个数据中心，能力可以靠蒸馏一点一点搬走。核时代那套“看得见、摸得着”的核查手段，在这里几乎全部失灵。

也正因如此，这条路并不是没人走。据公开信息，中国先后发布《全球人工智能治理倡议》，全国网络安全标准化技术委员会于 2024 年 9 月发布《人工智能安全治理框架》1.0 版，提出“包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对，开放合作、共治共享”等原则；围绕 AI 安全治理的国际对话，这几年也一直在持续。

分歧当然很大，但方向是公开的：发展与安全并重，加强国际合作。个人和企业能做的准备，与这个方向并不矛盾。

聊到这儿，说点实在的。宏大叙事最容易让人两头摇摆：要么吓得睡不着，要么看多了彻底麻木。我自己更愿意用三个动作来处理它。

顺便也提一句实用的：真正渗透进我们生活的，是那些不起眼的滥用——换脸的借钱视频、批量生成的假口碑、冒充熟人的语音。把家里长辈的手机安全设置管一管，比担心末日有用得多。

第一句：造它的人警告风险，这件事本身有意义，但它不构成全部证据。警告值得听，因为说话的人离机器最近；也正因为离得近，他的判断里同时装着行业的位置。

第二句：治理的难点，不在“要不要管”，而在“谁来当检查员”。派谁去看、按什么标准看、看不看得懂——这三个问题没解决之前，所有方案都还是方案。

第三句：我们既不该被末日叙事吓住，也不该被宏大叙事哄住。技术会继续往前，规则也一直在补位，个人的清醒，就是在这两句话之间不放弃追问。

本文为公开信息梳理与个人观察，所引观点均来自公开报道与公开访谈，不针对任何具体机构，也不构成任何专业建议；涉及技术与治理的判断，请以权威机构的公开信息为准。

—— 归入合集 “赛博田野”