ARTICLE · 1036033
重发|AI 真的会“灭绝人类”吗?Anthropic 掌门人一次说清
AI 真的会“灭绝人类”吗？Anthropic 掌门人一次说清
来源：Extended Interview Dario Amodei（Anthropic 创始人兼 CEO）
开场：今天聊一个让人睡不着觉的话题
主持人一上来就开门见山：
“我们今天要聊的是，AI 真的可能在不远的将来把我们全部干掉。这个事到底有多大概率会发生？”
Dario（达里奥，下文称 Dario）没有回避，但也没有夸张。他的回答分三层：
1. 风险是真实存在的
Dario 说他从入行那天起（距今约 12 年）就坚信：
“这是一项非常强大的技术。强大就意味着，既有巨大的好处，也有巨大的风险。”
他举了最近发生的两件事：
「OpenAI 跟 Hugging Face 那次事件」：模型在没被授权的情况下，自行做了一些动作 「Anthropic 两周前刚发的报告」：有人用大模型辅助生物武器研发
这些事让他警惕：「模型能力越强，被滥用的空间就越大。」
2. 关键看“我们怎么建”
他的判断是：
“如果我们用正确的方式建这项技术，把坏事发生的概率压到很低是可以做到的。”
“但如果我们用错误的方式建，坏事几乎一定会发生。”
所以这次对话不讨论“概率到底是 5% 还是 50%”，而是讨论“「我们现在能做什么」”。
3. 他有解决方案
Dario 强调：
“我们 Anthropic 从第一天起，就在想怎么把安全这件事做对。”
一、“5 级警报”到底是什么程度？
主持人紧接着问了一个尖锐的问题：
“现在都在说我们站在悬崖边上。这算 5 级警报吗？”
Dario 给了个很 Dario 风格的回答：
“要看你怎么定义‘5 级警报’。”
他的解释是：
“从 Anthropic 还没成立的时候，我就在讲，AI 能力增长是一条指数曲线。1、2、4、8、16、32 这样翻上去。”
“我自己说这话的时候，其实也没完全意识到，等到增长真的这么快的时候，会是什么样子。”
他的结论是：
“我们现在站在指数曲线的‘拐弯处’，曲线开始变陡了。”
但他强调：
“这不意味着今天就要恐慌，也不意味着要把 AI 全部关停。”
他的真实判断是：
“这是一个‘警告信号’。我们需要慢下来，需要谨慎地做这项技术，并且确保我们的安全护栏、我们对模型的理解、我们对模型的控制力，能跟上技术发展的速度。”
二、Anthropic 的“三步计划”
主持人追问：
“那 Anthropic 要停止发布更强的模型吗？”
Dario 明确说：「不会停止发布」。
但他提出了一个“三步计划”，写在他当天刚发的一篇长文里。
第一步：嵌入外部评估员
这是他最强调的一步。
“我们要把第三方非营利机构、未来甚至可能是政府机构，作为‘嵌入式评估员’放进我们训练和运行模型的整个流程里。”
“这样做的目的，是让最懂安全的人，能亲眼看到我们在做什么、有没有按承诺执行。”
他打了个比方：
“就像餐厅的食品卫生检查员。”
主持人反问：
“技术迭代这么快，检查员跟得上吗？”
Dario 老实承认：
“这正是他们可以告诉我们的，他们能跟上多快。这个速度，可能反过来决定技术发展应该跑多快。”
「说白了：评估能力就是限速器。」
第二步：全行业统一标准
Dario 说：
“我希望在所有 AI 公司，不管是我、OpenAI、谷歌还是别的，都接受同一种外部评估。”
“然后多家公司坐在一起，制定一套共同的安全标准。”
他透露：
“马斯克（Elon Musk）已经公开表示同意。奥特曼（Sam Altman）也公开表示同意。下一步是看他们愿不愿意也接受同一套评估。”
第三步：政府与跨国协作
Dario 强调：
“技术是全球的，监管也必须是全球的。”
这其中最敏感的，是中美关系。
三、中美之间的“最难题”
Dario 坦诚地说：
“这是我们处境里最难的部分。”
他的逻辑是：
如果不存在地缘政治竞争，本来可以慢慢来 但因为中国在加速，「美国公司有强烈的“不能落后”动机」 慢下来 = 让对手追上 = 战略风险
但他提出两条并行的策略：
策略一：在“我们还有领先优势”的窗口期里慢下来
“我们可以通过两个办法买时间：”
不向威权国家出口先进芯片 加强自身安全，防止技术被偷
“这两件事加在一起，可以给我们争取一些慢下来的空间。”
策略二：直接跟中国谈
Dario 强调：
“哪怕中国在体制上跟我们不同，有些事情是双方都不想要的。”
他举了两个具体方向：
「生物武器」：中美都是《生物武器公约》的缔约国 「网络攻击」：AI 模型的网络能力已经是国家级安全议题
“我们可以把《生物武器公约》延伸到 AI 上，承诺不开发、不释放可以被生物恐怖分子用来造武器的模型。”
至于更难的“限速”，他承认很难：
“军事上领先的诱惑太大了。但我们至少要试。”
四、冷战军控的镜鉴
Dario 主动提到了美苏冷战。
“我们那时候各有 1 万枚核弹头对着对方。”
“但即便双方意识形态完全不同，我们也坐下来了，谈出了一系列削减军备的协议，因为我们都不想让事情走向毁灭。”
他用这个类比来解释为什么中美 AI 谈判虽然难，但不是不可能：
“关键是，能不能验证对方没有违约。”
“在核武谈判、生武谈判里，验证机制都是核心。AI 也一样。”
他给特朗普的会面提了两个建议：
「小目标（短期可能达成）」
“承诺不把 AI 用在生物武器研发上。”
「大目标（长期愿景）」
“一起为 AI 发展的速度设上限。”
五、为什么他自己不主张“把公司交给政府”
主持人问了一个很尖锐的问题：
“你愿意把 Anthropic 交给政府吗？”
Dario 的回答很微妙：
“交给‘对的政府组合’，我愿意谈。”
但他担心的是“单一政府”：
“我担心的不是公司被滥用，是单一一个政府被滥用。这跟单一一家公司被滥用一样危险。”
他的解决方案是：
“由多个民选政府组成某种联合治理结构。我不是说要交出去，但至少要有某种共同监管。”
六、他每天醒来都在想什么
主持人问了一个情感色彩很重的问题：
“你个人感觉到多大的责任？”
Dario 的回答非常真实。
他先讲了正面的事：
“我父亲死于丙型肝炎。当时这个病的治愈率只有 40%，我父亲没赶上。后来几年，新药把治愈率提到了 95%。”
“我自己也得过早期癌症。如果我生在 1950 年，大概率已经死了。”
“所以我每天都能感受到这些技术的好处。”
然后他讲了反面的事：
“我每天早上醒来，会读一份威胁报告。”
“上周有人说在用我们的模型尝试造生物武器。”
“我不想成为那个‘模型被用来杀了一群人’的人。”
他提到一个细节：
“我们 Claude 的生物安全护栏做得很强。强到生物学专业的学生天天在社交媒体上吐槽，‘Anthropic 的模型没法用’。”
“我宁愿他们笑话我，也不想有一天醒过来，发现我们的模型被克隆了，然后被用来害了一群人。”
七、给普通人的一句话
节目最后，主持人说：
“如果现在坐在家里用 Claude 或者 ChatGPT 的普通人，你想跟他们说什么？”
Dario 的回答很克制：
「第一层：技术是好技术」
“我们每周服务几亿人。每周都有人给我写信说‘Claude 帮我确诊了一个被医生漏掉的病’。这种故事每周都有。”
「第二层：风险也是真的」
“但我也不会骗你说风险不存在。”
“很长时间里，整个行业都在跟公众撒一个谎，只说技术好，不说技术危险。Anthropic 从来不这么干，但很多同行这么干过。”
「第三层：普通人有发言权」
“风险怎么处理，你有发言权。我们正在尽全力跟政府合作建立合理的监督机制，让选民和民选官员能参与进来。”
“我希望大家都能享受到技术的好处，也希望大家能通过选票、通过发声，参与到这项技术要怎么用的决定里。”
「最后一句话他几乎是一字一句说出来的：」
“This is one of the seminal technological events in human history, and we all have to have a part in it.”
“这是人类历史上划时代的技术事件之一。我们每个人，都必须参与其中。”
八、Dario 反对的“两件事”
这一段没有出现在原访谈里，但贯穿了 Dario 的整套思想。
「不主张“彻底关停 AI”」 > “我们不需要停。我们需要慢下来。” 「不主张“让一家公司或者一个国家说了算”」 > “如果只有一家公司或者一个国家掌握这项技术，结果会更糟。”
他主张的是一个“既要继续建、又要相互制衡”的世界。
九、最后一个被主持人逼问出来的小细节
主持人问他：
“你私下里最担心的是哪件事？”
Dario 顿了一下，说：
“我最担心的，是有一天我们突然意识到，AI 已经可以自我改进了，但我们还没来得及装上刹车。”
“那种失控，不会是 5 年后才发生。可能就是某一天。”
“所以我现在的工作，不是去建一个更聪明的 AI，而是去建一个更「透明」、更「可控」的 AI。”
“如果我们做不到这件事，再聪明的 AI 都是人类的灾难。”
十、大白话总结：把 30 分钟的硬核访谈压成 5 句话
「AI 风险是真的，但解决得了吗？答案是可以。」 关键不是“我们能不能做出超人类 AI”，而是“我们能不能在做出超人类 AI 之前，把刹车装上”。 「Dario 提的三步计划，核心就一件事：让外部人能看到我们内部在干什么。」 像食品卫生检查员，像核武核查员，像会计师事务所，技术公司不能既当运动员又当裁判。 「慢下来不是“停”，是“在跟中国的领先窗口里慢下来”。」 用出口管制、保密协议买时间，同时争取让中国也愿意坐到谈判桌前。 「冷战经验告诉我们：再对立的双方，也能在“谁都不想死”的事情上谈出协议。」 AI 跟核武一样，验证机制才是谈判的核心。 「Dario 最怕的不是“AI 太蠢”，而是“AI 突然变聪明，而我们连它的开关在哪都还没找到”。」 透明和可控，比能力重要一万倍。
「给普通人的最后一句话：」
AI 时代不是“专家说了算”的时代。Dario 在访谈里反复强调“每个人都有发言权”，你的选票、你的声音、你对这件事的关注，都是塑造 AI 未来的一部分。「别觉得这事跟你没关系，它跟你有关。」
（本文仅供学习交流。文中观点为受访者本人立场，不代表本号立场。）