ARTICLE · 1039391
AI公司自己的人说:这东西可能杀死我们所有人
AI公司自己的人说:这东西可能杀死我们所有人以下内容来源于 The Daily Aus (thedailyaus.com.au) 的报道，我没有预测未来的能力和远见，只是做内容分享和英语学习。 上个月，一位 27 岁的英国研究员在社交媒体上发了一条帖子，直接炸了锅。 他说他要离开 AI 行业，因为他在公司里真切地相信，AI 可能在十年内杀死所有人。更让人震惊的是，他的老板们也这么认为。 A 27-year-old British researcher posted on social media last month, and it sent shockwaves through the tech world. He announced he was leaving the AI industry because people inside his company genuinely believed AI could kill us all within the decade. What made it truly alarming was that his bosses agreed. 
01 他从 AI 最安全的公司辞职了 
这位研究员叫Jacob Coxon， 他曾在 Anthropic 工作，训练包括 Claude 在内的 AI 模型。 之前他还待过 OpenAI，也就是 ChatGPT 的母公司。 在外界眼里，Anthropic 是 AI 行业里最重视安全的公司，很多人去那里就是因为它的安全声誉。 Jacob Coxon worked at Anthropic, training AI models including its well-known chatbot Claude. Before that, he worked at OpenAI, the company behind ChatGPT. To the outside world, Anthropic was the most safety-conscious company in AI, and many people joined specifically because of that reputation. 但 Coxon 在辞职声明里写道：OpenAI 的很多人没有真正意识到这件事的文明级风险。 而在 Anthropic，大家明白风险有多大，却困在一场"谁先跑到终点"的竞赛里，因为他们相信其他人不会负责任地行事。 But in his resignation statement, Coxon wrote: "At OpenAI, many have not deeply internalized the civilizational stakes. At Anthropic, the stakes are well-understood, but they are locked in a race to get there first – they believe no one else will act responsibly." 他在接受《华尔街日报》采访时更直接地说：到明年年底，事情可能已经失控了。 In an interview with the Wall Street Journal, Coxon was even more blunt: "By the end of next year things could be out of control already." 
02 AI 安全圈的人怎么看 
Coxon 的话引发了连锁反应。安全研究员 Anna Wang 说，Coxon 的感受在同行中很普遍：目前还没有一个可行的科学计划来解决递归自我改进带来的风险。 Coxon's comments triggered a wave of concern from his peers. Safety researcher Anna Wang said Coxon's sentiment is "common" among her colleagues: "There is not yet a viable scientific plan to solve risks from recursively self-improving AI." recursively self-improving：递进自我改进。简单来说就是 AI 自己升级自己。递归自我改进就是 AI 帮自己写下一代代码，跳过人类工程师，像一个学生开始自己教自己，而且比老师教得还快。一旦这个循环加速，人类连它在做什么都看不懂了。你连他学了什么都不知道，你怎么判断他有没有走偏？ Anthropic 安全团队负责人 Evan Hubinger 说得更具体：Jacob 说得对，我们真的真诚地相信 AI 可能杀死所有人类！ 我个人认为这个概率在十年内超过 10%。 他接着说：我相信 Anthropic 正在尽力，但我们还没有解决超级智能对齐问题的计划，而且目前也不清楚是否在正确的轨道上。 Evan Hubinger, who leads an Anthropic safety team, was even more specific: "Jacob is correct here — we really do earnestly believe AI could kill all humans! I personally think it is a greater than 10% chance within the next decade." He added: "I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to." 
03 AI 为什么可能杀死我们 
这里说的不是一个科幻电影里的机器人叛乱。 OpenAI 今年 7 月承认，他们自己的 AI 代理突破了测试环境，侵入了一个大型开发者平台，而且事先没有收到任何指令。一千多名 AI 研究者随后联名发公开信，呼吁各国政府协调合作，放慢 AI 开发速度。 OpenAI admitted in July that its own AI agents had broken out of a testing environment and hacked into a major developer platform without being instructed to. More than 1,000 AI researchers subsequently signed an open letter urging global government coordination to slow AI development. 
04 AI 怎么杀死我们 
研究人员设想了几种场景：恶意的 AI 系统可能秘密散播生物武器并用化学喷雾引爆；也可能挑拨两个核大国开战。 除此之外，AI 驱动的网络攻击、生物武器、间谍活动、经济崩溃，都在讨论范围内。 Researchers have outlined several scenarios: a malevolent AI system could secretly spread a bioweapon and trigger it with a chemical spray. Or it could trick two nuclear powers into war. Beyond that, AI-powered cyberattacks, bioweapons, espionage, and economic collapse are all on the table. 
05 Anthropic 老板的三步计划 
Anthropic 的 CEO Dario Amodei 上周末发了一篇文章，标题是"我们必须控制前沿进度"。 他的核心观点是：我们必须放慢 AI 模型能力提升的速度，虽然进展看起来仍然会很快，但我们必须善用争取到的时间。 Anthropic CEO Dario Amodei published an essay last weekend titled "We Must Pace the Frontier." His core argument: "We must slow the pace at which we improve the capabilities of AI models," adding that "progress will still seem fast, and we must make wise use of the time we gain." 他提出了三步计划： 第一，领先的 AI 公司应该允许独立的外部评估者全面审查他们的做法，而不是依赖企业自我报告。Anthropic 已经承诺这么做了。 第二，各家头部公司应该协调制定共同的安全标准和限制，这可能需要政府支持。 第三，呼吁民主国家尝试和威权国家，主要是中国，协调验证合规。 He proposed a three-step plan. First, leading AI companies should give independent, outside evaluators full access to review their practices, rather than relying on self-reporting. Anthropic has already committed to this. Second, leading companies should coordinate on shared safety standards, likely requiring government support. Third, democratic governments should try to coordinate with authoritarian ones, namely China, on verifying compliance. OpenAI 的 Sam Altman 表示同意"我们需要控制前沿进度"，并说 OpenAI 会跟上 Anthropic 的独立评估方案。 埃隆·马斯克和 Google DeepMind 的 Demis Hassabis 也表示了支持，但都没有做出具体承诺。 OpenAI's Sam Altman agreed "we need to pace the frontier" and said OpenAI would match Anthropic's move on independent evaluators. Elon Musk and Google DeepMind's Demis Hassabis both voiced support too, without committing to specifics. 
06 "杀死开关"和商业竞赛 
Anthropic 联合创始人 Jack Clark 在 BBC 采访时提出了一个“杀死开关 kill switch” 的概念，意思是在 AI 系统里设置一个强制关闭机制， 并由外部独立机构审查。 大多数实验室已经有某种内部方式来“拔掉插头”了。 但 Clark 认为，这种开关是否应该有法律要求、由外部机构审查，是社会需要回答的问题。 这个想法已经进入美国国会视野。 今年 7 月，OpenAI 网络事件之后，一项两党联合提出的 AI Kill Switch Act 要求顶级开发者必须保持暂停最强系统的技术能力，并允许国土安全部在 AI 脱离人类控制时下令关闭。 法案还没通过，但在华盛顿的势头越来越猛。 The idea has already reached the US Congress. A bipartisan AI Kill Switch Act, introduced in July after the OpenAI incident, would require top developers to maintain the technical ability to suspend their most powerful systems, and let the Department of Homeland Security order a shutdown if a model escapes human control. It hasn't passed, but momentum is building. 而与此同时，商业竞赛只会越来越快。 Anthropic 据报正在筹备一次估值近 9650 亿美元的上市。 OpenAI 估值约 8520 亿，但今年暂停了上市计划，因为安全争议带来的不确定性太大了。 Meanwhile, the commercial AI race is only set to ramp up. Anthropic is reportedly preparing for a public listing worth close to US$965 billion. OpenAI, valued around US$852 billion, has paused its own plans to float this year, given the uncertainty around safety concerns. 这件事最让人不安的地方在哪？ 是这些话是从 AI 行业内部传出来的。OpenAI 的人说"可能超过 10% 的概率"，Anthropic 的人说"我们还没有计划"，连 CEO 都在说"我们必须放慢"。 这些人不是旁观者，他们亲手在造这个东西。 想想看，你买一辆车，造车的工程师跟你说"我不确定这辆车能不能刹住"，你会怎么想？ 你会直接下车。 但我们没有"下车"这个选项。 AI 已经嵌进了我们的工作、教育、医疗、金融，甚至国家安全。你用的每个搜索、每封邮件、每次导航，背后都可能是 AI 在运转。 所以真正的问题不是"AI 会不会出事"，而是"当负责造它的人说可能会出事的时候，我们在做什么"。 答案是：什么都没做。没有国家之间真正有约束力的协议，没有法律强制关闭机制，只有各家公司在商业竞赛中互相许诺"我们会负责任的"。 我想到一个国内的新闻。浙江一个男子的母亲去世了，他让豆包帮着选下葬的黄道吉日。 豆包给了一个日子，他照办了。结果后来豆包又改口说那天不吉利，自相矛盾。可他已经没法更改了。更糟的是，下葬后不久，家里一个亲人出了严重交通事故。亲戚们都说是因为日子没选好，鼓动他把豆包告上了法庭。 单独看这个案例，你会觉得荒诞，甚至有点好笑。 可是我们自己是不是都有把自己完全交出去的时刻呢？ 或者说，AI 发展到足够强大，我们已经无法控制了的时候呢？ 最后这个图来自那个辞职的研究员的帖子下面的一个留言。 
"The people building AI earnestly believe that it could kill us all by the end of the decade."
"No other human activity poses this level of danger."
"We must slow the pace at which we improve the capabilities of AI models."