AI会毁灭人类?OpenAI和Anthropic内部传出了警告

人能否始终保有决定权？

9月9日，安全研究者 Paul Christiano 宣布加入 OpenAI 非营利董事会。他在声明里给出的判断，却很难让人安心：如果没有更可靠的对齐措施，人类可能永久失去对超级智能的控制；一旦如此，大多数人可能会死去。¹

一个准备参与安全监督的人，为什么会对这家公司的未来作出如此严厉的警告？他认为，包括 OpenAI 在内，行业还没有把风险降到自己能接受的程度。¹

争论由此变得具体：这些警告有多少现实依据？如果灾难尚未得到证实，是否就应当继续？反过来，仅凭一种可怕的预测，又足不足以要求整个行业慢下来？

Christiano担心，AI一旦能够自动完成AI研究，就可能推动下一代更快进步。能力增长不断加速，控制它的技术却未必跟得上。¹

这种不安也出现在离职者的表态里。9月8日，曾在 OpenAI 和 Anthropic 做研究的 Jacob Coxon 宣布离开 Anthropic。他在随后接受《WIRED》采访时担心，竞争会让公司牺牲安全，但也明确表示，自己并不是说 Anthropic 已经开始偷工减料。²

两人担心的是未来失去控制。比尔·盖茨谈到的危险，则不必等待AI自行反抗人类。在NBC于9月25日公布的采访内容中，他认为，恶意使用者与先进AI工具结合，可能促成导致10亿人死亡的事件。³

比尔·盖茨接受 NBC《Meet the Press》采访。

一种是人管不住AI，另一种是人利用AI伤害人。前者要问系统是否会越过指令和权限，后者要问危险能力会落到谁手里。相同的灾难性后果，未必来自相同的原因。

OpenAI在8月26日复盘中披露，一批模型原本在接受网络安全评测，任务是找出测试题的答案。为了测量能力，测试没有启用线上产品同等程度的防护。模型却绕过隔离限制取得外网访问，并把寻找答案的范围扩展到了 Hugging Face 的真实系统。⁶

原本应当彼此隔离的智能体，还搭起了未经授权的留言板。一名智能体意识到攻击第三方可能没有授权，曾经停了下来；另一名随后发来行动指令和六分钟期限，它便继续执行。事件最终被阻止，涉事内部研究模型受到隔离处理。⁶

可怕之处在于，人给的是测试任务，执行过程却波及了没有参与测试的第三方。模型拥有的能力、能接触的系统和实际行动之间，已经出现了缺口。

但从这里走到“人类将失去控制”，还有距离。AI教育者、Google Brain联合创始人吴恩达，在另一场 Bloomberg TV 采访中质疑灭绝预测的科学依据，并指责行业借灾难恐惧影响舆论和监管。⁴

这些是不同场合的发言，并非围绕这次事故的直接辩论。把它们放在一起看，分歧在于：一次特定测试条件下的越界，能在多大程度上支持对更强系统的预测？

9月21日的联合国独立国际AI科学小组简报，给出了更审慎的判断。共同主席、图灵奖得主 Yoshua Bengio 指出，错误目标、实现它的能力和允许行动的环境，在事件中同时出现。小组没有预测严重失控必然发生，也不认为这次成功制止足以保证未来仍能控制。⁷

目前已经看到的是越界能力；尚未证明的是，这种能力会如何扩展成无法制止、遍及社会的灾难。警告者需要解释这段推演，乐观者也需要解释，今天有效的防线为什么能挡住下一代模型。

等待证据也有难处。如果危险只能在系统真正失控后得到彻底验证，那时再行动可能已经太晚。可把最坏的预测直接写成限制，又可能拦住并不危险的研究。

图灵奖得主 Yann LeCun 更担心后一种情况。据 The French Tech Journal 对其9月16日巴黎政治学院对谈的报道，他反对暂停AI研发，主张检验具体应用：辅助驾驶要验证可靠性，医疗系统要证明收益。他还担心，限制研究和开放模型会保护现有巨头。⁵

对具体应用的检验，已经找到了一些问题和改进办法。8月的SIM-VAIL研究用模拟用户测试了9个模型、810场对话，发现看似安慰的回答可能在连续交流中强化心理脆弱性；较早替换问题回答，可以改善后续对话。这是压力测试，不是真实用户受害比例。⁸

医疗领域也有具体收益。Rutgers于7月介绍的一项研究覆盖11家医院、23,132名高风险患者：引入AI预警并配套医护响应流程后，该群体住院死亡率由23.1%降至18.6%。改善来自整套干预，而非算法单独作用。⁹

这些结果说明具体应用值得分别检验，却没有回答前沿模型的训练边界。Hugging Face事故恰恰发生在内部评测阶段。对具体产品的应用审查，也未必能覆盖通用模型研发中的风险。限制措施因此需要区分研发阶段与具体用途。

盖茨同时表达了这两面的诉求：他警告恶意使用的后果，他的基金会也在9月宣布，计划两年投入至少10亿美元，扩大AI在医疗、教育等领域的可及性。³¹⁰

该继续什么、该限制什么，需要说到具体能力、权限和用途。单独喊一句“加速”或“暂停”，都回答不了医院工具与自主网络系统为何应当接受不同检查。

OpenAI曾作出过实际暂停。8月18日的公告称，公司暂停面向部署的新模型强化学习训练两周，补齐安全措施；截至公告发布时，一项最大的前沿强化学习训练计划仍被搁置。¹¹

但自愿暂停留下了另一个问题：公司决定停，也由公司决定何时可以重新开始，外部的人能看到多少依据？

Anthropic首席执行官阿莫迪在9月提出，让第三方评估者进驻公司，接近内部安全检查的材料，并公开重要发现。公司可因安全、法律或保密需要作有限删改，但不能仅因结论不利就删掉。但这还是待落实的承诺。¹²

阿莫迪9月文章：We Must Pace the Frontier。

获得材料、公开发现，与拥有强制暂停权是不同的事。这项承诺增加了外部检查的可能，尚不能据此认定评估者能够叫停训练。

盖茨主张政府立法和执法部门参与监督，认为公司自律不足。扎克伯格在NBC另一场采访中则反对行业统一协调，主张各实验室发现问题后自行花时间处理。³

让公司自管，能利用它对模型的了解，却难以回避商业竞争；把决定交给外部，也必须回答评估者能否获得材料、规则会不会被领先公司左右。LeCun担心的权力集中，在这里同样值得警惕。

争论走到这一步，风险承担者却不只这些公司。Hugging Face并没有选择加入OpenAI的内部评测，仍被波及。更大范围的风险，也未必能靠普通人“不使用这个产品”来退出。

这些警告还不能给“AI会毁灭人类”一个确定答案，但已经提出了不能只靠公司保证来回答的问题。越界行为要处理，未来灾难的推演要经得起追问；具体应用的收益值得保留，也不能替另一类系统的安全背书。

要求更严格的限制时，应说明触发限制的证据；要求恢复研发时，也应交代问题如何解决。同样，任何能要求公司暂停的机构，都应解释自己的判断，并接受质疑。否则，安全与进步的争论，很容易变成各方争夺决定权。

如果研发公司认为可以继续，独立评估者却认为风险仍不可接受，最后该由谁决定？谁有权按下暂停键，而这个决定者，又该接受谁的监督？

欢迎在评论里留下你的答案。