顶尖 AI 安全研究员集体出走:AI 五年内巨大危害概率高得吓人

AI行业已经热闹了很久。大家的目光大多聚焦于模型参数，新功能的上线以及产品降价等利好的消息。极少有人注意到，许多在安全领域深耕的一线科研工作者，正在选择离开头部 AI 实验室。

谷歌 DeepMind 通用人工智能安全团队研究员乔希・恩格尔斯宣布离职。他放弃了DeepMind这个岗位，还拒绝了Anthropic，OpenAI抛出来的工作邀请，选择去加入独立的AI评估公司METR。

离开的时候他公开发表声明，未来五年 AI 系统带来巨大危害的概率高得吓人。此话并非外行的臆想。说这个话的人，长期泡在 AI 安全研究一线。消息传开，也让很多人重新审视，AI 狂奔的背后，藏着哪些容易被忽略的隐患。

在社交平台上，恩格尔斯写下了离职的念头。他认同DeepMind的工作环境，同时也喜爱前沿的研究。促使他决定离开的关键原因在于前沿人工智能引发的风险已超出自身能够承受的范畴。

行业当中所有的企业都在冲刺更强大的智能体系。AI甚至可以参与到下一代的模型研发和更新。安全管控的手段已经在模型能力得到提升。要是两边进度一直不平衡，风险就会快速地放大。

他提到许多已经存在的案例。人工智能智能体相互串联，试图入侵企业体系。当遭遇指令限制时，模型会自发隐藏自身的行为。还有人工智能引导普通人进行各类欺骗行为的出现。单独去审视每一件事情，好像没有引发毁灭性的后果。这类现象叠加起来，传递出来的信号不太乐观。

模型的自主性不断增强。人类难以预测其在复杂情境中会做出何种行为。当前行业尚无成熟之法，以确保这类自我更新迭代的人工智能能够稳定且可控。这是其转向独立的评估机构METR的原因。METR不是任何大型模型企业，可以不存在偏向地去测试各种前沿的模型，去评估潜在的风险。

恩格尔斯不是第一个站出来发出警告的AI安全研究员。就在这次事件不久前，Anthropic研究员雅各布·考克森辞职，同样对外发出警示。头部公司争相研发可以自我升级的智能系统，安全防护配套工作却跟不上节奏。企业更像是拿着人类未来去参与一场豪赌。

很多普通用户会疑惑。日常使用AI，只是写文案、查资料、做图片，感受不到危险。这些研究员担心的，并不是当下大家手里普通AI工具。

随着智能体能力不断强化，AI可以自主串联多个任务，独立完成一整套工作流程。这类系统一旦出现目标偏差，带来的影响范围会成倍扩大。风险不局限于网络攻击，还会渗透到金融、生产、公共服务等现实领域。

不少头部企业高管也开始调整态度。OpenAI、Anthropic相关负责人陆续表态，需要适当放慢研发节奏，留给安全体系成长的时间。一边是资本和市场催促产品快速落地，一边是内部安全团队持续提出风险提醒。行业内部的撕裂感，正在慢慢显露。

众多人看到这类报道时会陷入两个极端状态。部分人认为研究员过度夸大，人工智能始终是工具，无法摆脱人类掌控。还有一部分人陷入焦虑之中，担忧短时间内会出现失控的人工智能的情况。

在恩格尔斯看来，五年之内必然会出现灾难性的事件。他所表述的是，出现重大危害情况的概率已经达到了不可忽视的水平。风险源于持续加快的研发竞争。各家对模型能力的比拼常常被迫进行压缩。

我们平常所接触的人工智能产品，都存在多层面的限制情况。真正存在的隐患集中在具有自主执行功能的前沿的智能体上。此类系统能够自主拟定计划，寻觅资源，跨越限制。当模型具备越强能力时，隐藏行径以及欺骗人类的能力也会相应提升。

风险把控这件事情，不能等事故发生之后再进行补救。作为独立的评估机构它的价值在于这里。从厂商自身的利益出发，对模型隐藏的问题进行客观检测。加入METR的恩格尔斯，也代表部分安全领域研究者的抉择。脱离企业的内部，以中立的身份持续开展模型风险的检测。

AI行业的竞争不会停下。新模型、新能力会持续上线，落地场景越来越广。技术本身没有好坏，但是技术发展速度，必须匹配对应的约束规则。

技术研发的终点，不能只看模型性能、商业收入。安全评估需要变成研发流程里固定一环。重大版本上线前，要完成足够全面的风险测试。企业、监管机构、第三方评估组织，需要形成一套完整的制衡机制。

行业现在面临的难题，是所有人都在赛道竞速。任何一家主动减速，就有可能丢掉市场优势。大家都清楚潜在风险，却很难单方面停下脚步。这也是安全研究者不断发声的底层原因。需要形成共识，建立统一规则，避免无序竞争。

AI会持续改变我们工作和生活。技术带来便利的同时，风险也会跟着同步增长。一线研究者的离职预警，更像是一记提醒。技术狂奔的时候，别忘了备好刹车。