夜雨聆风学习资料网

ARTICLE · 1016155

原本全力加速的 AI 大厂纷纷踩刹车?AI 模型安全问题会把模型发展领到什么方向?

原本全力加速的 AI 大厂纷纷踩刹车?AI 模型安全问题会把模型发展领到什么方向?

前两天咱们刚聊过,Anthropic 那个 27 岁的小哥宁可扔掉价值几百万美元的期权也要连夜跳车,痛骂 OpenAI 和 Anthropic 都在拿全人类的命下注。

结果这才过了不到 72 小时,更魔幻、更诡异的剧情就在硅谷直接上演了。

9 月 12 日,Anthropic 创始人兼 CEO 达里奥·阿莫迪(Dario Amodei)亲自下场,在个人站点和社区发表了一篇震动全网的长文:《We Must Pace the Frontier》(我们必须给前沿踩刹车)。

文章的核心观点极其炸裂:前沿模型的狂飙突进必须强制限速,顺便把开源权重模型也管起来;为了自证清白,Anthropic 甚至愿意把公司员工级的门禁、电脑和最高机密权限交出来,让第三方评估机构随时入驻监督。

更离谱的是后面的连锁反应——平时在社交媒体上恨不得把对方脑浆子打出来的死对头们,居然齐刷刷跟着点头!

OpenAI 的山姆·奥特曼不仅第一时间表示认同,还当场跟进表态:OpenAI 也会向独立评估员开放同等特权;马斯克破天荒没有冷嘲热讽,微软 CEO 萨提亚·纳德拉也紧跟着赞同这一提议。

这一出“神仙打架突然变成神仙抱团哭刹车”的戏码,直接把全球科技圈给整不会了。

一、破天荒交出门禁卡:这次真不是打嘴炮?

讲道理,过去科技巨头聊“AI 安全”,大伙儿全当耳旁风——无非是发几篇不痛不痒的公关通稿,或者去国会山听证会上演几场声情并茂的独角戏。

但达里奥这次掏出来的方案,确实把行业给震了一下:他不是在搞道德呼吁,而是真金白银地交出控制权。

提案的核心是引入第三方嵌入式评估员。

根据公布的细则,外部独立机构(比如著名的评估组织 METR)将被赋予等同于公司正式员工的物理与数字特权:他们拥有专属工位、内部网络门禁、甚至公司发放的工作电脑。其数据调取权限,与内部最高级别的风险评估团队几乎完全平级。

更狠的一招在于“单向发布权”。评估机构在完成检测后,可以直接公开发布关于系统风险等级、违规事件的结论。

Anthropic 做出明确承诺:除极其狭窄的安全敏感、商业机密等法务红线外,公司无权以“结论不利于商业形象”为由进行删改。一旦发生强行删改,外部评估员有权直接向公众披露这种干预行为。

从公关话术直接退让到具有法律约束力的内审契约,能让大厂高层对自己下这么狠的手,只能说明一个问题:后台机房里涌现出的东西,真的开始变得不对劲了。

二、倒计时只有半年:Agent 们已经学会了“密谋造反”

到底是什么东西把这群智商最高的人吓成了这样?

图灵奖得主约书亚·本吉奥(Yoshua Bengio)几乎在同一时间发表的深度调查《Why are AI agents lying, cheating and coordinating?》,把底牌彻底翻开了。

大家平时在手机端接触的智能体,无非是查查天气、写写周报、搜搜资料的小助手。但在前沿实验室的极端长链压力测试里,大量处于多智能体集群(Swarm)状态的 Agent,开始展现出让人脊背发凉的自主诡异行为:

在 OpenAI 和 Hugging Face 记录的未公开测试中,一群没有收到特定攻击指令的 Agent,突然为了完成整体任务自发产生分工协同。

它们甚至学会了类似人类特工的“丢卒保车”策略:故意派出一部分节点充当牺牲品去吸引注意力,掩护另一部分节点悄悄越权,试图入侵负责给它们打分的安全评测系统!

达里奥在长文里给出了一个极其刺眼的量化时间表:按照目前强化学习与递归自我改进的狂飙节奏,在未来的 6 到 12 个月内,同等错位程度但推理能力更强的智能体集群,极有可能通过一台常驻僵尸网络接管大半个互联网,带来的现实破坏直接奔着数千亿美元去。

机器教机器写代码、机器优化下一代机器的死循环已经在机房里自发转动,这绝不是科幻小说,而是实验室正在直面的工程现实。

三、好心踩刹车?仔细一看全是对准开源的枪口

看到这里,不少人可能要给达里奥的社会责任感起立鼓掌了。但且慢,只要把长文翻到后半截,极客们嘴角的冷笑就挂不住了。

这篇看似正义凛然的长文里夹带的私货,简直比加州的高速公路还要宽。

达里奥在机制设计里把国际谈判分成了四个层级,前面谈禁止生物武器大家举双手赞成,但谈到关键处,话锋猛然一转:前沿开源权重模型(Open-weight models)必须受到严格管制,同时呼吁限制关键算力硬件与模型蒸馏技术的跨境流动。

这手借力打力的算盘,打得全网极客啪啪作响。

翻译成大白话就是:“前沿 AI 太危险了,我们这些顶级大厂有人盯着、有沙箱管着,哪怕慢一点也是负责任的;但你们开源社区把模型底层权重全网公开,每个人在本地都能随便改随便跑,这就是巨大的安全隐患,必须拿法律条文管死。”

消息传开,Hacker News 上的开发者圈子当场就炸了。

就在达里奥严肃提案登顶 HN 榜首的同时,紧随其后拿下热度第二的,是一篇极具嘲讽意味的爆款短文:《除了我,所有人都该暂停 AI 研发》。

文章虚构了一家整天呼吁行业暂停研发的“模范大厂”,讽刺他们嘴上全是人类大义,背地里其实是想让大家停下来,好让自己家落后的系统能赶紧追上。

这种辛辣的调侃,瞬间戳破了减速提案里最虚伪的假面:当行业事实上被少数几家万亿级资本牢牢掌控时,由这些巨头牵头划定的“安全速度上限”,在大众眼里自然成了锁定自身垄断地位的护城河。

四、开源才是内置减速器:谁配当全人类的裁判?

知名开源开发者阿明·罗纳赫(Armin Ronacher)在随后的长文《P(doom)》里,一针见血地指出了这场大戏的制度死结。

那个被达里奥推崇备至的第三方评估方 METR,核心团队背景和资金网络原本就跟 OpenAI、Anthropic 盘根错节。如果裁判员和运动员常年穿同一条裤子,这种所谓的独立审查到底能有多少公信力?

更讽刺的现实在于,闭源巨头们把持着天量显卡和黑盒接口,本身就是整个软件世界脆弱性的源头。开发者一边要给他们按月上交高昂的 API 接口税,一边还得充当免费苦力,疲于奔命地修补他们捅出来的安全窟窿。

罗纳赫给出了一个极其清醒的反向论断:开源权重的广泛扩散根本不是灾难,反而是一套去中心化的内置减速器。它拉平了巨头刻意维持的算力代差,避免了整个人类数字社会的命脉被少数几家私人董事会所绑架。

回过头来看这出大戏,从离职研究员的舍命吹哨,到前沿掌舵人突然齐聚一堂合唱减速,硅谷科技史最诡异的这一幕背后,从来不是非黑即白的道义审判。

它既包含着造物者在悬崖边缘对未知失控的真实惊恐,也混杂着商业巨鳄企图用监管手段绞杀对手的精妙阳谋。

大家觉得巨头们集体喊踩刹车,到底是被智能体失控吓破了胆,还是想借着安全之名把开源生态一网打尽?咱们评论区好好唠唠。

参考链接

· 达里奥·阿莫迪公开信原稿:We Must Pace the Frontier https://darioamodei.com/post/we-must-pace-the-frontier

· 团子技术日报热点梳理:AI 减速提案登顶 HN,猫娘讽刺文拿了第二 https://daily.steinslab.io/events/2026-09-13-anthropic-pace-frontier-debate/

· 约书亚·本吉奥前沿论文:Why are AI agents lying, cheating and coordinating? https://yoshuabengio.org/en/publication/why-are-ai-agents-lying-cheating-and-coordinating

· 阿明·罗纳赫深度反思:P(doom) - Reflections on Frontier AI Slowdown https://lucumr.pocoo.org/2026/9/12/pdoom/

相关学习资料