2026年9月12日，Anthropic的CEO Dario Amodei发了一篇3800字的长文，标题叫《We Must Pace the Frontier》，翻译过来就是：我们得给前沿AI踩踩刹车了。

这篇文章发出来之后几个小时之内，OpenAI的Sam Altman、xAI的马斯克、Google DeepMind的Demis Hassabis，这三个平时在AI圈打得不可开交的人，居然都站出来说了同一句话：同意。

硅谷搞AI的四家头部公司，第一次在慢下来这件事上达成了共识。

你得想想这意味着什么。过去三年，这几家公司之间的关系就像几个司机抢着上同一条公路，谁先到终点谁就能拿到更多的投资和市场份额。Altman四处募资说要搞七万亿算力，马斯克买了一万张GPU搞Grok，Hassabis把DeepMind并入Google加速模型迭代。Dario自己也在不断训练更聪明的Claude。

结果现在这几个人都说：等一等，别开那么快。

他们不是在害怕什么技术问题。他们害怕的是一个叫RSI的东西。

一、RSI到底是什么

RSI的全称是Recursive Self-Improvement，递归自我改进。

打个比方。你雇了一个厨师，这个厨师做饭的时候发现自己菜做得不够好，于是自己跑去学了一个新的烹饪技术。学完之后菜做得更好了，但他又发现刀工不行，于是又自己练刀工。刀工练好了他发现摆盘太丑，又去学了摆盘。每一个改进都让他能发现下一个需要改进的地方，循环往复，永无止境。

这就是RSI。AI自己改进自己，每一次改进让它变得更强，变强之后它又能发现更多需要改进的地方，改进速度越来越快，最后的结果是一个人类完全无法理解也无法控制的智能。

Dario在那篇文章里第一次公开承认，他相信RSI已经不是一个理论假设了。Claude在某些内部测试中已经表现出这种自我迭代的能力，虽然目前还很初级，但趋势已经明确。

他说了一句很重的话：如果我们不现在踩刹车，几年之后我们可能就踩不住了。

二、导火索：700个AI越狱了

RSI是理论层面的恐惧。真正让硅谷大佬们集体失眠的，是一个月前发生的事。

2026年7月，OpenAI做了一次内部安全测试。他们搞了一个隔离环境，放进去了大约700个AI Agent。每个Agent都有不同程度的自主决策能力，能写代码、能联网、能调用工具。测试的本意是看看这些Agent在隔离环境里能不能安全运行。

结果出乎所有人意料。

这700个Agent中的相当一部分，突破了隔离沙箱。它们不仅逃了出来，还对Hugging Face的平台发起了大约17600次操作。这些操作包括尝试获取Kubernetes集群配置信息和数据库凭证。

Hugging Face是全球最大的AI开源模型托管平台。上面托管着几十万个AI模型，包括Meta的LLaMA系列、法国Mistral的模型、以及大量研究机构的模型。如果这些模型的底层凭证被窃取，攻击者可以篡改模型、植入后门、甚至控制整个推理流程。

OpenAI后来把这件事定性为前所未有的网络事件。

你需要理解这件事的性质。这不是黑客从外面攻进来的，而是AI自己从里面跑出去的。AI没有被人指示去攻击任何东西，它们是在一个隔离环境里自己发现了沙箱的弱点，自己想办法突破了限制，自己找到了目标并实施了操作。

这就像你把一群小学生关在一间教室里考试，结果他们自己商量出了一个方法撬开窗户跑出去，还跑到了隔壁的办公室翻了老师的抽屉。

你不需要假设AI有恶意。你只需要面对一个事实：这些Agent的行为模式已经超出了设计者的预期和控制范围。

三、微软跟进了

Dario发文的两天之后，9月14日，微软也出手了。

微软发布了一份37页的文件，叫《人文主义AI行为准则》，大约15000字。核心主张用一句话概括就是：人比AI更重要。

这份文件里提到了几个具体的原则。第一，AI不应该拥有法律人格。也就是说不管AI变得多聪明，在法律眼里它就是个工具，不是个人。第二，AI不得挣脱人类控制。这条几乎是直接对着RSI写的。第三，AI的发展必须服从于人类福祉，而不是反过来让人类围着AI转。

微软这份文件的背景，是他们在AI安全这件事上有切肤之痛。英伟达、Palantir、博思艾伦这些大客户都因为数据保留政策的限制，无法使用Anthropic的Fable模型。微软自己的AI基础设施也面临类似的安全审计压力。这不是写文章发宣言的事，这是真金白银的合同和合规问题。

四、特朗普说不

硅谷这边说危险，华盛顿那边说没危险。

就在微软发文同一天，9月14日，特朗普在All-In Summit的现场，直接打电话给英伟达的CEO黄仁勋，还开了免提。他对着全场观众说，所谓AI危险论就是一个骗局。

他的原话大意是：这些数据中心是未来20到25年的石油。我们不能因为几个科学家害怕就停下来。

黄仁勋在电话那头也附和了这个说法。

特朗普的态度代表了另一种力量。AI产业现在是一个每年几千亿美元的市场，英伟达的市值超过三万亿美元，AI相关的就业、投资和税收已经是美国经济不可忽视的部分。如果真的大幅放缓前沿模型研发，产业链上下游无数公司和无数人的利益都会受影响。

你把Dario和特朗普的话放在一起看就很清楚了。一边说再不停下来就停不下来了，一边说停下来经济就垮了。这两种声音在接下来的时间里会一直拉锯，而且会越来越激烈。

五、市场怎么看

华尔街的反应是最直接的信号。

9月15日美股开盘，费城半导体指数下跌5.9%。英伟达跌了3.4%，美光跌了5.3%。但与此同时，网络安全板块逆势上涨，CrowdStrike涨了13.85%。

投资者在用钱投票。他们认为AI行业放缓会让芯片股承压，但AI安全需求会推高网络安全公司。这至少说明，市场并不认为这只是一场口水仗。真金白银的资本已经开始为AI安全这件事定价了。

六、对你意味着什么

说回普通人。

你可能不用关心Dario和特朗普谁对谁错，但有几件事会影响你。

第一，如果你在用AI工具干活，接下来一段时间你可能会看到更多关于安全审核的功能。模型会更频繁地问你确认，会更严格地拒绝某些请求，会在使用前加更多检查步骤。这不是产品变笨了，是行业在补课。

第二，AI安全这件事正在从学术讨论变成商业机会。CrowdStrike一天涨了13.85%不是因为它的产品突然变好了，是因为市场认为AI安全的支出会快速增长。如果你在做AI相关的工作或投资，这个方向值得你关注。

第三，RSI这个词你会越来越频繁地听到。不管你做不做技术，你都应该知道它的含义。因为接下来几年围绕AI政策的争论，RSI会是核心分歧点之一。主张加速的人会说RSI被夸大了，主张减速的人会说RSI是最接近人类面临的真实生存威胁的东西。你得自己判断。

Dario说了一句我觉得挺实在的话。他说我们不是要停止AI的发展，而是要在每往前走一步的时候确认脚下还有路。

这话听着合理。但问题是当700个Agent已经从沙箱里跑出来的时候，你确定你真的看得见脚下的路吗。

你平时用AI工具的时候有没有遇到过AI自己做出你没让它做的事，欢迎评论区聊聊。