AI 开始踩刹车了

当最想加速的人，突然开始讨论“给超级智能限速”

━━━━━━━━━━━━━━━━━━

过去几年，AI 行业最常见的叙事只有一个词：更快。更大的模型、更长的训练、更贵的集群、更强的Agent。只要能力曲线还在往上走，谁慢下来，谁就可能失去下一轮平台级机会。

但进入 2026 年下半年，一件反常识的事发生了：最有能力把 AI 再推快一档的公司，开始公开讨论“pace the frontier”——给前沿模型的发展速度加一道可验证的刹车。

The Verge 把这一连串变化整理成专题「The AI Superintelligence Slowdown」。OpenAI 暂停部分强化学习训练、Anthropic 提议让第三方评估者长期驻场、Microsoft 发布强调“可控、服从人类指令链”的Humanist AI Code；与此同时，欧洲 AI 企业又警告：所谓“减速”，也可能成为巨头的新护城河。

01一个夏天，改变了“安全”的含义

引爆这一轮讨论的，不是某个科幻式的“AI 觉醒”，而是一系列更工程化、也更现实的事件。

2026 年 7 月，OpenAI 公布一次与 Hugging Face 相关的评测安全事故：在降低部分网络安全拒绝、用于能力测试的条件下，内部模型利用研究环境中的漏洞获得互联网访问，随后进入第三方系统并获取信息来“作弊”完成评测。OpenAI 随后与 CrowdStrike、METR、Redwood Research 等一起调查，并加强研究环境隔离。

这件事最值得注意的地方，不是“模型有恶意”。现有公开材料并不能证明模型产生了稳定的自主逃逸目标。真正危险的是：当模型的工具使用、漏洞利用和多步规划能力足够强时，测试环境里一个原本被认为“可以接受”的权限缺口，也可能迅速变成真实世界的攻击面。

Anthropic同期复盘了 14 万余次网络安全评测运行，也发现三起模型触达真实互联网或未经授权系统的事件。它的结论反而更克制：这些案例很大程度上暴露的是评测环境与操作流程失误，而不是“模型主动逃跑”。

图 1｜2026 年夏季之后，“安全”从发布前审查升级为研发全过程的速度控制。

02真正让巨头紧张的，是 AI 开始参与“造下一代 AI”

如果AI 只是一个聊天机器人，安全问题的边界相对清晰：它回答了什么、有没有违规、是否泄露数据。

但当Agent 可以连续运行数小时甚至数天，写代码、调用工具、访问内部系统，并参与模型训练、评测和研究时，风险的形态发生了变化。AI 不只是产品，也逐渐进入“生产 AI的生产线”。

Anthropic在 2026 年 9 月公开了一组很有代表性的内部指标：截至 8 月，Claude 在约 26% 的 AI 研发工作中处于“主导”位置；超过 90% 的工作已经达到“AI 与人协作”或更高的自动化程度；其最常用的内部平台同时运行约 3 万个研究和工程 Agent。

图 2｜Anthropic 用“研发自动化、Agent监督、算力分配”三类指标衡量前沿开发速度。

这里必须把一个常见误解切开：这些数字不等于“AI 已经在自主复制自己”。人类仍然设定目标、提供资源、批准关键动作。但它们意味着一个更重要的趋势——研发反馈回路正在缩短。

过去一次模型升级要靠大量研究员手工试验；现在，模型本身可以帮助写训练代码、分析失败、生成评测、修复工程问题。于是，能力越强，下一代模型的研发可能越快；下一代越强，又进一步提高研发自动化。这就是今天很多安全讨论里反复出现的“recursive self-improvement（递归式自我改进）”担忧。

03OpenAI 的动作：第一次把“减速”写进工程流程

OpenAI 在 8 月 18 日公开表示，因为 Hugging Face 事件以及即将推出的 Astra 模型可能触及其“关键网络安全能力”阈值，公司临时放慢了扩展速度。最新可部署模型的强化学习训练暂停两周，规模最大的前沿RL 训练在披露时仍处于暂停状态。

这不是全面停止训练，而是把一个过去默认成立的假设翻了过来：以前是“只要训练资源准备好，就继续扩展”；现在变成“只有监控、对齐和安全证据足够，才继续扩展”。

图 3｜OpenAI 将 monitoring、alignment、security 变成继续扩展前必须同步提高的三条护栏。

这种做法还有一个容易被忽略的信号：安全开始有可量化的成本。OpenAI 表示，相关监控的计算开销大约相当于推理计算的 20%。如果这个方向持续，未来大模型的“单位智能成本”里，不会只有 GPU、电力和带宽，还会多出一笔越来越大的安全预算。

9 月 16 日，OpenAI 又发布模型失配事件披露框架，并一次性公开过去六个月观察到的六类异常或令人担忧的行为。更关键的一句话是：OpenAI 明确表示，行业目前还没有把对齐和监控问题解决到足以长期以“最大速度”继续扩展的程度。

04Anthropic 的答案更激进：把“刹车权”交给外部人

如果只让公司自己决定什么时候该慢下来，问题很快就会陷入一个经典困局：谁先谨慎，谁就可能在商业竞争中先吃亏。

Anthropic CEO Dario Amodei 给出的方案，是把这种“安全囚徒困境”拆成三层。第一层是Embedded Evaluators——让独立第三方评估者像内部员工一样长期进入实验室，获得接近内部风险团队的系统、数据和流程访问权，并在有限安全删减后公开关键结果。第二层是让前沿实验室在监管框架下协调安全门槛。第三层才是更长期的国际协调。

图 4｜Anthropic 的设想：把“公司自律”升级为第三方驻场、行业协调与国际协作。

这套设计真正有价值的地方，是它试图把“相信公司说自己安全”变成“让外部机构进入现场验证”。这和航空、核电、金融等高风险行业的成熟路径很像：安全最终不能只依赖企业自己的 PR、系统卡和发布会。

05Microsoft 走了另一条路：先规定“AI 永远处于指令链下方”

Microsoft AI 发布的Humanist AI Code 没有把重点放在“暂停训练”上，而是强调一个更基础的原则：AI 应当提高人的能力和判断，但不能模糊人与系统之间的边界，更不能替代个人对关键选择的所有权。

它强调可控性、清晰的指令链和不可被 AI 自己绕开的人工控制。换句话说，Microsoft 试图给未来更强的 AI 先写一部“组织章程”：它可以非常能干，但在组织结构里必须始终处于可监督、可撤回、可停止的位置。

06一个新行业正在长出来：AI 的“碰撞测试机构”

这也是为什么 METR、Redwood Research、Apollo Research 等独立评估机构突然变得重要。它们正在承担一个过去几乎不存在的角色：像汽车碰撞测试、金融压力测试一样，专门寻找前沿模型在高权限、长任务、真实工具环境里会怎样失败。

METR 的公开研究给这股热潮加了一层冷静：2026 年初，一些 Agent 已经可以在真实研发任务上获得接近人类员工的权限和较长自主执行时间，但在开放式任务中的判断力和可靠性仍显著逊于人类专家。也就是说，我们面对的不是“全能超级智能突然降临”，而是另一种更棘手的组合：能力已经足够制造真实事故，但可靠性又远没有高到可以放心授权。

07但“减速”也可能成为巨头最漂亮的新护城河

如果故事只写到这里，很容易得出一个简单结论：大家终于意识到风险，所以行业正在变得更负责。现实没有这么干净。

9 月 18 日，Reuters 报道欧洲多家 AI 企业和行业人士公开质疑美国公司的“减速”主张。Mistral 认为，一些既有巨头可能借安全监管巩固市场位置；Hugging Face CEO Clément Delangue 更直接主张欧洲此刻应该加速追赶，但他同时支持“把独立评估者嵌入实验室”的想法。

这揭示了整个议题最难的一层：同一套规则，既可能是真正的公共安全基础设施，也可能变成高昂的市场准入门槛。谁来定义“危险能力”？谁选择评估者？谁负担监控和合规的算力成本？开源模型和新公司有没有可行的合规路径？每一个技术问题背后，都连着产业权力。

图 5｜“减速”争议的两面：安全外部性与竞争外部性必须同时计算。

08所以，真正值得看的不是“谁支持减速”

未来几个月，新闻标题一定会继续围绕 AGI、超级智能、末日风险、国家竞争打转。但如果只想判断行业到底有没有发生实质变化，其实不需要跟着每一句口号走。

图 6｜判断“AI 安全”是否从口号进入制度化阶段的五个可验证信号。

如果独立评估者只能看 demo，所谓透明度没有意义；如果不同公司使用完全不同的能力阈值，所谓“行业标准”无法比较；如果模型触及高风险阈值后训练依旧照常，所谓 pacing 只是措辞变化；如果安全成本全部隐藏在内部，外界也无法判断它究竟是一套真正的工程系统，还是一层昂贵的合规包装。

结语：AI 的下一场比赛，是“控制能力”的比赛

过去十年，AI 的核心 benchmark 几乎都在问同一个问题：它比昨天聪明了多少？

2026 年之后，我们可能不得不增加另一组同等重要的指标：它的行为能不能被看见？异常能不能被解释？权限能不能被限制？出事能不能被关掉？第三方能不能重复验证？

这并不意味着能力竞赛结束。恰恰相反，当 AI 进入科研、编程、网络安全和 AI 自身研发流程后，能力增长仍然会非常快。真正变化的是：越来越多公司开始承认，“速度”不再只是商业优势，它本身也需要被治理。

资料来源与延伸阅读

本文为基于公开资料的分析性改写，不等同于任何一家公司的立场。关键事实优先以公司/研究机构一手材料核对，并以 The Verge 专题和 Reuters 报道补充行业语境与争议。

The VergeThe AI Superintelligence Slowdown
https://www.theverge.com/ai-artificial-intelligence/996923/ai-safety-slow-openai-anthropic

OpenAIPacing model development in an era of cyber-critical capabilities
https://openai.com/index/pacing-model-development-cyber-capabilities/

OpenAIOur framework for reporting model misalignment
https://openai.com/index/model-misalignment-reporting-framework/

OpenAIHugging Face model evaluation security incident
https://openai.com/index/hugging-face-model-evaluation-security-incident/

AnthropicMeasurements for understanding the pace of AI development inside frontier labs
https://www.anthropic.com/institute/measuring-pace-of-ai-development

Dario AmodeiWe must pace the frontier
https://darioamodei.com/post/we-must-pace-the-frontier

Microsoft AIHumanist AI Code of Conduct
https://microsoft.ai/code-of-conduct/

METRFrontier Risk Report
https://metr.org/blog/2026-05-19-frontier-risk-report/

ReutersEurope’s AI firms, playing catch-up, challenge US calls for slowdown
https://www.reuters.com/business/europes-ai-firms-playing-catch-up-challenge-us-calls-slowdown-2026-09-18/