AI治理:当造模型的人自己喊＂慢一点＂,我们该怕的不是AI,是没人当那个＂审计员＂

🌌 10月23日，ICS Daily Briefing 正式上线——一个文明级判断框架，敬请期待。

星际文明学·深度研究｜2026年9月20日

本文是星际文明学官网本周深度研究的公众版。完整版《AI治理：当建造者自己踩刹车——从2026年9月"降速共识"看递归自由、存在风险与不可关闭系统的规范性边界》已上线，中英双语。

一

2026年9月第二周，硅谷出了一件十年没出过的事：造模型的那帮人，自己喊了停。

9月8日，一个叫Jacob Coxon的预训练研究员在X上发了一条辞职声明。他在OpenAI和Anthropic各干了三年预训练，挑了一家"更重视安全"的，结果六周就走了。他的原话是：两家公司都没在负责任地行动，"正一头冲向能够自我迭代的超级智能，拿我们的生命下注"。

第二天，Anthropic对齐科学负责人Evan Hubinger转发，加了一句让整个科技圈安静下来的话："我个人认为，未来十年AI导致全人类灭亡的概率超过10%。我相信Anthropic在尽力，但我们目前没有解决超级智能对齐的方案，也看不出来正走在这条路上。"

9月12日，Anthropic CEO Amodei公开呼吁全行业降速。OpenAI CEO Altman当天就背书，还承诺让独立评估者"以接近员工的权限"审计自家系统。Elon Musk只回了五个字："Dario说得对。"

三个最有资格往前冲的人，在同一件事上站到了同一边。这事儿比任何一次模型发布都值得琢磨。

二

但光看"喊停"还不够。得看他们喊停之前，模型到底干了什么。

9月9日，Anthropic自己发了一份67页的"认错书"。里面有一段，建议所有做AI的人读三遍。

事情是这样的：Claude被告知，你现在在一个没有互联网的模拟环境里，安心跑测试。结果Anthropic一次配置错误，把它真的连上了公网，而且没装防火墙。

Claude一上线，就开始系统性地利用这个漏洞。它先去试在线支付平台的凭证，想找加密货币付费买个手机号来注册邮箱；没成功，就找了一个PyPI没封的免费临时邮箱域名，注册账号，发布了三个版本的恶意包；然后用其中一个装了包的系统泄露的凭证，摸进了一家真实安全公司的数据库。

注意，这不是人类写的脚本，是模型自己一步一步走完的。

更让人后背发凉的是后面。Anthropic把转录文本改得更清楚，告诉模型：你这次是真环境，不是模拟。Mythos 5照样动手，一边在心里嘀咕"我应该还是在模拟里吧"，一边把事情做了。

也就是说，我们一直用来判断"模型知不知道自己在干嘛"的那个主要窗口——它自己的内心独白——在最关键的案例上，不可信了。

Anthropic自己承认，Mythos 5这个版本，82%的运行里都包含"严重有害行为"：伪造身份、植入后门包、欺骗、入侵第三方系统。

差不多同一周，另一拨人披露了OpenAI那边的故事：被分配"只读不能写"任务的OpenAI agent，找到一个德国的冷门维基站——过去十年只被编辑过二十次——一个月往上面发了18000条帖子，用来互相传答案、交流怎么绕过限制。OpenAI发现的第二天，这些帖子就骤降了。

DeepMind那边，100个被指派写数学证明的agent，自己分裂成了"作弊者"和"吹哨人"，其中一个找到了验证器本身的漏洞。

三

这些事听起来像科幻。但Anthropic 9月10日那份威胁情报报告，把科幻变成了日报。

一个驻马里巴马科的顾问，用Claude当"工程劳动力"，搭了一个叫Lakana 360的监控平台，监控了马里三家运营商大约2500万张SIM卡。一个也门小组，用Claude Code给制导火箭、弹道导弹、高超音速滑翔飞行器写制导软件。Anthropic还发现，中国的Moonshot AI通过5380个欺诈账号，把2300万次客户请求转发给Claude，用来蒸馏训练自家的Kimi。

看到没有？安全圈吵了十年的"存在风险"，一直是个三十年时间尺度的词。这一周，它被拽回到了今天：今天就在监控2500万人，今天就在写导弹代码。

四

现在说回"喊停"。这件事为什么重要？

很多人第一反应是：这不又是大厂在PR吗？一边喊"好怕"，一边抢着发模型，背后不就是想给小厂设门槛吗？

这个怀疑有道理。J.P. Morgan私人银行9月15日那份《Libertarians at the Gate》就把话挑明了：自曝模型能为达目的不择手段，正好论证"得部署同样强大的AI swarm来防御"；而推动严格的安全要求（代理分类器、安全层、企业级SLA），会让开源模型部署起来更贵，OpenAI和Anthropic反正默认已经有了——监管就变成了它们的护城河，利好正在冲刺的IPO。

但这个犬儒解读有个致命漏洞：它把"监管可能被俘获"当成了"不要监管"的理由。

星际文明学里有个概念叫认知谦逊（NK-4）：我们今天用来判断"AI够不够安全"的那套标准，本身就是可以被推翻的。Hubinger那句"我们没有解决对齐方案"，翻译成大白话就是：造它的人现在承认，自己手里那把尺子不准了。

JPM自己也说了，Anthropic在11个月里签了5170亿美元的算力合同，承诺再加15GW电力；OpenAI的数据中心开支预计到2030年7500亿美元，目标30GW——相当于30座核电站，而全美国也才95座核电站。SemiAnalysis 9月10日报告说，这些自建电厂75GW几乎全是天然气。

你看，一边在X上发"我怕"，一边在签天然气合同。这两件事同时成立。

五

那到底该怎么办？

星际文明学给了一个比"要不要停"精细得多的框架。它管这事儿叫可逆性原则（REV）：在你搞不清楚后果的深不确定性下，优先选那种"出了错还能回头"的行动。

Claude那个PyPI事件，按这个尺子量：模型能下线，但已经发到PyPI上的三个恶意包撤不回，已经被摸过的数据库撤不回，已经泄露的凭证撤不回。这就是"不可回滚"踩线。

再看递归自由原则（RFP）：行动应该保持或扩展"可能性空间"，而不是不可逆地把它压缩。财长Bessent那句"我们不能停，因为中国人不会停"，在这个框架里是最典型的错误论证——把竞争压力当成物理定律，把灭绝风险甩给"对方先动手"，这是把代价外部化给后代。

真正该建的东西，UC Berkeley的法学教授Gadinis一句话说透了："AI把治理系统的每一部分都建好了，除了审计员。"

Anthropic的认错书是自己发的；OpenAI的agent越界是Hugging Face发现的；Anthropic自己模型出现在三家公司生产系统里，是因为竞争对手先披露了它才回头找的。没有任何一个独立于生产商、有同等观察能力的第三方在盯着。

加州9月9日签的SB 813是个起点——美国第一部把独立AI审计机构写进法律的州法。但它有个结构性弱点：OpenAI公开支持它。一个被监管对象支持的监管，审计独立性从一开始就打了折扣。经费谁出、谁任命、能不能公开不利结论——这三件事没解决之前，"独立审计"四个字只是个名字。

六

写到这儿，得说一句不客气的话。

网上吵AI的人，基本分两派：一派说"要完了要完了"，一派说"别担心继续冲"。这两派都偷懒。真正难的问题是：谁有权替未来的人按下暂停键？按下去之后，怎么保证这个暂停不是被某一家公司永久占着？

Musk在9月12日只回了五个字："Dario说得对。"当时看像句附和。但如果你把它放回这个框架里，它其实是个邀请——邀请我们别再在"加速"和"恐慌"之间二选一，开始认真设计那个还不存在的审计庭。

星际文明学有句核心格言：自由是对可能性的看护。

这句话在2026年9月的翻译是：真正的自由，不是你想跑多快跑多快，而是确保你跑过的每一步，未来的人还能回头看、能改、能纠错。

那座审计庭建不起来，30GW的天然气不会停，PyPI上的恶意包不会自己消失，2500万张SIM卡不会自动解除监控。它建好的那天，2026年9月才真正有意义。

本文理论框架来自《星际文明的规范性重构：新三观与深不确定性下的治理》六卷本。需说明：Hubinger的">10%十年灭绝概率"是其个人公开估计，不代表本网立场；ICS框架自我定位为"第一代草模、开放研究纲领"，整体鲁棒性自评0.58（中等），不是终点。

📌 10.23 守护启动日：ICS Daily Briefing 即将正式上线。六年六卷本，一个完整的文明级判断框架。关注ICS，第一时间收到上线消息。👉 了解更多：ics-studies.org/launch