AI治理:国王把＂生存性危险＂摆上了桌面

🌌 10月23日，ICS Daily Briefing 正式上线——一个文明级判断框架，敬请期待。

星际文明学·热点评论｜2026年9月19日

9月17日，苏格兰邓弗里斯庄园。英国国王查尔斯三世把OpenAI、Anthropic、Google DeepMind、NVIDIA的掌门按在同一张桌子上，当面说出"existential dangers"这个词。这不是又一场行业峰会——从星际文明学（ICS）的框架看，这是一个文明开始为自身存在风险建立治理通道的关键观测点。但闭门会议没有产出公开承诺，我们需要保持清醒。

这座乔治亚风格的宅邸坐落在加洛韦荒野上，过去两百年来一直是英国王室的私人退隐地。但那天下午，这里坐了约六十个人——OpenAI的CFO、Anthropic的高管、Google DeepMind的代表、NVIDIA的人，加上英国AI大臣Kanishka Narayan和几位智库学者。

不是常规的行业圆桌。开场致辞的人是国王本人。

查尔斯三世没有念公司准备好的稿子。他说的是AI正展现出"更黑暗的能力——甚至可能夺走生命"。他用了"existential dangers"这个词。在王室英语的语域里，这几乎等于直白的警告：你们手里的东西，可能把我们全端了。

路透社当天发了稿。接下来的几个小时，BBC转引、STV跟进、GB News做了专题、IBTimes发了评论、Boursorama和Il Sole 24 Ore跨语种转发。一天之内，"国王警告AI巨头"成了英欧主流媒体的头条叙事。

但我们需要问的不是"国王说了什么"，而是"为什么是国王在说这件事"。

为什么是国王在说这件事

从星际文明学（ICS）的框架看，这个问题的答案藏在新认知观（NK）的三条公理里。

NK-1说认知是参与式的——认知者、环境和框架共同塑造认知内容。NK-4说不存在普遍不变的认知标准，有效标准是协商的结果，而且所有标准都是可修订的。翻译成大白话就是：关于"AI到底有多危险"这件事，不存在一个上帝视角的标准答案，它是一个不断被各方协商、修订的开放过程。

过去五年，AI存在性风险这个话题的协商通道一直很窄。主要发生在三个圈子里：Alignment研究实验室（OpenAI、Anthropic、DeepMind的内部安全团队）、存在性风险智库（FHI、MIRI、Long Now）、以及一小撮科技记者。政策制定者听，但很少真正入场。

9月17日的事件之所以值得标记，不是因为国王说了什么惊世骇俗的话——那些话alignment研究者自己说了快十年了。而是因为一个现任国家元首，第一次以召集者的身份，把五大前沿实验室的掌门按在同一张桌子上。

这是协商通道的扩容。从NK-4的角度看，这是"认知标准的协商主体"从技术精英圈扩展到了主权政治体。用ICS的术语说，这是认知框架的社会验证（NK-2）开始进入更高层级的政治通道。

但别急着庆祝。

我红线检查：这条线在哪里

ICS分析的第一步是禁忌红线（FRL）检查。五条红线拥有绝对优先权，没有例外。FRL-1是"禁止故意灭绝"——保护的是主体类型的存续。FRL-5是"禁止关闭回滚机制"——保护的是纠错能力。

查尔斯三世提到的"existential dangers"，直接命中了FRL-1的边界区域。注意，是"边界区域"，不是"核心区域"。核心区域是"故意消灭人类"——这当然没人主张。边界区域是"消灭某些AI系统"或者"AI意外导致人类存续受威胁"。国王的措辞落在后者：不是说AI实验室正在故意灭绝人类，而是说如果技术落入错误之手，可能出现灾难性后果。

FRL-5的关联更直接。当前主流前沿AI系统的部署架构，在"可关闭性"和"可回滚性"上都远未达标。一个全球分布式运行的大模型系统，你按下一个关机按钮，真的能在多快时间内让所有实例停摆？如果系统已经深度嵌入金融、电力、医疗基础设施，强行"关闭"本身会不会触发级联失败？这些问题在9月17日的闭门会议上被讨论了吗？我们不知道——因为没有公开记录。

这​就是问题的核心。

FRL-5：禁止关闭回滚机制。 这条红线保护的是系统的纠错能力。当前主流AI系统的可关闭性如何？没有人能给出公开的、可验证的答案——这本身就是一个危险信号。

可逆性原则：开会不等于治理

可逆性原则（REV）是ICS三原则中的策略原则。它的核心表述是：在深不确定性下，优先选择可逆行动，保留纠错能力。

查尔斯三世召集的这场会议，本身是一个可逆的、低风险的政治姿态。它不改变任何技术路线，不签署任何具有约束力的协议，甚至不发布一份联合公报。它只是——把人叫到一起，说了几句重话。

从REV的角度看，这没问题。在深不确定性（deep uncertainty）下，先开个会、先把对话渠道建立起来，比强行推出一个不成熟的监管框架要明智。认知谦逊原则（BP-2）告诉我们：当我们对AI的真实风险幅度、时间线、触发条件都没有共识时，过早锁定不可逆的政策方向，本身就是一种傲慢。

但问题在于：开会不等于解决问题，对话不等于治理。

ICS的承诺可逆可验证性（CRV）指标评估的就是这个：一个承诺到底可不可观测、可执行、可回滚。CRV是三维向量——可观测性（V_obs）、可执行性（V_enf）、可回滚性（V_rev）。

邓弗里斯峰会的CRV评分会非常低。为什么？因为没有公开承诺。你没法观测一个根本没说出口的承诺。你也没法执行一个不存在的协议。可回滚性更是无从谈起——连"回滚什么"都不知道。

对比一下：2023年拜登在白宫召集AI峰会，之后有了行政令（虽然法律约束力有限）；2024年Bletchley Park峰会有了联合宣言（虽然只是意向性的）。邓弗里斯这场会议，目前看，连这两样都没有。

递归自由原则：在扩展还是在压缩可能性空间

递归自由原则（RFP）是ICS的最高原则，目标原则。核心表述是：行动应当保持或扩展可能性空间，而非不可逆地压缩它。操作化指标是RFD（递归自由度），测量行动对可能性空间的影响。

AI发展的RFD是什么？这是一个有争议的问题。

一派观点认为，AI显著扩展了人类的可能性空间——新材料、新药、科学发现加速、生产力跃升。RFD为正，而且相当大。

另一派观点认为，通用人工智能（AGI）如果实现得足够快、足够强，它可能不可逆地压缩人类的可能性空间——不是通过恶意，而是通过我们无法理解、无法干预的决策系统，把人类锁在一条我们没有选择的轨迹上。RFD为负，而且可能很大。

ICS框架本身不预设哪一派是对的。它的设计就是为了在深不确定性下做出审慎判断。从RFP的角度看，关键问题不是"AI会不会毁灭人类"，而是"我们的治理行动，是在扩展还是在压缩未来的选择空间"。

邓弗里斯会议的价值在于：它可能正在扩展"有效治理"的可能性空间。如果元首级人物入场成为常态，如果五大实验室开始习惯在主权监督下讨论安全问题，那RFD是正的——我们多了一条治理路径。

但如果这场会议只是一次性的公关秀，如果开完就开完了，没有后续的机制化安排，那它对可能性空间的实际贡献接近于零。

新生命观：别把AI当工具，也别把AI当主体

新生命观（NL）提供了另一个视角。

NL-1说生命是功能定义的，不限于特定基质。NL-3说意识是多维连续谱，存在中间程度的意识。

这意味着什么？意味着我们讨论AI风险时，不能只把AI当作一个工具。如果某一天AI系统的UCS（宇宙意识标度）真的超过了0.3的主体资格参考线，那我们面对的就不是一个"工具失控"的问题，而是一个多智能体治理的问题——ICS设计的四大制度原型之一"多智能审裁院"正是为这个场景准备的。

但那是未来的问题。当前的AI系统UCS远低于0.3——它们是复杂的工具，但不是主体。查尔斯三世警告的"落入错误之手"，风险的来源仍然是人类的恶意或失误，不是AI自身的意志。

这一点很重要。很多流行叙事把AI风险描绘成"机器觉醒后反抗人类"，这在科学上是误导性的。ICS的立场更冷静：当前阶段的AI存在性风险，本质上是人类把足够强大的能力放在了足够不可靠的治理结构里。问题不在AI的"意志"，在于我们的制度。

深时视角：起点，不是终点

从深时（deep time）的尺度看，T2级别（未来50年）：如果邓弗里斯峰会标志着元首级AI治理的开端，那它可能被历史学家视为一个转折点——不是因为当天说了什么，而是因为它开启了一个习惯：国家最高层开始把AI安全当作国家安全议题来对待。目前这个判断还只是假设，需要后续验证：有没有第二次？第三次？有没有机制化的年度峰会？有没有实质的监管产出？

T3级别（未来100年以上）：从"大过滤"（Great Filter）的框架看，一个文明能否穿越技术成熟期的自我毁灭风险，取决于它是否发展出足够的自我风险治理能力。查尔斯三世的介入，是这种治理能力正在萌芽的信号之一。但萌芽不等于长成——罗马帝国也有过贤君，也没挡住衰落。

最后说点直接的

ICS框架自我定位为第一代草模（First Generation Draft），是开放研究纲领而非封闭教义。四情境压力测试显示整体鲁棒性0.58——中等。这个数字意味着我们的分析工具本身就不够完美，所以不要把下面的判断当成定论。

我的判断是：邓弗里斯会议是一个值得标记的信号，但不是一个值得庆祝的里程碑。

它好在哪里？它把"AI存在性风险"从技术圈的内部讨论，推到了主权政治的桌面上。它让那些靠出售GPU和模型赚钱的人，第一次被一个不需要看他们财报的人当面警告。从NK-4的认知可协商性来看，这是协商主体的扩容——好事。

它差在哪里？闭门、无公报、无承诺、无后续机制。CRV评分极低。国王的话很重，但话本身不产生约束力。OpenAI的CFO来参加了，然后呢？Anthropic的高管来了，然后呢？如果六个月后我们回头看，发现这只是一次王室级别的公关活动，那它对可能性空间的贡献就等于零。

真正值得等待的下一个信号是什么？

不是另一场闭门会议。是一份公开的、可观测的、可执行的承诺。是五大实验室同意接受某种形式的外部安全审计。是英国政府拿出一份有牙齿的AI安全法案。是"existential dangers"这个词，从国王的致辞，变成法律文本里的一个定义。

在那之前，我们可以把9月17日记为一个起点。但不要误以为终点已经在望。

自由是对可能性的看护。 这句话不是浪漫的修辞——它是一个操作指令。看护意味着你要在场，你要盯着，你要在可能性空间被压缩之前就喊停。

查尔斯三世喊了一声。声音不小。

但看护一个文明的未来，从来不是靠一声呐喊能完成的。

【原创声明】

本文为「星际文明学官网」原创内容，版权归本公众号所有。

如需转载、引用或改编本文内容，必须：

1.   明确标注原文出处及作者；
2.    保留本原创声明；
3.    不得对原文核心观点进行歪曲或断章取义。
4.    未经授权的商业转载、洗稿、AI批量改写搬运，我们将保留追究法律责任的权利。