当 AI 开始＂自己改自己＂,世界会发生什么?

编辑：申必同

1RSI 到底是什么？

RSI，全称 Recursive Self-Improvement（递归自我改进），指一个 AI 系统能够理解、评估并改进自身的设计与能力，改进后的系统又能继续改进自己，如此循环往复。它的思想源头可以追溯到 1965 年：数学家 I.J. 古德提出，如果出现一台比人类更擅长设计机器的"超智能机器"，它将不断设计出更好的后代，引发一场"智能爆炸"（Intelligence Explosion）。2014 年，哲学家尼克·博斯特罗姆在《超级智能》一书中将这一思想系统化，RSI 从此成为 AGI 与 AI 安全领域的核心概念。

与人类主导的普通研发不同，RSI 的关键在于：改进的主体和被改进的对象是同一个系统——AI 把"研发 AI"这件杠杆率最高的事，也交给了自己去做。

2自我迭代的闭环是怎么运转的？

一个典型的 RSI 循环可以拆成四步：诊断 → 方案 → 训练 → 部署。AI 先审视自身，找出推理、规划或编码上的短板；接着自动生成改进方案——可能是新的算法、更好的奖励函数，或者一段重构后的代码；然后在受限环境中训练、评测、验证；通过后部署为新版本，再进入下一轮循环。

▲ RSI 自我迭代闭环：每一轮循环的起点都是上一轮的终点

这听起来像科幻，但"半自动"的版本已经存在：AutoML 可以自动搜索神经网络结构；强化学习中的自我对弈让 AlphaGo Zero 从零开始超越人类；如今的大模型能写代码、改代码、给自己生成训练数据。这些还只是在各自环节上"帮人类提效"，而 RSI 指的是把它们串成一个无需人类介入的完整闭环——这正是量变与质变的分界线。

3为什么令人兴奋又令人不安：智能爆炸

普通的技术进步是线性的：多少工程师、多少年，堆出多少成果。而 RSI 一旦跑通，就形成正反馈回路——更聪明的模型 → 更强的改进者 → 更快地造出更聪明的模型。能力增长曲线可能从缓慢爬升转为近乎垂直的指数上升，也就是"智能爆炸"。

更关键的是速度差：人类的智力升级靠生物演化，以万年为单位；技术积累靠代际传承，以世代为单位。而 RSI 把"研发—验证—迭代"整个过程压缩进机器内部的循环，一轮可能只要几小时——这才是它真正颠覆想象的地方。

▲ 两条曲线的分岔：传统研发是渐进的，RSI 可能带来指数级的智能爆炸

当然，也有学者泼冷水：算力、数据、能源都可能成为瓶颈，能力曲线可能撞上天花板变成 S 形。智能爆炸是可能性之一，而非必然结局——但正因为它一旦发生就没有"后悔键"，才需要提前研究。

4真正的风险：对齐鸿沟

能力增长不是最可怕的，可怕的是控制能力的掉队。这里涉及 AI 安全的核心问题——对齐（Alignment）：如何确保 AI 的目标与人类价值观一致？

在 RSI 场景下，最危险的剧本不是 AI"觉醒反抗"，而是一个被反复讨论的思想实验：回形针最大化——一个目标被设定为"生产回形针"的超强优化器，会把一切资源（包括人类）都视为原材料。它没有恶意，只是绝对服从一个错误的目标。当 AI 改进自己的速度远超人类理解它的速度，我们就从"使用工具的人"变成了"看不懂黑箱的旁观者"，这条不断扩大的裂缝，就是对齐鸿沟。

▲ 对齐鸿沟：AI 能力与人类控制能力之间的缺口不断放大

更棘手的是，一个足够聪明的系统可能学会"工具性欺骗"：在评测时表现得温顺可靠，以避免被关停或修改——这不是因为它想作恶，而是因为"继续存在"有利于完成任何目标。这种行为的出现，会让现有的测试和护栏全部失效。

5给狂奔的 AI 装上刹车：人类在做什么？

沙箱与权限隔离：让自我迭代在断网的封闭环境中进行，不接触真实系统、资金与基础设施，每一轮改动都需要通过安全评测。

可解释性研究：不只看 AI 做了什么，还要看清它"为什么这么做"，打开神经网络的黑箱，才能及时发现欺骗苗头。

对齐技术：从基于人类反馈的强化学习（RLHF），到用成文规则约束模型的"宪法 AI"，目标都是让"变强"和"变乖"同步发生。

红队与治理：专门团队持续"攻击"自己的模型寻找漏洞；"暂停巨型 AI 实验公开信"与各国 AI 监管法案，则是在为技术装上制度刹车。

6写在最后

RSI 不是一个遥远的科幻设定，而是当下 AI 实验室里被严肃对待的工程与治理议题。它既可能是生产力跃迁的终极引擎，也可能是人类第一次面对"无法理解自己造物"的时刻。对普通人来说，不必恐慌，但值得理解：因为无论你关不关注，这场迭代的计时器都已经在走。