ARTICLE · 1213283

让 AI 学会「怎么变强」,再把拐杖一根根扔掉

发布时间：2026-10-20 01:14:48 最近访问：2026-10-20 01:14:51

让 AI 学会「怎么变强」，再把拐杖一根根扔掉

R²Orch · 递归自博弈编排：内环练编排，外环撤技能，走向零技能部署

论文信息卡

项目	内容
标题	R2Orch: Recursive Self-Improvement for Agent Orchestration via Self-Play within a Skill-Internalization Loop
作者	Mingda Zhang、Yun Huang、Qiang Huang、Yanjin Li、Rui Qian、Qichao Zhao、Tiesunlong Shen、Na Zhao、Jian Wang、Xiaoying Tang（10 人）
链接	论文页 https://arxiv.org/abs/2610.22740 ；全文页 https://arxiv.org/html/2610.22740v1
一句话摘要	用「内环自博弈改编排 + 外环递归改改进方式」的双环结构，让 Agent 学会自我改进，并把学到的技能逐根撤掉，最终走向零技能部署。

1. 要解决什么问题

现有 Agent 编排学习（让模型学会调度子 Agent / 工具）卡在三个死结上：课程靠人攒、强化学习学不动、技能库越加越差。

人工设计课程：题库得人先攒好，出题与「撤技能」互不通气，课程无法随能力增长自适应。
优势坍缩：GRPO 这类分组 RL 在 rollout 全对或全错时没有差异可学；撤技能恰好会把题目推到全错，梯度直接消失。
信号噪声：一个技能只看一次得分，噪声大，技能库会漂到「越加越差」。

2. 该问题的难点

真正的难点在于：撤掉一个技能，既可能暴露出「真的需要它」，也可能只是把题目推到学不动的区间。

难点 1｜差异消失：撤技能后 rollout 全错，分组 RL 无相对优势可学（优势坍缩）。
难点 2｜出题无导向：Proposer 不知道该出「撤掉技能后仍有区分度」的题。
难点 3｜撤与留难判：单次得分分不清「技能真有用」还是「噪声」。
难点 4｜双环耦合：改进编排与改进「改进方式」互相依赖，易发散。

3. 本论文如何解决（核心）

R2Orch 用双环递归自博弈：内环自博弈改进编排器 Director（在 Proposer 选的题上）；外环改进「内环怎么改进」。两条通道贯穿其中。

3.1 整体架构

架构分外环、内环两层，内环含 Proposer（出题）、Director（编排）、Workers（冻结执行器）、Skill Ledger（技能账本）四个角色，两条通道向下、向上贯穿。

外环：改进「内环如何改进」，即学习更好的出题与撤技能策略。
内环：在 Proposer 选出的题上自博弈，改进 Director 的编排能力。
向下通道 Recursive Learnability：奖励 Proposer 挑「撤掉技能后 rollout 仍有差异」的题——用候选技能被隐藏来打分。
向上通道 Skill Withdrawal：每组 rollout 随机隐藏一个技能，转为对照实验，用贝叶斯后验判断剩余收益，够了就撤。

3.2 核心流程时序

四个角色的完整交互分 8 步，从出题到撤技能形成闭环。

Proposer 依据 Recursive Learnability 选一道题
Director 编排，调用 Workers 执行
该组 rollout 中随机隐藏一个技能，形成对照
Workers 在冻结状态下产出结果
收集成败，失败轨迹蒸馏成新技能
技能内化进参数，写入 Skill Ledger
贝叶斯后验判断该技能剩余收益，够用则撤
撤技能引出新失败，回到第 1 步

3.3 关键创新点

创新点一：向下通道——奖励「可学性」而非难度

Proposer 的奖励不是题目难，而是「撤掉技能后 rollout 仍有差异」。这样出的题天然避开优势坍缩区，保证内环始终有梯度可学。

创新点二：向上通道——随机隐藏转成对照实验

每组 rollout 随机隐藏一个技能，把「撤技能」变成受控对照实验，用贝叶斯后验判断剩余收益，够用就撤，避免噪声误判。

创新点三：闭环走向零技能部署

失败蒸馏成技能 → 技能内化进参数 → 撤技能引出新失败 → 再学习。技能逐根被撤，最终目标是零技能部署——能力已内化，不再依赖外部技能库。

4. 业界其他解决方案

方案	方法思路	核心技术	适用场景	开源/闭源	代表性工作
工作流搜索	搜索最优工作流结构	蒙特卡洛树搜索 / 进化	固定工具集、结构可枚举	开源	AFlow
Agent RL	强化学习训 planner	GRPO / PPO 训编排器	可采样、奖励明确	开源	AgentFlow、FlowSteer
技能内化	把技能写进模型参数	参数化技能 / 蒸馏	技能可复用、需压缩	部分开源	SKILL0、PATS
自博弈 + 失败蒸馏	自博弈并把失败蒸馏成技能	SESA 式自对弈	可自我出题	开源	SESA（arXiv:2607.29468）
元技能递归改进	递归改进技能本身	MetaSkill 元学习	技能可元化	开源	MetaSkill

R2Orch 的差异在于：它不只用自博弈，还显式建模「撤技能」这一动作，并用双环把「改进编排」与「改进改进方式」解耦，直接奔着零技能部署去。

5. 优劣与成本分析

5.1 优势

12 个基准全面超越基线：OOD 准确率 78.79±0.17，优于最强基线 PATS 76.13、FlowSteer 73.52、AgentFlow 71.99、SESA 73.44、MetaSkill 69.22。
免重训迁移：提升 6 个其他 Worker 骨干，无需重新训练。
零技能仍保持准确率：撤掉全部技能测试，准确率不掉。
走向零技能部署：能力内化进参数，部署时不再依赖外部技能库。

5.2 代价

双循环训练成本高：内外两环叠加，训练开销显著高于单环方案。
撤技能依赖分组对照：需要同组 rollout 做对照，采样量有要求。
Worker 冻结：Workers 不参与训练，能力上限受骨干模型约束。
零技能收益依任务而异：部分任务保留技能仍更优。

5.3 综合评分卡

维度	评分	说明
效果	★★★★★	12 基准全面 SOTA，OOD 78.79%
训练成本	★★☆☆☆	双循环开销大（约 85%）
推理成本	★★★★☆	零技能部署，推理轻量（约 30%）
显存占用	★★★★☆	技能内化后占用低（约 35%）
部署难度	★★★☆☆	部署简洁但训练复杂（约 60%）

结论：R2Orch 用双环递归自博弈把「学会变强」和「扔掉拐杖」统一成一个闭环，在 12 个基准上全面超越现有方案；代价是训练成本高，但换来了零技能部署的推理优势。适合对推理成本敏感、可接受一次性高训练投入的场景。