Role-Agent: Bootstrapping LLM Agents via Dual-Role Evolution

Authors: Xucong Wang, Ziyu Ma, Shidong Yang, Tongwen Huang, Pengkun Wang, Yong Wang, Xiangxiang Chu (USTC & AMAP, Alibaba)  |  Year: 2026  |  arXiv: 2606.10917

一、核心贡献

• 提出 Role-Agent：让单一 LLM 同时扮演智能体和环境两个角色，实现自举式协同进化（bootstrapped co-evolution）
• 两个协同组件：World-In-Agent（WIA）——LLM 预测动作后的未来状态，以预测-实际状态对齐为过程奖励；Agent-In-World（AIW）——LLM 分析失败轨迹并检索相似失败模式任务，重塑训练数据分布
• 在多个基准上平均提升 **>4%**，不依赖外部奖励模型或额外模型训练

二、研究背景

LLM Agent 的学习受限于两个问题：(1) 低效的交互反馈——传统强化学习通常只有稀疏的最终奖励；(2) 静态训练环境——训练数据固定，无法针对失败模式进行针对性练习。

Role-Agent 的核心洞察：LLM 本身具有足够的世界知识，可以模拟环境动态；同时具备分析自身失败的能力，可以主动选择"练习题"。

三、方法

3.1 World-In-Agent (WIA)：以预测对齐为过程奖励

LLM 作为 Agent 执行动作后，同时预测执行后的环境状态。将预测状态与实际状态之间的对齐程度作为过程奖励，鼓励环境感知推理。

这解决了稀疏奖励问题：即使最终结果未知，LLM 对每一步的预测准确性也提供了密集的训练信号。对 Agent 的"环境理解能力"进行显式监督，促进更深层的因果推理。

3.2 Agent-In-World (AIW)：以失败分析为课程

LLM 分析过去失败轨迹中的失败模式，检索具有相似失败模式的任务，重塑训练数据分布以针对弱点进行定向练习。

类似于人类学习中的"刻意练习"——不是随机采样训练数据，而是主动找到当前能力的边界并重点练习。

3.3 协同进化机制

WIA 和 AIW 协同工作：

• WIA 提供密集过程信号，帮助 Agent 理解行动后果
• AIW 确保训练数据覆盖已知弱点，避免过拟合到简单任务

图1：Role-Agent 在复杂任务中的案例展示，体现双角色进化的效果。

四、实验结果

在编程、导航、知识问答等多个 Agent 基准上评测：

• 相比强基线平均提升 >4%
• WIA 的过程奖励在长时序任务中效果尤为显著
• AIW 的失败模式检索有效将练习集中于已知弱点

五、总结

Role-Agent 通过让 LLM 扮演"自己的教练"——既是需要训练的 Agent，也是提供监督信号的环境模拟器——实现了低成本的自举式能力提升。WIA 解决了过程监督稀疏的问题，AIW 解决了训练数据静态的问题，两者协同构成了一个持续自我改进的闭环。

原文摘要: Although Large Language Model (LLM) agents have demonstrated strong performance on complex tasks, their learning is often limited by inefficient interaction feedback and static training environments, which hinder broader generalization. To address these limitations, this paper introduces Role-Agent, \textcolor{black}{a framework} that harnesses a single LLM to function concurrently as both the agent and the environment, enabling a bootstrapped co-evolution. Role-Agent comprises two synergistic components: World-In-Agent (WIA) and Agent-In-World (AIW). In WIA, the LLM acts as the agent and predicts future states after each action; the alignment between predicted and actual states is then used as a process reward, encouraging environment-aware reasoning. In AIW, the LLM analyzes failure modes from failed trajectories and retrieves tasks with similar failure patterns, thereby reshaping the training data distribution for targeted practice. Experiments on multiple benchmarks show that Role-Agent consistently improves performance, yielding an average gain of over 4% over strong baselines.

PDF链接: https://arxiv.org/pdf/2606.10917v1