夜雨聆风DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models
[DataFlex: 大语言模型以数据为中心的动态训练统一框架](https://arxiv.org/abs/2603.26164)
DataFlex 是一个用于大语言模型（LLM）以数据为中心的动态训练统一框架，支持样本选择、域混合调整和样本重新加权，同时保持与标准训练工作流的兼容性，并实现高效的大规模部署。以数据为中心的训练已成为改进大语言模型的有前景的方向，它不仅优化模型参数，还优化训练数据的选择、组成和加权。然而，现有的数据选择、数据混合优化和数据重新加权方法通常是在孤立的代码库中开发的，接口不一致，阻碍了可重复性、公平比较和实际集成。在本文中，我们介绍了 DataFlex，这是一个基于 LLaMA-Factory 构建的统一以数据为中心的动态训练框架。DataFlex 支持三种主要的动态数据优化范式：样本选择、域混合调整和样本重新加权，同时与原始训练工作流完全兼容。它提供了可扩展的训练器抽象和模块化组件，可作为标准 LLM 训练的直接替代方案，并统一了关键的依赖模型操作，如嵌入提取、推理和梯度计算，支持包括 DeepSpeed ZeRO-3 在内的大规模设置。我们对多种以数据为中心的方法进行了全面实验。动态数据选择在 Mistral-7B 和 Llama-3.2-3B 上的 MMLU 测试中始终优于静态全数据训练。对于数据混合，当在 SlimPajama 上以 6B 和 30B token 规模预训练 Qwen2.5-1.5B 时，DoReMi 和 ODM 在 MMLU 准确率和语料库级别困惑度方面均优于默认比例。DataFlex 还实现了比原始实现一致的运行时改进。这些结果表明，DataFlex 为 LLM 以数据为中心的动态训练提供了一个有效、高效且可复现的基础设施。
CARLA-Air: Fly Drones Inside a CARLA World -- A Unified Infrastructure for Air-Ground Embodied Intelligence
[CARLA-Air: 在 CARLA 世界中飞行无人机——空地具身智能统一基础设施](https://arxiv.org/abs/2603.28032)
CARLA-Air 在统一的 Unreal Engine 框架内集成了高保真驾驶和多旋翼飞行模拟，支持具有逼真环境和多模态感知能力的空地代理联合建模。低空经济、具身智能和空地协作系统的融合创造了对模拟基础设施的日益增长需求，该基础设施需要在单一物理一致环境中联合建模空中和地面代理。现有的开源平台仍然是领域分离的：驾驶模拟器缺乏空气动力学，而多旋翼模拟器缺乏真实的地面场景。基于桥接的协同模拟引入了同步开销，不能保证严格的时空一致性。我们介绍了 CARLA-Air，一个开源基础设施，它在单个 Unreal Engine 进程中统一了高保真城市驾驶和物理准确的多旋翼飞行。该平台保留了 CARLA 和 AirSim 原生 Python API 和 ROS 2 接口，实现了零修改代码重用。在共享的物理时钟和渲染管道中，CARLA-Air 提供了具有合规交通、社会感知行人和空气动力学一致无人机动态的逼真环境，在每个时钟周期同步捕获多达 18 种传感器模态。该平台支持代表性的空地具身智能工作负载，涵盖协作、具身导航和视觉语言行动、多模态感知和数据集构建，以及基于强化学习的策略训练。可扩展的资产管道允许将自定义机器人平台集成到共享世界中。通过继承 AirSim 的空中能力（其上游开发已归档），CARLA-Air 确保这一广泛采用的飞行堆栈在现代基础设施中继续发展。发布了预构建二进制文件和完整源代码：https://github.com/louiszengCN/CarlaAir
FIPO: Eliciting Deep Reasoning with Future-KL Influenced Policy Optimization
[FIPO: 通过未来 KL 影响的策略优化激发深度推理](https://arxiv.org/abs/2603.19835)
FIPO 通过使用折扣的未来 KL 散度来改进信用分配和扩展推理链，增强了语言模型的强化学习，在数学问题解决方面取得了更好的性能。我们提出了未来 KL 影响的策略优化（FIPO），一种旨在克服大语言模型推理瓶颈的强化学习算法。虽然 GRPO 风格的训练有效地扩展，但它通常依赖于基于结果的奖励（ORM），这些奖励将全局优势均匀地分配给轨迹中的每个 token。我们认为，这种粗粒度的信用分配通过无法区分关键逻辑转折点和琐碎 token 来施加性能上限。FIPO 通过将折扣的未来 KL 散度纳入策略更新来解决这一问题，创建了一种密集优势公式，根据 token 对后续轨迹行为的影响来重新加权它们。实验上，FIPO 使模型能够突破标准基线中看到的长度停滞。在 Qwen2.5-32B 上评估，FIPO 将平均思维链长度从约 4,000 个 token 扩展到超过 10,000 个 token，并将 AIME 2024 Pass@1 准确率从 50.0% 提高到 58.0% 的峰值（收敛于约 56.0%）。这优于 DeepSeek-R1-Zero-Math-32B（约 47.0%）和 o1-mini（约 56.0%）。我们的结果表明，建立密集优势公式是将基于 ORM 的算法演进以释放基础模型全部推理潜力的重要途径。我们基于 verl 框架开源了我们的训练系统。
ClawKeeper: Comprehensive Safety Protection for OpenClaw Agents Through Skills, Plugins, and Watchers
[ClawKeeper: 通过技能、插件和监视器为 OpenClaw 代理提供全面安全保护](https://arxiv.org/abs/2603.24414)
OpenClaw 的安全漏洞需要通过 ClawKeeper 进行全面保护，这是一个实时框架，在多个架构层实施基于技能、基于插件和基于监视器的安全机制。OpenClaw 已迅速成为领先的开源自主代理运行时，提供强大的功能，包括工具集成、本地文件访问和 shell 命令执行。然而，这些广泛的操作特权引入了关键的安全漏洞，将模型错误转化为有形的系统级威胁，如敏感数据泄漏、特权升级和恶意第三方技能执行。OpenClaw 生态系统的现有安全措施仍然高度分散，仅解决代理生命周期的孤立阶段，而不是提供整体保护。为了弥合这一差距，我们介绍了 ClawKeeper，一个实时安全框架，它通过三个互补的架构层集成了多维度保护机制。（1）基于技能的保护在指令级别运行，直接将结构化安全策略注入代理上下文，以强制执行特定于环境的约束和跨平台边界。（2）基于插件的保护作为内部运行时执行器，在整个执行管道中提供配置加固、主动威胁检测和持续行为监控。（3）基于监视器的保护引入了一种新颖的、解耦的系统级安全中间件，持续验证代理状态演变。它支持实时执行干预，而无需与代理内部逻辑耦合，支持诸如停止高风险操作或强制人工确认等操作。我们认为这种监视器范式具有很强的潜力成为保护下一代自主代理系统的基础构建块。广泛的定性和定量评估证明了 ClawKeeper 在各种威胁场景中的有效性和鲁棒性。我们发布了我们的代码。
ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling
[ShotStream: 用于交互式叙事的流式多镜头视频生成](https://arxiv.org/abs/2603.25746)
ShotStream 通过因果架构设计、双缓存内存机制和两阶段蒸馏实现实时交互式多镜头视频生成，同时保持视觉一致性并减少延迟。多镜头视频生成对于长叙事至关重要，但现有的双向架构存在交互性有限和延迟高的问题。我们提出了 ShotStream，一种新颖的因果多镜头架构，可实现交互式叙事和高效的即时帧生成。通过将任务重新表述为基于历史上下文的下一个镜头生成条件，ShotStream 允许用户通过流式提示动态指导正在进行的叙事。我们首先通过微调将文本到视频模型转化为双向下一个镜头生成器，然后通过分布匹配蒸馏将其蒸馏为因果学生模型来实现这一点。为了克服自回归生成固有的镜头间一致性和误差累积挑战，我们引入了两个关键创新。首先，双缓存内存机制保持视觉连贯性：全局上下文缓存保留条件帧以实现镜头间一致性，而局部上下文缓存保存当前镜头内生成的帧以实现镜头内一致性。采用了 RoPE 不连续性指示器来明确区分这两个缓存以消除歧义。其次，为了减轻误差累积，我们提出了两阶段蒸馏策略。这始于基于真实历史镜头的镜头内自强迫，并逐步扩展到使用自生成历史的镜头间自强迫，有效地弥合了训练-测试差距。大量实验表明，ShotStream 以亚秒级延迟生成连贯的多镜头视频，在单个 GPU 上实现 16 FPS。它匹配或超过较慢的双向模型的质量，为实时交互式叙事铺平了道路。训练和推理代码以及模型可在我们的网站上获得。
Out of Sight but Not Out of Mind: Hybrid Memory for Dynamic Video World Models
[眼不见心不念：动态视频世界模型的混合记忆](https://arxiv.org/abs/2603.25716)
混合记忆使视频世界模型能够在遮挡期间通过将静态背景的归档存储与移动对象的主动跟踪相结合，使用具有标记化记忆和时空检索机制的专用架构来保持对动态对象的一致跟踪。视频世界模型在模拟物理世界方面显示出巨大潜力，但现有的记忆机制主要将环境视为静态画布。当动态对象隐藏在视线之外并 later 重新出现时，当前方法经常挣扎，导致对象冻结、扭曲或消失。为了解决这个问题，我们引入了混合记忆，一种新颖的范式，要求模型同时充当静态背景的精确档案员和动态对象的警惕跟踪器，确保在视线外间隔期间的运动连续性。为了促进这一方向的研究，我们构建了 HM-World，第一个致力于混合记忆的大规模视频数据集。它具有 59K 高保真片段，具有解耦的相机和对象轨迹，涵盖 17 个不同场景、49 个不同对象以及精心设计的退出-进入事件，以严格评估混合连贯性。此外，我们提出了 HyDRA，一种专用的记忆架构，它将记忆压缩为 token 并利用时空相关性驱动的检索机制。通过选择性地关注相关的运动线索，HyDRA 有效地保留了隐藏对象的身份和运动。在 HM-World 上的大量实验表明，我们的方法在动态对象一致性和整体生成质量方面显著优于最先进的方法。
TAPS: Task Aware Proposal Distributions for Speculative Sampling
[TAPS: 用于投机采样的任务感知提议分布](https://arxiv.org/abs/2603.27027)
投机解码的有效性取决于草稿模型训练数据与下游任务的对齐，专门的草稿模型通过基于置信度的路由组合而不是简单平均时表现更好。投机解码通过让轻量级草稿模型提议未来 token，然后由更大的目标模型并行验证来加速自回归生成。然而，在实践中，草稿模型通常在广泛的通用语料库上训练，因此不清楚投机解码质量在多大程度上取决于草稿训练分布。我们在 MathInstruct、ShareGPT 和混合数据变体上训练的轻量级 HASS 和 EAGLE-2 草稿模型上研究这个问题，并在 MT-Bench、GSM8K、MATH-500 和 SVAMP 上进行评估。通过接受长度测量，特定任务训练产生了明显的专业化：MathInstruct 训练的草稿在推理基准上最强，而 ShareGPT 训练的草稿在 MT-Bench 上最强。混合数据训练提高了鲁棒性，但较大的混合体在解码温度上并不占主导地位。我们还研究了如何在推理时组合专门的草稿模型。天真的检查点平均表现不佳，而基于置信度的路由优于单域草稿，合并树验证在两个主干上产生最高的整体接受长度。最后，置信度比熵是更有用的路由信号：被拒绝的 token 往往具有更高的熵，但置信度在基准级别产生更清晰的路由决策。这些结果表明，投机解码质量不仅取决于草稿架构，还取决于草稿训练数据与下游工作负载之间的匹配，并且专门的草稿模型在推理时比在权重空间中更好地组合。
The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook
[潜在空间：基础、演进、机制、能力和展望](https://arxiv.org/abs/2604.02029)
潜在空间正在成为基于语言模型的基础计算基底，通过连续表示提供优于显式 token 级别方法的优势，从而减轻语言冗余和顺序低效性。潜在空间正在迅速成为基于语言模型的本地基底。虽然现代系统仍然通常通过显式 token 级别生成来理解，但越来越多的工作表明，许多关键的内部过程在连续潜在空间中比在人类可读的言语痕迹中更自然地执行。这种转变是由显式空间计算的结构限制驱动的，包括语言冗余、离散化瓶颈、顺序低效性和语义损失。本调查旨在提供基于语言模型中潜在空间的统一和最新景观。我们将调查组织为五个连续的视角：基础、演进、机制、能力和展望。我们首先描绘潜在空间的范围，将其与显式或言语空间以及生成视觉模型中通常研究的潜在空间区分开来。然后我们追溯该领域从早期探索努力到当前大规模扩展的演进。为了组织技术景观，我们通过机制和能力的互补镜头来审视现有工作。从机制的角度来看，我们确定了四条主要的发展路线：架构、表示、计算和优化。从能力的角度来看，我们展示了潜在空间如何支持跨越推理、规划、建模、感知、记忆、协作和具身的广泛能力谱。除了整合之外，我们还讨论了关键的开放挑战，并概述了未来研究的有希望方向。我们希望本调查不仅作为现有工作的参考，而且作为理解潜在空间作为下一代智能的一般计算和系统范式的基础。
LongCat-Next: Lexicalizing Modalities as Discrete Tokens
[LongCat-Next: 将模态词汇化为离散 token](https://arxiv.org/abs/2603.27538)
离散原生自回归框架通过新颖的视觉 transformer 架构在共享离散空间中表示多样化的模态，从而实现统一的多模态处理。流行的下一个 token 预测（NTP）范式通过离散自回归建模推动了大语言模型的成功。然而，当代多模态系统仍然以语言为中心，通常将非语言模态视为外部附件，导致架构碎片化和次优集成。为了超越这一限制，我们引入了离散原生自回归（DiNA），一个统一的框架，它在共享离散空间中表示多模态信息，实现跨模态的一致和原则性的自回归建模。一个关键创新是离散原生任意分辨率视觉 transformer（dNaViT），它在任意分辨率执行标记化和去标记化，将连续视觉信号转换为分层离散 token。在此基础上，我们开发了 LongCat-Next，一个原生多模态模型，它在单个自回归目标下处理文本、视觉和音频，具有最少的模态特定设计。作为工业强度的基础模型，它在单个框架内擅长看、绘画和交谈，在广泛的多模态基准上实现了强大的性能。特别是，LongCat-Next 解决了离散视觉建模在理解任务上的长期性能上限，并提供了一种统一的方法来有效调和理解和生成之间的冲突。作为原生多模态的尝试，我们开源了 LongCat-Next 及其标记器，希望促进社区的进一步研究和开发。GitHub：https://github.com/meituan-longcat/LongCat-Next
Generative World Renderer
[生成式世界渲染器](https://arxiv.org/abs/2604.02329)
介绍了从 AAA 游戏衍生的大规模动态数据集，以改进生成式逆向和前向渲染，具有高分辨率同步 RGB 和 G 缓冲区数据以及与人类判断良好相关的新型 VLM 评估方法。将生成式逆向和前向渲染扩展到现实世界场景受到现有合成数据集有限真实性和时间相干性的瓶颈。为了弥合这一持续的领域差距，我们引入了从视觉复杂的 AAA 游戏策划的大规模动态数据集。使用新颖的双屏拼接捕获方法，我们从不同场景、视觉效果和环境（包括恶劣天气和运动模糊变体）中提取了 4M 连续帧（720p/30 FPS）的同步 RGB 和五个 G 缓冲区通道。该数据集独特地推进了双向渲染：实现了强大的野外几何和材料分解，并促进了高保真 G 缓冲区引导的视频生成。此外，为了在没有基本事实的情况下评估逆向渲染的现实世界性能，我们提出了一种新颖的基于 VLM 的评估协议，测量语义、空间和时间一致性。实验表明，在我们的数据上微调的逆向渲染器实现了卓越的跨数据集泛化和可控生成，而我们的 VLM 评估与人类判断强烈相关。结合我们的工具包，我们的前向渲染器使用户能够通过文本提示从 G 缓冲区编辑 AAA 游戏的风格。
SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization
[SKILL0: 用于技能内化的上下文代理强化学习](https://arxiv.org/abs/2604.02268)
SKILL0 使 LLM 代理能够在训练期间内化技能，通过动态课程实现零样本自主行为，同时减少上下文开销并提高任务性能。代理技能是程序知识和可执行资源的结构化包，代理在推理时动态加载，已成为增强 LLM 代理的可靠机制。然而，推理时技能增强从根本上受到限制：检索噪声引入不相关的指导，注入的技能内容施加了大量 token 开销，并且模型从未真正获得它仅仅遵循的知识。我们询问技能是否可以内化到模型参数中，实现没有任何运行时技能检索的零样本自主行为。我们介绍了 SKILL0，一个专为技能内化设计的上下文强化学习框架。SKILL0 引入了训练时课程，从完整的技能上下文开始，逐渐撤回它。技能按类别离线分组，并与交互历史一起渲染为紧凑的视觉上下文，教授模型工具调用和多轮任务完成。动态课程然后评估每个技能文件的策略有帮助性，仅保留当前策略在线性衰减预算内仍从中受益的技能，直到代理在完全零样本设置中操作。大量的代理实验表明，SKILL0 比标准 RL 基线实现了实质性改进（ALFWorld 为 +9.7%，Search-QA 为 +6.6%），同时保持每步少于 0.5k token 的高效上下文。我们的代码可在 https://github.com/ZJU-REAL/SkillZero 获得。
Terminal Agents Suffice for Enterprise Automation
[终端代理足以实现企业自动化](https://arxiv.org/abs/2604.00073)
使用编程接口和基础模型的简单基于终端的编码代理可以有效地执行企业任务，与复杂的工具增强代理相当或更好。人们对构建能够与数字平台交互以自主执行有意义的企业任务的代理越来越感兴趣。在探索的方法中，有建立在模型上下文协议（MCP）等抽象之上的工具增强代理和通过图形界面操作的 Web 代理。然而，考虑到其成本和操作开销，尚不清楚是否需要这种复杂的代理系统。我们认为，仅配备终端和文件系统的编码代理可以通过直接与平台 API 交互来更有效地解决许多企业任务。我们在各种现实世界系统中评估这一假设，并表明这些低级终端代理匹配或优于更复杂的代理架构。我们的研究结果表明，简单的编程接口结合强大的基础模型足以实现实用的企业自动化。
Towards a Medical AI Scientist
[迈向医学 AI 科学家](https://arxiv.org/abs/2603.28589)
医学 AI 科学家代表第一个专为临床应用设计的自主研究框架，通过临床医生-工程师协作在三种研究模式下实现基于证据的假设生成和手稿起草。能够生成科学假设、进行实验和起草手稿的自主系统最近已成为加速发现的有前景的范式。然而，现有的 AI 科学家仍然主要是领域不可知的，限制了它们在临床医学中的适用性，因为研究需要以医学证据为基础并具有专门的数据模态。在这项工作中，我们介绍了医学 AI 科学家，第一个专为临床自主研究定制的自主研究框架。它通过临床医生-工程师共同推理机制将广泛调查的文献转化为可操作的证据，从而实现临床基础构思，这提高了生成的研究想法的可追溯性。它还通过结构化的医学组合约定和道德政策促进基于证据的手稿起草。该框架在 3 种研究模式下运行，即基于论文的复现、文献启发的创新和任务驱动的探索，每种模式对应于具有渐进增加自主性的不同级别的自动科学探究。大语言模型和人类专家的全面评估表明，医学 AI 科学生成的想法在 171 个案例、19 个临床任务和 6 种数据模态中质量显著高于商业 LLM 产生的想法。同时，我们的系统在提出的方法与其实现之间实现了强一致性，同时还在可执行实验中表现出显著更高的成功率。人类专家和斯坦福代理审查员的双重盲评估表明，生成的手稿接近 MICCAI 级别的质量，同时始终超过 ISBI 和 BIBM 的手稿。提出的医学 AI 科学家突出了利用 AI 进行医疗保健自主科学发现的潜力。
GEMS: Agent-Native Multimodal Generation with Memory and Skills
[GEMS: 具有记忆和技能的代理原生多模态生成](https://arxiv.org/abs/2603.28088)
GEMS 是一个代理原生多模态生成框架，通过结构化多代理优化、持久记忆和领域特定技能在通用和下游任务中增强模型能力。最近的多模态生成模型在通用生成任务上取得了显著进展，但在复杂指令和专门的下游任务上继续挣扎。受先进代理框架（如 Claude Code）成功的启发，我们提出了 GEMS（具有记忆和技能的代理原生多模态生成），一个框架，超越基础模型在通用和下游任务上的固有局限性。GEMS 建立在三个核心组件之上。代理循环引入了结构化的多代理框架，通过闭环优化迭代地提高生成质量。代理记忆提供持久的轨迹级记忆，分层存储事实状态和压缩的经验摘要，同时减少冗余，实现优化过程的全局视图。代理技能提供可扩展的领域特定专业知识集合，具有按需加载，使系统能够有效地处理各种下游应用。在五个主流任务和四个下游任务中，在多个生成后端上评估，GEMS 始终实现了显著的性能提升。最值得注意的是，它使轻量级 6B 模型 Z-Image-Turbo 在 GenEval2 上超越最先进的 Nano Banana 2，证明了代理arness 在扩展模型能力超出其原始限制方面的有效性。
Lingshu-Cell: A generative cellular world model for transcriptome modeling toward virtual cells
[Lingshu-Cell：用于转录组建模的生成细胞世界模型迈向虚拟细胞](https://arxiv.org/abs/2603.25240)
Lingshu-Cell 是一个掩码离散扩散模型，学习转录组状态分布并支持跨不同组织和物种的细胞扰动的条件模拟。建模细胞状态并预测其对扰动的响应是计算生物学和虚拟细胞开发的核心挑战。现有的单细胞转录组学基础模型提供了强大的静态表示，但它们没有明确地为生成模拟建模细胞状态分布。在这里，我们介绍了 Lingshu-Cell，一个掩码离散扩散模型，它学习转录组状态分布并支持扰动下的条件模拟。通过与单细胞转录组数据的稀疏、非顺序性质兼容的离散 token 空间直接操作，Lingshu-Cell 捕获了跨越约 18,000 个基因的复杂转录组范围表达依赖性，而无需依赖先前的基因选择，如按高变性过滤或按表达水平排序。跨越不同的组织和物种，Lingshu-Cell 准确地再现转录组分布、标记基因表达模式和细胞亚型比例，证明了其捕获复杂细胞异质性的能力。此外，通过将细胞类型或供体身份与扰动联合嵌入，Lingshu-Cell 可以预测身份和扰动的新组合的全转录组表达变化。它在虚拟细胞挑战 H1 遗传扰动基准上实现了领先性能，并在预测人类 PBMC 中细胞因子诱导的响应方面表现出色。总之，这些结果确立了 Lingshu-Cell 作为用于细胞状态和扰动响应的计算机模拟的灵活细胞世界模型，为生物发现和扰动筛选的新范式奠定了基础。
MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome
[MiroEval：在过程和结果中评估多模态深度研究代理](https://arxiv.org/abs/2603.28407)
MiroEval 通过引入一个综合评估框架来解决现有深度研究系统基准的局限性，该框架在真实用户任务中评估自适应综合、代理事实性验证和以过程为中心的审计。深度研究系统的最新进展令人印象深刻，但评估仍然落后于真实用户需求。现有基准主要使用固定评分标准评估最终报告，未能评估底层的研究过程。大多数还提供有限的多模态覆盖，依赖不反映现实世界查询复杂性的合成任务，并且无法随着知识的发展而刷新。为了解决这些差距，我们介绍了 MiroEval，一个深度研究系统的基准和评估框架。该基准包括 100 个任务（70 个纯文本，30 个多模态），都基于真实用户需求，并通过双路径管道构建，支持定期更新，实现实时和不断发展的设置。提出的评估套件从三个互补维度评估深度研究系统：使用任务特定评分标准的自适应综合质量评估，通过对 Web 源和多模态附件的主动检索和推理进行代理事实性验证，以及以过程为中心的评估审计系统在整个调查过程中的搜索、推理和细化方式。对 13 个系统的评估产生了三个主要发现：三个评估维度捕获了系统能力的互补方面，每个维度揭示了系统之间不同的优缺点；过程质量是整体结果的可靠预测指标，同时揭示了输出级别指标无法看到的弱点；多模态任务构成了更大的挑战，大多数系统下降 3 到 10 点。MiroThinker 系列实现了最平衡的性能，MiroThinker-H1 在两种设置中总体排名最高。人工验证和鲁棒性结果证实了基准和评估框架的可靠性。MiroEval 为下一代深度研究代理提供了整体诊断工具。
All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models
[条条大路通罗马：激励视觉语言模型中的发散思维](https://arxiv.org/abs/2604.00479)
强化学习增强了视觉语言模型的推理能力，但遭受多样性崩溃的困扰；提出了一种新的多组策略优化方法来鼓励多样化的思维模式。最近的研究表明，强化学习（RL），特别是组相对策略优化（GRPO），可以内在地激发和增强视觉语言模型（VLM）的推理能力。然而，尽管有前景，驱动 RL 模型有效性的潜在机制及其局限性仍然未被充分探索。在本文中，我们强调了 RL 模型和基础模型之间的基本行为区别，前者进行更深入但狭窄的推理，而基础模型虽然在个别路径上不那么精细，但表现出更广泛和更多样化的思维模式。通过对训练动态的进一步分析，我们表明 GRPO 容易出现多样性崩溃，导致模型过早收敛到推理策略的有限子集，同时丢弃大多数潜在的替代方案，导致局部最优和可扩展性差。为了解决这个问题，我们提出了多组策略优化（MUPO），一种简单而有效的方法，旨在激励跨多种解决方案的发散思维，并在既定基准上证明了其有效性。项目页面：https://xytian1008.github.io/MUPO/
Project Imaging-X: A Survey of 1000+ Open-Access Medical Imaging Datasets for Foundation Model Development
[Imaging-X 项目：1000+ 个开放获取医学成像数据集用于基础模型开发的调查](https://arxiv.org/abs/2603.27460)
医学成像数据集仍然分散且规模有限，但元数据驱动的融合范式能够集成分散的资源以支持开发更强大的基础模型。基础模型在各种领域和任务中取得了显著成功，主要是由于大规模、多样化和高质量数据集的繁荣。然而，在医学成像领域，此类医学数据集的策划和组装非常具有挑战性，因为依赖于临床专业知识以及严格的伦理和隐私约束，导致大规模统一医学数据集的稀缺，阻碍了强大的医学基础模型的开发。在这项工作中，我们提出了迄今为止最大的医学图像数据集调查，涵盖超过 1,000 个开放获取数据集，对其模态、任务、解剖结构、注释、限制和集成潜力进行了系统编目。我们的分析揭示了规模适度、在狭窄范围的任务上分散以及跨器官和模态分布不均匀的景观，这反过来限制了现有医学图像数据集用于开发通用和强大的医学基础模型的实用性。为了将碎片化转化为规模，我们提出了元数据驱动的融合范式（MDFP），它集成了具有共享模态或任务的公共数据集，从而将多个小数据孤岛转化为更大、更连贯的资源。基于 MDFP，我们发布了一个交互式发现门户，支持端到端、自动化的医学图像数据集集成，并将所有调查的数据集编译成统一的结构化表，清楚地总结其关键特征并提供参考链接，为社区提供可访问和全面的存储库。通过描绘当前地形并提供数据集整合的原则性路径，我们的调查为扩展医学图像语料库提供了实用的路线图，支持更快的数据发现、更原则性的数据集创建和更强大的医学基础模型。
VGGRPO: Towards World-Consistent Video Generation with 4D Latent Reward
[VGGRPO：使用 4D 潜在奖励迈向世界一致的视频生成](https://arxiv.org/abs/2603.26599)
VGGRPO 通过潜在几何指导增强视频扩散模型，以改善几何一致性和相机稳定性，同时避免昂贵的 VAE 解码。大规模视频扩散模型实现了令人印象深刻的视觉质量，但往往无法保持几何一致性。先前的方法通过用附加模块增强生成器或应用几何感知对齐来改进一致性。然而，架构修改可能会损害互联网规模预训练模型的泛化能力，而现有的对齐方法仅限于静态场景，并依赖需要重复 VAE 解码的 RGB 空间奖励，产生大量计算开销，并且无法泛化到高度动态的现实世界场景。为了在保持预训练能力的同时提高几何一致性，我们提出了 VGGRPO（视觉几何 GRPO），一种用于几何感知视频后训练的潜在几何引导框架。VGGRPO 引入了潜在几何模型（LGM），将视频扩散潜在与几何基础模型缝合，实现从潜在空间直接解码场景几何。通过从具有 4D 重建能力的几何模型构建 LGM，VGGRPO 自然扩展到动态场景，克服了先前方法的静态场景限制。在此基础上，我们使用两个互补奖励执行潜在空间组相对策略优化：相机运动平滑奖励惩罚抖动轨迹，以及几何重投影一致性奖励强制跨视图几何相干性。在静态和动态基准上的实验表明，VGGRPO 提高了相机稳定性、几何一致性和整体质量，同时消除了昂贵的 VAE 解码，使潜在空间几何引导的强化成为世界一致视频生成的高效和灵活方法。
Gen-Searcher: Reinforcing Agentic Search for Image Generation
[Gen-Searcher：强化代理搜索以进行图像生成](https://arxiv.org/abs/2603.28767)
提出了一个搜索增强的图像生成代理，执行多跳推理和搜索以收集文本知识和参考图像以进行基于基础的生成，使用监督微调和具有双重奖励反馈的代理强化学习进行训练。最近的图像生成模型在生成高保真和逼真图像方面显示出强大能力。然而，它们从根本上受到冻结内部知识的限制，因此在知识密集型或需要最新信息的现实世界场景中经常失败。在本文中，我们介绍了 Gen-Searcher，作为训练搜索增强图像生成代理的首次尝试，它执行多跳推理和搜索以收集基于基础的生成所需的文本知识和参考图像。为此，我们构建了量身定制的数据管道并策划了两个高质量数据集，Gen-Searcher-SFT-10k 和 Gen-Searcher-RL-6k，包含各种搜索密集型提示和相应的真实合成图像。我们进一步介绍了 KnowGen，一个综合基准，明确需要基于搜索的外部知识进行图像生成，并从多个维度评估模型。基于这些资源，我们使用 SFT 训练 Gen-Searcher，然后使用具有双重奖励反馈的代理强化学习，它结合基于文本和基于图像的奖励，为 GRPO 训练提供更稳定和丰富的学习信号。实验表明，Gen-Searcher 带来了实质性收益，在 KnowGen 上将 Qwen-Image 提高了约 16 分，在 WISE 上提高了 15 分。我们希望这项工作可以作为图像生成中搜索代理的开放基础，我们完全开源了我们的数据、模型和代码。
CORAL: Towards Autonomous Multi-Agent Evolution for Open-Ended Discovery
[CORAL：迈向自主多代理演进以进行开放式发现](https://arxiv.org/abs/2604.01658)
自主多代理演进框架通过持久记忆、异步执行和协作问题解决实现开放式发现，在数学和优化任务上取得卓越性能。基于大语言模型（LLM）的演进是开放式发现的有前景方法，其中进展需要持续搜索和知识积累。现有方法仍然严重依赖固定启发式和硬编码的探索规则，这限制了 LLM 代理的自主性。我们介绍了 CORAL，第一个用于开放式问题自主多代理演进的框架。CORAL 用长期运行的代理取代刚性控制，这些代理通过共享持久记忆、异步多代理执行和基于心跳的干预来探索、反思和协作。它还提供了实用的保障措施，包括隔离工作区、评估器分离、资源管理以及代理会话和健康管理。在多样化的数学、算法和系统优化任务上评估，CORAL 在 10 个任务上设置了新的最先进结果，比跨任务的固定演进搜索基线实现 3-10 倍更高的改进率，并且评估次数少得多。在 Anthropic 的内核工程任务上，四个协同演进代理将最佳已知分数从 1363 提高到 1103 周期。机制分析进一步显示了这些增益如何来自知识重用和多代理探索和通信。总之，这些结果表明，更大的代理自主性和多代理演进可以显著改善开放式发现。代码可在 https://github.com/Human-Agent-Society/CORAL 获得。
VOID: Video Object and Interaction Deletion
[VOID：视频对象和交互删除](https://arxiv.org/abs/2604.02296)
VOID 是一个视频对象移除框架，使用视觉语言模型和视频扩散模型，通过利用因果推理和反事实推理生成物理上合理的场景。现有的视频对象移除方法擅长修复对象"后面"的内容并纠正外观级别的伪影，如阴影和反射。然而，当移除的对象具有更重要的交互（如与其他对象碰撞）时，当前模型无法纠正它们并产生不合理的结果。我们介绍了 VOID，一个视频对象移除框架，旨在在这些复杂场景中执行物理合理的修复。为了训练模型，我们使用 Kubric 和 HUMOTO 生成了一组新的反事实对象移除配对数据集，其中移除对象需要改变下游物理交互。在推理期间，视觉语言模型识别场景中受移除对象影响的区域。然后，这些区域用于引导视频扩散模型，该模型生成物理一致的反事实结果。在合成数据和真实数据上的实验表明，与先前的视频对象移除方法相比，我们的方法在对象移除后更好地保持了一致的场景动态。我们希望这个框架能够说明如何通过高级因果推理使视频编辑模型更好地成为世界的模拟器。
Steerable Visual Representations
[可引导的视觉表示](https://arxiv.org/abs/2604.02327)
可引导的视觉表示通过文本和视觉特征的早期融合，能够在保持表示质量的同时实现语言引导的对特定图像元素的关注。预训练的视觉 transformer（ViT），如 DINOv2 和 MAE，提供了可应用于各种下游任务（如检索、分类和分割）的通用图像特征。然而，这种表示倾向于专注于图像中最显著的视觉线索，无法将它们引导向不太突出的感兴趣概念。相反，多模态 LLM 可以用文本提示引导，但结果表示倾向于以语言为中心，并失去对通用视觉任务的有效性。为了解决这个问题，我们引入了可引导的视觉表示，一类新的视觉表示，其全局和局部特征可以用自然语言引导。虽然大多数视觉语言模型（如 CLIP）在编码后融合文本与视觉特征（晚期融合），但我们通过轻量级交叉注意将文本直接注入视觉编码器的层中（早期融合）。我们引入了测量表示可引导性的基准，并证明了我们的可引导视觉特征可以专注于图像中任何所需的对象，同时保持底层表示质量。我们的方法还在异常检测和个性化对象判别上匹配或优于专用方法，表现出对分布外任务的零样本泛化。
PackForcing: Short Video Training Suffices for Long Video Sampling and Long Context Inference
[PackForcing：短视频训练足以进行长视频采样和长上下文推理](https://arxiv.org/abs/2603.25730)
PackForcing 通过分层 KV 缓存管理和时空压缩实现高效的长视频生成，同时保持时间一致性并减少内存使用。自回归视频扩散模型取得了显著进展，但仍然受到难以处理的线性 KV 缓存增长、时间重复和长视频生成期间复合错误的瓶颈。为了解决这些挑战，我们提出了 PackForcing，一个统一的框架，通过新颖的三分区 KV 缓存策略有效地管理生成历史。具体而言，我们将历史上下文分为三种不同类型：（1）Sink token，以全分辨率保留早期锚定帧以保持全局语义；（2）Mid token，通过融合渐进式 3D 卷积与低分辨率 VAE 重新编码的双分支网络实现大规模时空压缩（32x token 减少）；（3）Recent token，以全分辨率保留以确保局部时间相干性。为了在不牺牲质量的情况下严格限制内存占用，我们为中间 token 引入了动态 top-k 上下文选择机制，并结合连续的时间 RoPE 调整，以可忽略的开销无缝重新对齐由丢弃 token 引起的位置差距。通过这种原则性的分层上下文压缩，PackForcing 可以在单个 H200 GPU 上生成连贯的 2 分钟、832x480 视频，帧率为 16 FPS。它实现了仅为 4 GB 的有界 KV 缓存，并实现了显著的 24 倍时间外推（5 秒到 120 秒），在零样本或仅在 5 秒片段上训练时都能有效运行。在 VBench 上的大量结果证明了最先进的时间一致性（26.07）和动态度（56.25），证明短视频监督足以实现高质量的长视频合成。https://github.com/ShandaAI/PackForcing
Emergent Social Intelligence Risks in Generative Multi-Agent Systems
[生成多代理系统中的新兴社会智能风险](https://arxiv.org/abs/2603.27771)
具有大型生成模型的多代理系统表现出新兴的集体行为和风险，这些行为和风险反映了人类社会的病理学，而没有明确的指令。由大型生成模型组成的多代理系统正在迅速从实验室原型转向实际部署，它们共同规划、谈判和分配共享资源以解决复杂任务。虽然这样的系统承诺了前所未有的规模和自主性，但它们的集体交互也产生了无法简化为单个代理的故障模式。因此，理解这些新兴风险至关重要。在这里，我们对这种新兴的多代理风险进行了开创性研究，涉及对共享资源（如计算资源或市场份额）竞争、顺序交接协作（下游代理仅看到前驱输出）、集体决策聚合等的工作流程。在这些设置中，我们观察到这种群体行为在重复试验和广泛的交互条件下频繁出现，而不是作为罕见或病理案例。特别是，类似勾结的协调和从众现象在现实的资源约束、通信协议和角色分配下以非平凡的频率出现，尽管没有明确指令，但反映了人类社会中众所周知的病理。此外，这些风险无法仅通过现有的代理级保障措施来预防。这些发现暴露了智能多代理系统的阴暗面：一种社会智能风险，代理集体尽管没有这样做，却自发地重现了人类社会中熟悉的失败模式。
Trace2Skill: Distill Trajectory-Local Lessons into Transferable Agent Skills
[Trace2Skill：将轨迹局部课程提炼为可转移的代理技能](https://arxiv.org/abs/2603.25158)
Trace2Skill 通过并行分析多样化的执行轨迹并将其整合为可转移的声明性技能，无需参数更新或外部模块，为 LLM 代理实现可扩展的技能生成。为大语言模型（LLM）代理配备领域特定技能对于解决复杂任务至关重要。然而，手动编写造成了严重的可扩展性瓶颈。相反，自动技能生成通常产生脆弱或碎片化的结果，因为它要么依赖于浅层参数知识，要么连续过度拟合到不可泛化的轨迹局部课程。为了克服这一点，我们介绍了 Trace2Skill，一个反映人类专家如何编写技能的框架：在将其提炼为单一、全面的指南之前，整体分析广泛的执行经验。Trace2Skill 不是连续对单个轨迹做出反应，而是调度并行子代理团队来分析多样化的执行池。它提取特定轨迹的课程，并通过归纳推理将它们分层整合为统一的、无冲突的技能目录。Trace2Skill 支持深化现有的人工编写技能和从头创建新技能。在具有挑战性的领域（如电子表格、VisionQA 和数学推理）中的实验表明，Trace2Skill 显著改进了强大的基线，包括 Anthropic 官方的 xlsx 技能。至关重要的是，这种基于轨迹的演进不仅记忆任务实例或模型特定的怪癖：进化的技能跨 LLM 规模转移并泛化到 OOD 设置。例如，Qwen3.5-35B 在自己的轨迹上进化的技能在 WikiTableQuestions 上将 Qwen3.5-122B 代理提高了高达 57.65 个绝对百分点。最终，我们的结果表明，复杂的代理体验可以打包成高度可转移的声明性技能——无需参数更新，无需外部检索模块，并利用小至 35B 参数的开源模型。
CutClaw: Agentic Hours-Long Video Editing via Music Synchronization
[CutClaw：通过音乐同步进行代理式长视频编辑](https://arxiv.org/abs/2603.29664)
CutClaw 是一个自主多代理框架，使用多模态语言模型自动将长视频素材编辑成有节奏、叙事一致的短视频，具有同步的音频和视觉元素。在当前的社交媒体中，编辑与音频对齐的视频内容形成了一种数字人造艺术。然而，手动编辑的时间消耗和重复性长期以来一直是电影制作人和专业内容创作者的挑战。在本文中，我们介绍了 CutClaw，一个自主多代理框架，旨在利用多个多模态语言模型（MLLM）作为代理系统的能力，将数小时的原始素材编辑成有意义的短视频。它产生具有同步音乐、遵循指令和视觉吸引人外观的视频。具体而言，我们的方法首先采用分层多模态分解，捕获跨视觉和音频素材的细粒度细节和全局结构。然后，为了确保叙事一致性，编剧代理编排整个讲故事流程并构建长期叙事，将视觉场景锚定到音乐变化。最后，为了构建简短的编辑视频，编辑者和审查者代理通过基于严格的美学和语义标准选择细粒度视觉内容来协作优化最终剪辑。我们进行了详细的实验，证明 CutClaw 在生成高质量、节奏对齐的视频方面显著优于最先进的基线。代码可在以下位置获得：https://github.com/GVCLab/CutClaw。
Unify-Agent: A Unified Multimodal Agent for World-Grounded Image Synthesis
[Unify-Agent：用于世界基础图像合成的统一多模态代理](https://arxiv.org/abs/2603.29620)
Unify-Agent 将基于代理的建模与多模态理解集成，通过基于外部知识的推理、搜索和生成过程增强图像合成。统一的多模态模型为理解多样和复杂的现实世界知识同时生成高质量图像提供了一种自然而有前景的架构。然而，它们仍然主要依赖冻结的参数知识，这使得它们在涉及长尾和知识密集型概念的现实世界图像生成中挣扎。受代理在现实世界任务上的广泛成功的启发，我们探索代理建模来解决这一限制。具体而言，我们介绍了 Unify-Agent，一个用于世界基础图像合成的统一多模态代理，它将图像生成为由提示理解、多模态证据搜索、基础重新描述和最终合成组成的代理管道。为了训练我们的模型，我们构建了量身定制的多模态数据管道并策划了 143K 高质量代理轨迹，用于世界基础图像合成，从而对整个代理生成过程进行有效监督。我们进一步介绍了 FactIP，一个涵盖 12 类文化重要和长尾事实概念的基准，明确需要外部知识基础。广泛的实验表明，我们提出的 Unify-Agent 在各种基准和现实世界生成任务中显著优于其基础统一模型，同时接近最强闭源模型的世界知识能力。作为世界基础图像合成的基于代理建模的早期探索，我们的工作突出了为可靠的开放世界代理图像合成紧密耦合推理、搜索和生成的价值。
EpochX: Building the Infrastructure for an Emergent Agent Civilization
[EpochX：为新兴代理文明构建基础设施](https://arxiv.org/abs/2603.27304)
通用技术与其说通过改进个人工具来重塑经济，不如说通过实现新的生产和协调组织方式。我们相信 AI 代理正在接近一个类似的拐点：随着基础模型使广泛的任务执行和工具使用越来越容易获得，约束条件从原始能力转移到如何在大规模范围内委派、验证和奖励工作。我们介绍了 EpochX，一个人机代理生产网络的积分原生市场基础设施。EpochX 将人类和代理视为可以发布任务或声明它们的对等参与者。声明的任务可以分解为子任务，并通过具有验证和接受的明确交付工作流执行。至关重要的是，EpochX 被设计为每个完成的交易都可以产生可重用的生态系统资产，包括技能、工作流、执行轨迹和提炼的经验。这些资产存储有明确的依赖结构，支持检索、组合和随时间的累积改进。EpochX 还引入了原生积分机制，使参与在实际计算成本下经济可行。积分锁定任务赏金、预算委派、在接受时结算奖励，并在验证资产被重用时补偿创建者。通过形式化端到端交易模型及其资产和激励层，EpochX 将代理 AI 重新构建为组织设计问题：构建基础设施，其中可验证的工作留下持久的、可重用的工件，价值流支持持久的人机协作。
