夜雨聆风LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 RO - 机器人
1、[LG] Self-Distilled Policy Gradient
2、[LG] Self-Revising Discovery Systems for Science：A Categorical Framework for Agentic Artificial Intelligence
3、[LG] q0：Primitives for Hyper-Epoch Pretraining
4、[RO] GRAIL：Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors
5、[LG] Strong Stochastic Flow Maps
摘要：自蒸馏策略梯度、科学领域的自我修正发现系统、超周期预训练原语、基于3D资产与视频先验的类人机器人移动-操作生成、强随机流映射
1、[LG] Self-Distilled Policy Gradient
Y Liu, S Zhang, Y Zhang, Q Gu
[University of California, Los Angele & Princeton University]
自蒸馏策略梯度
要点:
挑战了“自蒸馏”和“策略梯度”是完全不同机制的直觉认知；论文通过命题3.1在数学上严格证明：固定前缀的逆向KL全词表同策略蒸馏（OPD），其学生端的梯度在局部等价于使用中心化对数比率作为优势函数的策略梯度更新。 揭示了纯自蒸馏的一个关键失败模式：在缺乏验证器的情况下，拥有特权的教师模型可能会强化局部合理但全局错误的生成token，从而损害模型的探索能力并导致模式/熵崩溃。 提出了自蒸馏策略梯度（SDPG）框架，巧妙地将稀疏的二元结果信号（来自验证器，如GRPO）与密集的、全词表的蒸馏信号（来自基于特权上下文的教师模型）结合起来。 使用非归一化KL散度（UKL）替代标准的归一化KL散度来进行参考策略的正则化，以解决固有的不匹配偏差，并产生更对称、优雅的梯度。 引入了“正优势门控（Positive Advantage Gating）”这一既直观又强大的稳定器：仅当轨迹被结果验证器认可（即结果优势 - 采用了一种反直觉的“先预热后衰减”的蒸馏系数调度策略：在训练末期逐渐取消蒸馏信号，以将学生模型从不可消除的条件互信息鸿沟中释放出来，鼓励其进行无约束的探索。 实验证明，在推理基准测试（AIME24， AIME25， AMC23）中，SDPG实现了更快的收敛速度和更高的最终准确率，并关键性地避免了在RLSD和OPCD等基准方法中出现的严重熵崩溃现象。
主旨： 本文旨在解决基于可验证奖励的强化学习（RLVR，如GRPO）中存在的序列级奖励稀疏问题，以及纯同策略自蒸馏（OPD）在缺乏验证器时容易引发的模式崩溃和探索受限问题。为此，论文提出了自蒸馏策略梯度（SDPG）框架，将全词表级别的特权上下文自蒸馏与基于结果的策略优化及参考策略的KL正则化进行深度融合。
创新：
理论等价性证明：首次在数学上证明了逆向KL全词表同策略蒸馏与带有特定优势函数的策略梯度在局部梯度上是等效的，打破了两种范式之间的壁垒。 正优势门控机制：创新性地设计了基于结果优势的门控开关，只有当整条轨迹的最终答案正确（优势大于0）时，才信任并利用教师的密集token级信号。 非归一化KL（UKL）正则化：在强化学习目标中采用UKL而非传统的归一化KL来进行参考模型约束，解决了基于 rollout 估计时固有的梯度偏差问题。 动态蒸馏系数调度：设计了“预热-衰减”机制，在训练初期避免噪声干扰，在训练末期释放模型探索潜力。
贡献：
理论贡献：推导出了逆向KL全词表OPD的精确局部策略梯度形式，为自蒸馏在RL中的应用提供了坚实的理论依据。 方法贡献：构建了SDPG框架，将二元结果奖励、精确的全词表特权蒸馏和基于非归一化KL的参考正则化统一在一个目标函数下。 实践贡献：开发了正优势门控和预热衰减调度器两大稳定器，成功解决大模型在自蒸馏强化学习中常见的熵崩溃（Entropy Collapse）问题。 实验贡献：在Qwen3-4B和1.7B模型上进行了充分验证，在AIME和AMC等高难度数学推理基准上，SDPG显著超越了现有的GRPO和RLSD基线。
提升：
模型推理准确率：在AIME 2024、AIME 2025和AMC 2023数据集上，SDPG-URKL和SDPG-UFKL的pass@1准确率显著且持续地高于GRPO和RLSD。 训练收敛速度：相比传统GRPO方法，SDPG能在前50步内迅速拉开准确率差距，并提前数百步达到高奖励平台期。 策略稳定性（防止模式崩溃）：大幅提升了训练过程中Actor的熵值（Actor Entropy），彻底避免了RLSD和纯自蒸馏方法中出现的熵值降至接近0（模式崩溃）的致命缺陷。 输出长度控制：生成的推理过程长度稳定在适中范围，既包含了足够的多步推理，又比原版GRPO的冗长输出更精炼。
不足：
特权信息的依赖与成本：教师模型在生成特权上下文时，依赖于强大的外部模型（如实验中使用的Gemini 2.5 Pro）提供答案和提示，增加了数据准备阶段的成本和门槛。 计算与显存开销：由于在训练中需要实时计算精确的全词表KL散度（即在同一个模型上运行无特权的Student和有特权的Teacher两个分支），相比纯粹的PPO/GRPO，会增加额外的显存占用和前向传播计算开销。 任务验证的局限性：目前实验主要集中在具有明确客观标准答案的数学推理任务上，在开放域代码生成、通用指令遵循或没有绝对对错的主观任务上的泛化能力尚未得到验证。
心得：
蒸馏与强化学习的殊途同归：论文最精彩的一笔是将“通过KL散度模仿Teacher”和“通过策略梯度最大化优势”在数学上统一了起来。这给我们的启发是：在复杂的大模型对齐训练中，不需要生硬地拼接监督微调（SFT/蒸馏）和强化学习（RL），从底层数学逻辑出发，它们其实可以被视为对同一种奖励信号（密集分布奖励 vs 稀疏标量奖励）的不同优化视角。 “批判性吸收”比“全盘接收”更重要：纯自蒸馏的失败告诉我们，即使是强大的大模型，在提供推理步骤时也会产生看似合理的“幻觉”。正优势门控机制（Positive Advantage Gating）极其巧妙，它相当于给模型配备了一个“结果导向的过滤器”——只有当最终目标达成时，中间的那些花哨推理步骤才值得被学习。这对于未来在充满噪声的数据中进行自我进化（Self-play / Self-improvement）极具启发性。 学会适时“放手”：蒸馏系数的先预热后衰减机制非常反直觉。通常我们认为好的监督信号应该贯穿始终，但作者指出，特权教师由于看到了未来的答案，其信息存在“不可消除的互信息鸿沟”。在训练末期切断特权信号，强迫学生模型自己去探索，反而能逼出模型真正的潜力。这就像教育一样，辅导轮最终必须被拆除，模型才能学会真正的独立推理。
一句话总结:
本文提出了自蒸馏策略梯度（SDPG）框架，通过严格的数学推导将全词表自蒸馏等价为策略梯度，并创新性地结合验证器奖励、正优势门控与动态衰减调度机制，成功克服了强化学习奖励稀疏与纯自蒸馏易导致模式崩溃的痛点，显著提升了大模型在复杂数学推理任务上的性能和训练稳定性。
On-policy self-distillation, where a language model conditions on privileged context to supervise its own generations, is a promising source of dense supervision for sparse-reward reinforcement learning. Actually, it can be instantiated as an auxiliary full-vocabulary studentto-teacher reverse Kullback-Leibler divergence loss. We therefore propose SDPG, a self-distilled policy-gradient framework that combines group-relative verifier advantages with normalized standard deviation, exact full-vocabulary on-policy self-distillation, as well as reference-policy KL regularization. Empirically, SDPG improves stability and performance over RLVR and self-distillation baselines.
https://arxiv.org/abs/2606.04036
2、[LG] Self-Revising Discovery Systems for Science: A Categorical Framework for Agentic Artificial Intelligence
F Y. Wang, M J. Buehler
[MIT]
科学领域的自我修正发现系统：面向代理式人工智能的范畴化框架
要点:
形式化地定义了智能体AI中“搜索（Search）”与“发现（Discovery）”的根本区别：搜索是在固定的表示模式（Schema）内寻找组合，而发现是向新体系（Regime）的受验证过渡，它从根本上改变了科学词汇表本身。 运用范畴论对科学发现系统进行数学建模：将科学制品表示为协预层（），将已实现的溯源关系建模为元素范畴（），从而构建了一个严格强类型的知识-计算图。 使用左Kan扩展（Left Kan Extensions）为“发现成本”提出了一个极具反直觉的数学定义：真正的“发现”是由那些无法通过函子直接从旧模式迁移到新模式的“残留内容（Residual content）”来量化的。 挑战了机器学习中模型质量必须与 单调递增严格相关的传统直觉。通过引入最小描述长度（MDL）门控机制，证明了在异构数据集上波动的 通常反映的是健康的“证据集扩充（evidence-set widening）”，而非优化失败。 将模型的撤回（Retraction）和简化视为一等的科学行为。科学发现不仅仅是做加法；MDL门控会严重惩罚复杂度，当系统发现能更好地解释广泛数据的交互特征时（如条件模式柔性），它会强迫系统剪枝、丢弃之前已接受的特征。 在实际系统中实例化了该框架：用于蛋白质力学的Builder/Breaker（通过结构性失败案例发现全模式柔性定律），以及将原始智能体工具调用转化为带有范畴证明管道的CategoryScienceClaw。 创新性地将库恩的“范式转移”和波普尔的“证伪主义”哲学思想，无缝整合为多智能体系统中可执行、可验证的代数工程底层结构。
主旨： 本文旨在解决当前AI科学发现系统仅停留在“固定任务空间内搜索”的局限性，提出了一个基于范畴论（Category Theory）的智能体AI科学发现框架。该框架在数学上和工程上严格区分了“在现有科学词汇表内优化（搜索）”与“引入新数据类型、新操作或新验证器的范式转移（发现）”，使大模型能够不仅解答科学问题，更能自主修改、扩展和验证其背后的底层科学表征体系。
创新：
范畴论驱动的发现范式：首次使用范畴论中的协预层（Copresheaves）来定义科学知识状态，用元素范畴表示溯源记录，将科学工作流提升为严密的数学结构。 左Kan扩展量化“新知”：极其巧妙地利用左Kan扩展来模拟“旧知识向新体系的迁移”，进而通过计算迁移后“无法被覆盖的残差（Residuals）”，从数学上精确量化了何为真正的“新发现”。 基于MDL的动态门控机制：不再使用单调递增的精度指标作为导向，而是引入最小描述长度（MDL）作为动态门控，使得系统不仅能“吸收新知”，还能在复杂度惩罚下“大胆做减法（Retraction）”。 证明携带（Proof-carrying）的工作流：将传统AI智能体的黑盒推理（Tool-calling）显式转化为强类型的多输入态射（Morphisms）和算子，构建了图谱式的科学论证与驳斥网络。
贡献：
理论体系构建：为AI驱动的科学系统（Agentic AI）提供了首个范畴论维度的基础语义，将哲学层面的“科学革命/范式转移”转化为严谨的代码和数学语言。 系统架构落地：开发并展示了CategoryScienceClaw框架，将原有的ScienceClaw计算网络与Infinite话语网络，升级为携带类型、态射、审查和溯源属性的严格知识-计算图。 实证力学案例：通过Builder/Breaker在蛋白质力学中的应用，成功让系统自主发现并验证了“模式条件柔性（Mode-conditioned compliance）”定律，而非毫无物理意义的黑盒拟合。 AI系统评测新视角：指出了评价AI科学发现能力的正确指标不应是单一基准上的性能分，而应当是其主导“体系重构（Regime Enlargement）”的速率、质量及残留内容价值。
提升：
系统可审计性（Auditability）：由于引入了严格的强类型溯源（Lineage）和多重前置条件审查，大幅提升了多智能体生成科学知识时的可验证性和透明度。 抗幻觉与强鲁棒性：在不断引入高难度“反例/压力测试（如铰链域蛋白质）”的异构数据时，Builder/Breaker利用1.3倍的模型代码长度完美消化了近10倍增长的数据量，避免了过拟合和幻觉特征堆积。 复杂物理法则的提取能力：相较于常规深度学习提取不可读的隐向量，该框架提取出了完全具有物理和生物力学解释的交互定律（如利用乘法算子捕捉集体运动与局部柔性的关联）。
不足：
基础Schema的自动化学习困难：目前系统底层的Schema类别（包含对象类型和允许的操作）仍很大程度上依赖人类专家的先验工程设计，如何让AI从海量非结构化文献中“从零学习”这个基础范畴仍是未解之题。 理论收敛性未知：在不断扩充和改变底层体系（Growing Regimes）的动态发现过程中，系统能否在数学上保证收敛到一个稳定的终态，目前缺乏理论证明。 多范畴计算成本高昂：当涉及多个操作的组合发现时（即Multicategorical/Operadic Schema），评估发现成本的计算复杂度极高，在超大规模数据集上的统计和计算挑战很大。 Scaling Law 的缺失：当前业界缺乏针对“科学范式发现（而不是Loss下降）”的缩放定律，无法准确预估增加模型参数对发现“全新概念”的收益率。
心得：
“无法被旧框架解释的残差，才是真正的科学发现”：论文用左Kan扩展给了科学发现一个无与伦比的数学诗意。当我们将过去的旧知识完美映射到新世界后，那些依旧空缺、必须由新机制填补的孤立点（Residuals），正是人类或AI认知边界被实质性突破的证明。这种数学上的“残差即创新”思维，对评估大语言模型的涌现能力极具启发。 学会“做减法”是走向真理的必经之路：在深度学习时代，我们习惯了通过增加参数或特征来拟合困难数据（做加法）。但文章指出，真正的科学突破往往伴随着概念的压缩。MDL机制不仅过滤了无效创新，还证明了科学发现允许R^2下降、允许抛弃过去的共识（Retraction）。AI Scientist必须具备证伪并删减自我理论的勇气。 从“聊天机器人”到“严谨的科学状态机”：很多所谓AI for Science只是在使用大模型的文本补全。这篇文章告诉我们，必须把AI的操作（Tool-calling）强类型化（Typed）。只有当中间步骤变成了输入输出类型严格锁定的“态射（Morphism）”，并在全局知识图谱中留下不可篡改的血缘（Lineage），AI系统才能真正开始承担“第一作者”级别的严谨科研任务。
一句话总结:
本文提出了一种基于范畴论的智能体AI科学发现框架，利用协预层和左Kan扩展的数学语言，严格区分了常规的“搜索”与颠覆性的“范式转移”，并通过MDL门控机制和力学案例，展示了如何让AI具备自主抛弃旧理论、拓展新词汇库，并进行强类型可审计科学推理的能力。
Scientific discovery is not only answer generation but revision of the representational regime in which evidence, artifacts, operations, and verifiers are typed. We develop a category-theoretic account of agentic discovery for materials science. In a fixed regime b with schema category S_b, the system state is a copresheaf I_t: S_b -> Set, and provenance is the category of elements \int_{S_b} I_t. Fixed-regime operation is an update on such states, endofunctorial only when provenance-preserving refinements are specified and preserved. Discovery is instead a verified regime transition u: S_b -> S_b': old artifacts are preserved, transported by the left Kan extension Lan_u I_t, and compared with the post-transition state to identify residual content beyond functorial transport. This separates retrieval, search, and discovery without subjective novelty. We instantiate the framework in two systems. In Builder/Breaker, a protein-mechanics world model is revised under a Minimum Description Length gate; the accepted law expresses within-chain flexibility as all-mode elastic compliance conditioned by slow collective-mode participation, or mode-conditioned compliance. In CategoryScienceClaw, typed skills, artifacts, open needs, workflow mutation, gates, stress tests, and public discourse become a proof-carrying knowledge-computation graph. A fiber-network example records candidate models, rejected alternatives, an AIC gate, perturbation tests, and an accepted orientation-tensor anisotropic stiffness surrogate over an isotropic fiber-count descriptor. Together, the cases show how category theory can be both a mathematical language for discovery and an engineering specification for self-revising AI discovery systems.
https://arxiv.org/abs/2606.01444
3、[LG] q0: Primitives for Hyper-Epoch Pretraining
B Mandal, S Berman, A Vegesna, S Dahal
[Q Labs & Princeton University]
q0：超周期预训练原语
要点:
挑战了在数据受限（超多轮次/Hyper-epoch）时代不断精调单一模型的传统范式，主张采用受所罗门诺夫归纳法启发的策略：探索多样化的假设（模型）群落并聚合它们的预测。 在单一训练轨迹中引入了“链式蒸馏（Chain Distillation）”，即每个新快照都通过软标签向其被冻结的前身学习。反直觉的是，尽管是在完全相同的数据上向“过去的自己”学习，这却能通过“暗知识”和置信度加权梯度防止模型停滞，实现模型能力的复利式增长。 提出了一种极具反直觉的循环调度策略，使得学习率（LR）和权重衰减（WD）呈负相关。高LR/低WD鼓励激进的探索，而低LR/高WD则迫使模型在截取快照前稳定在低范数盆地中。 揭示了均匀集成（Uniform Ensembling）是次优的。通过在保留的适应度验证集上拟合学习到的泛化先验（Learned Prior），该方法基于互补性泛化来分配权重。 强调了一个非常反直觉的发现：学习到的先验经常赋予那些单个验证损失较差的快照很高的权重，仅仅因为它们能够纠正强模型产生的盲点。 展示了巨大的经验效率提升：q0方法仅用约56个epoch就匹配了强大的256-epoch集成基线（计算量减少4.6倍），并在Slowrun挑战赛设定下，验证损失的数据效率达到了约12.9倍（下游任务达到16倍）。 发现了一个用于算力分配的经验性“几何阶梯”缩放定律：最佳的并行基础模型数量 与总 epoch 预算 呈对数缩放关系（即 ）。除非预算翻倍，否则不应盲目增加并行模型的数量。
主旨： 本文旨在解决当算力增长远超高质量文本数据供应时（即数据受限的超多轮次预训练时代），如何最优分配固定数据集上的计算预算问题。论文提出，应从“不断训练单一模型”的思维转向“探索并聚合多个多样化模型”，并为此提出了 q0（Hyper-epoch预训练）框架。
创新：
快照集成与反相关LR/WD：设计了学习率与权重衰减反向交替的循环调度策略，使得在一个训练轨迹中能够极低成本地探索并收集多个高质量且具备多样性的模型快照。 轨迹内链式蒸馏：创新性地在同一个训练轨迹中，让当前周期的模型用上一个周期的模型作为软标签教师，打破了单一模型多次遍历数据后的能力天花板。 基于混合似然的泛化先验学习：摒弃了传统的均匀权重集成，提出在极小的保留数据集上优化基于混合概率对数似然的权重，联合解决了“选哪些快照”和“怎么分配权重”的难题。
贡献：
提出q0预训练框架：将快照集成、链式蒸馏和学习先验三个原语无缝结合，为超多轮次（Hyper-epoch）预训练提供了一套完整的解决方案。 极其显著的效率提升：在1.8B模型和100M tokens的规模下，仅用约1/4.6的计算量就追平了强大的独立集成基线，并在下游零样本任务上实现了高达16倍的数据效率。 提供算力分配的指导法则：通过详尽的消融实验，总结出了针对不同算力预算的最佳配置策略（从小预算的单轨末端快照，到大预算的并行轨迹对数增长法则）。
提升：
收敛速度与验证损失：q0以56个epoch的代价达到了独立训练256个epoch的基线验证损失，并在相同256个epoch预算下，将验证损失从3.0476进一步降至3.0034。 数据利用效率：在Slowrun挑战标准下，q0将基线原本约10倍的数据效率（等效1B tokens）提升至12.9倍（等效近1.3B tokens）。 下游任务表现：在ARC-Easy、PIQA和SciQ等零样本评测基准上，q0的准确率均优于强基线，平均下游任务等效数据效率达到16倍。
不足：
推理成本的线性增加：因为最终模型是K个快照的集成（Ensemble），虽然可以通过较小的K保留大部分收益，但其推理成本仍然是单个模型的K倍（尽管作者提到未来可以通过蒸馏回单模型解决，但本文未实现）。 训练期间的计算开销：链式蒸馏需要每个周期都运行一次冻结的教师模型的前向传播，虽然无需反向传播且可以被高度优化，但仍增加了实际的训练显存和时间开销。 规则可能具有规模依赖性：目前得出的 分配法则是在1.8B参数和100M数据的特定规模下得出的，在百亿或千亿参数级别的泛化性仍需进一步验证。
心得：
“闭门造车”也能突破自我（链式蒸馏的启示）：通常认为模型如果只用自己过去生成的数据进行训练会导致“模型崩溃（Model Collapse）”。但本文的“链式蒸馏”证明，如果传递的是包含概率分布的“软标签（暗知识）”，模型就能从自己过去的认知中获得类间相似度的结构信息和置信度加权，从而实现左脚踩右脚的“能力复利”。 完美的团队不需要全是完美的个人（泛化先验的启示）：在挑选集成成员时，贪心挑选单体损失最低的模型往往效果不佳。由于损失函数直接优化的是“混合概率的对数”，先验网络会主动挑选那些哪怕自身错误率高、但能在关键盲点上与主模型互补的“偏科型”快照。这在算法层面印证了“多样性胜过纯粹的优秀”这一系统工程哲学。 算力分配需要动态升维（几何阶梯法则的启示）：在资源受限时，集中力量办大事（单轨迹多快照）是最佳策略；但随着算力充裕，单轨迹会陷入边际收益递减，此时必须引入物理隔离的多样性（增加独立初始化的并行轨迹）。这种随资源对数级切换探索策略的做法，为我们在不同计算预算下训练大模型提供了极具实操价值的“菜谱”。
一句话总结:
面对大模型预训练数据耗尽、只能在有限数据上无限增加训练轮次（Hyper-epoch）的困境，本文提出了q0框架，通过“反相关学习率/权重衰减”实现低成本快照采样、“链式蒸馏”实现模型能力的自我复利、“学习先验”挑选互补型快照，彻底打破了单模型多轮训练的收益瓶颈，反直觉地证明了“向过去的自己学习”和“重用表现较差的互补快照”能带来高达16倍的等效数据效率提升。
Multi-epoch training is becoming the standard now that compute is growing faster than the supply of high-quality text. But pretraining a single model saturates within a few passes, long before the compute budget is exhausted. We argue this calls for a conceptual shift from training a single model toward exploring a population of models and aggregating their predictions. We introduce hyper-epoch pretraining (q0), which turns a multi-epoch budget into a population of diverse models whose combined predictions reach a lower validation loss than a single refined model. q0 reduces to three core primitives. A cyclic schedule with anti-correlated learning rate and weight decay collects diverse models from a few parallel trajectories. Chain distillation trains each model against its predecessor so that model quality compounds across the population. A learned prior, fit on a held out set, selects and weights members for any inference budget. On a 1.8B-parameter model trained on 100M FineWeb tokens, q0 matches a strong 256-epoch ensemble baseline using only ∼56 epochs (∼4.6× fewer), or ∼67 epochs (∼3.8× fewer) when matched to the baseline’s ensemble size, and continues to improve beyond it. These gains reach cumulative ∼12.9× data efficiency under the Slowrun setting and transfer to downstream benchmarks. Crucially, the optimal allocation shifts with the budget, so we give prescriptive recipes for how to spend a given epoch budget to maximize generalization, from a single epoch up to the largest budgets. Figure 1: q0 converges substantially faster and to a lower loss across all epoch budgets, and the advantage is largest in the practically relevant small-to-medium-epoch regime where most training actually operates.
https://arxiv.org/abs/2606.03938
4、[RO] GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors
T Xie, H Zhang, J Park, Z Wang,…
[NVIDIA]
GRAIL：基于3D资产与视频先验的类人机器人移动-操作生成
要点:
解决了人形机器人移动操作（loco-manipulation）中关键的数据瓶颈问题：传统的数据收集（遥操作/动捕）需要繁琐的物理场景搭建和机器人操作，难以扩展。 提出了GRAIL，一个完全数字化的数据生成管线。它从3D资产和视频先验中合成人-物交互（HOI）数据，完全不需要重建物理场景或进行遥操作。 采用了一种反直觉的“资产条件化（Asset-Conditioned）”方法：GRAIL不是从无约束的野生视频中重建充满歧义的4D场景，而是首先设定一个完全确定的3D配置（已知物体几何形状、相机参数、公制尺度、深度，以及一个与机器人比例一致的虚拟角色），然后再生成视频来指导重建。 巧妙地将视频基础模型（VFMs）纯粹用作交互先验，基于渲染出的3D初始帧来合成固定视角的参考视频。 提出了一种交互感知的4D HOI重建方法，将人体和物体的轨迹锚定到具有特权的3D配置上，极大地减少了深度歧义、悬空接触（floating contacts）和形态不匹配的问题。 基于预训练的全身控制器（SONIC）开发了任务通用型的跟踪策略。它通过在相关的轨迹池中摊销学习成本，避免了为每个序列单独拟合控制器。 使用了两种互补的控制器特化方案：“物体感知的潜在适配器”（在保持基础控制器冻结的同时，调制潜在token以进行操作）和“场景感知的跟踪器”（使用高度图编码器微调控制器以进行地形穿越）。 生成了一个包含超过20，000个符合物理规律的移动操作序列的庞大数据集，涵盖了拾取、全身操作、坐下和地形穿越等任务。 成功实现了从仿真到现实（sim-to-real）的部署：*完全仅使用- GRAIL 生成数据训练的第一人称视觉策略，在 Unitree G1 人形机器人上实现了 84% 的真实世界物体拾取成功率和 90% 的爬楼梯成功率。
主旨： 本文旨在解决人形机器人移动操作（loco-manipulation）技能学习中面临的严重数据短缺问题。传统的物理演示收集成本高昂且难以扩展。为此，论文提出了GRAIL框架，通过一种完全数字化的管线，将3D资产、视频生成先验和基于物理的全身控制结合起来，大规模、低成本地生成可直接用于机器人策略训练的高质量、符合物理规律的4D交互数据，并最终在真实机器人上完成部署。
创新：
先验逆转（Asset-First Generation）：打破了常规的“先找野生视频，再艰难重建3D”的范式。GRAIL创新性地先构建拥有绝对“上帝视角”（几何、相机、深度已知）的3D场景，再让视频大模型基于此生成动作视频，将最困难的3D重建问题转化为在强已知约束下的优化问题。 目标一致性替身（Robot-Proportioned Character）：在生成和重建阶段直接使用与目标机器人（Unitree G1）比例相匹配的虚拟人体资产，从源头上大幅消除了人类到机器人（Human-to-Humanoid）的形态学重定向误差。 双模态全身控制适配（Task-General Tracking）：针对预训练的全身控制器提出了两种截然不同但互补的适配策略：对于精细操作任务，采用“冻结主体+潜在空间注入调制”的非破坏性适配；对于地形穿越任务，采用“引入高度图+全局微调”的场景感知适配。
贡献：
全链路数字化数据生成框架：构建了GRAIL系统，首次实现了从3D资产输入到真实世界机器人策略部署的端到端自动化流程，彻底摆脱了对物理遥操作和动捕场地的依赖。 超大规模移动操作数据集：自动生成了超过20，000个涵盖拾取、移动搬运、坐下、爬楼梯等复杂移动操作任务的4D HOI高质量序列。 交互感知的联合优化算法：提出了一套结合关键点、对象投影、深度对齐和接触对齐的优化算法，显著提升了合成视频重建到物理世界的成功率和物理真实度。 真实的Sim-to-Real验证：证明了完全由数字资产和生成式AI合成的数据，足以支撑训练出能够在真实物理世界（Unitree G1）中以极高成功率完成复杂任务（84%抓取，90%爬楼梯）的第一人称视觉策略。
提升：
物理可执行性（Physical Executability）：相比于现有的HOI生成基线（如HOIDiff， CHOIS， DAViD），GRAIL生成序列在物理仿真器中的跟踪成功率（SR）高达88.9%，远超次优方法的24.0%，且身体和物体的偏差最小。 策略通用性与跟踪精度：相比于为每个任务训练独立策略的基线（如HDMI， ResMimic），GRAIL的任务通用策略在抓取成功率上达到了81.4%（优于基线的49.2%），并将对象位置误差从0.283m降低至0.135m。 现实世界部署性能：在没有任何真实世界遥操作数据的情况下，仅依靠GRAIL生成的仿真数据，真实机器人的复杂地形穿越（爬楼梯）成功率达到90%，对未见过的物体的抓取泛化成功率也达到了80%。
不足：
对VFM的严重依赖：管线高度依赖视频基础模型（如Kling）生成交互的合理性。如果VFM生成的动作违背物理常识或出现严重的外观畸变，后续的重建过滤机制虽然能剔除失败案例，但会导致计算资源的浪费（丢弃率不容忽视）。 严重遮挡或快速运动下的退化：重建算法在面对严重的自遮挡、手部遮挡物体或极快运动时，仍会出现质量下降的问题。 跨任务族的迁移成本：虽然“任务通用跟踪器（Task-General Tracker）”在相关轨迹池（如同为抓取任务）内分摊了学习成本，但当面临全新的运动家族时，依然需要耗时的重新训练或微调。
心得：
“降维打击”式的工程智慧：论文最吸引人的地方在于它放弃了硬磕“从无约束野生视频中重建完美3D”这个CV界的圣杯，而是巧妙地“作弊”——先在仿真里搭好拥有全部真值（Ground Truth）的架子，再让视频模型“填色”生成动作。这种给生成模型强物理约束的思路，完美规避了生成视频在深度和尺度上不可靠的致命弱点，是AI for Robotics极为高明的一步。 基础模型作为“物理引擎的想象力”：传统物理仿真器无法自己凭空想象出人类如何拿起一个奇怪形状的杯子。GRAIL将大语言模型（LLM）用于生成交互Prompt，将视频基础模型（VFM）当作“想象力引擎”，而将传统的物理仿真（Isaac Lab）和控制器（SONIC）当作“现实校验器”。这种不同AI范式的各司其职令人拍案叫绝。 不要为了泛化而破坏底座（非破坏性微调的启示）：在让机器人学会手部操作时，作者没有选择整个网络一起微调，而是冻结了底层的全身平衡控制网络，只在一个极小的“潜在残差（Latent Residual）”空间做注入。这启发我们在做具身智能的复杂任务叠加时，保持底层生命体征（如站立行走）的稳定性往往比学习新技能更重要。
一句话总结: 面对人形机器人数据采集昂贵的痛点，GRAIL开创性地提出了一种“先构建全知3D场景，后生成视频引导”的逆向生成管线，仅凭虚拟数字资产和视频大模型的先验“想象”，便成功批量合成了两万多条极高物理真实度的移动操作数据，并令人惊叹地仅靠这些纯虚拟数据就让真实的Unitree G1机器人学会了爬楼梯和精准抓取。
Scaling humanoid loco-manipulation requires robot-compatible demonstrations across diverse objects, whole-body motions, and scene geometries, but teleoperation and motion capture are difficult to scale because each collection depends on physical setups, instrumented actors, and robot operation. We present GRAIL, a digital generation pipeline that remains fully virtual until deployment: it composes 3D assets, simulator-ready scenes, and priors from video foundation models (VFMs) to synthesize interactions without rebuilding physical environments or teleoperating the robot. Rather than reconstructing unconstrained in-the-wild videos, GRAIL starts from fully specified 3D configurations in which object geometry, camera parameters, metric scale, environment depth, and a robot-proportioned character are known before video generation and reused during reconstruction. This privileged setup better conditions 4D recovery, allowing model-based object tracking, human motion estimation, and interaction-aware optimization to reconstruct metric 4D human-object interaction (HOI) trajectories with reduced depth ambiguity and morphology mismatch. We retarget the recovered motions to a humanoid robot and train complementary task-general trackers: an object-aware latent adaptor for manipulation and a scene-aware tracker for terrain traversal. GRAIL produces over 20,000 sequences spanning pick-up, whole-body manipulation, sitting, and terrain traversal. Using only GRAIL-generated data, we train egocentric visual policies through a sim-to-real pipeline and deploy them on a Unitree G1 humanoid, achieving 84% real-world success on diverse object pick-up and 90% success on stair-climbing.
https://arxiv.org/abs/2606.05160
5、[LG] Strong Stochastic Flow Maps
S McCallum, Z W. Blasingame, T Herschell, N Rindtorff…
[University of Bath & AITHYRA]
强随机流映射
要点:
挑战了当前随机流映射（Stochastic Flow Maps）的主流范式。现有方法通常只学习SDE的“弱”解（仅匹配边缘分布），而本文提出学习“强”解（针对特定的布朗运动实现，精确匹配其整条采样轨迹）。 提出了一种极具反直觉的将连续布朗运动输入神经网络的方法：不使用密集、离散的分段线性近似（这需要过多步数），而是将布朗路径投影到基于平移勒让德多项式的展开式上，并将多项式的“系数”作为网络输入。 巧妙利用了粗糙路径理论（Rough Path Theory）中的“Chen关系（Chen relations）”：这是一种代数性质，允许将两个相邻时间子区间的布朗多项式系数精确合并为一个大区间的系数，从而在训练时彻底免除了自回归模拟的需要。 提出了一种免模拟的自蒸馏目标函数，通过结合瞬时Euler-Maruyama匹配损失（锚定漂移和扩散系数）与宏观的半群条件（Semigroup condition，确保时间上的流一致性），唯一地确定了Itô映射。 在物理科学应用中展示了巨大的计算效率提升：仅需1到2次网络函数评估（NFE），就能生成精确的平衡态分子构象（丙氨酸二肽和全原子Chignolin），性能媲美需要1000步的标准扩散模型。 实验证明，在极低采样步数下，强制执行严格的路径一致性（强收敛）能比近期提出的弱随机流（如GLASS、Diamond Maps）在图像生成（CIFAR-10， CelebA-64）上获得更好的生成质量（更低的FID）。
主旨： 本文旨在解决扩散模型等基于随机微分方程（SDE）的生成模型在推理时需要大量积分步数（NFEs）的问题。文章提出了一种名为“强随机流映射（SSFM）”的新框架，通过学习加性噪声SDE的“强（路径级）解映射”，将确定性流映射直接推广到随机场景，从而实现极少步数（甚至1-2步）的高质量采样。
创新：
从“弱收敛”到“强收敛”的范式转变：首次在流映射生成模型中提出学习SDE的强解（Itô映射），而非仅仅匹配边缘分布的过渡核（弱解）。 布朗运动的正交多项式表征：使用平移勒让德多项式来逼近布朗运动，将不可导、无限变差的随机过程转化为少量独立正态分布的多项式系数，使网络能够高效“读取”随机路径。 基于Chen关系的免模拟自蒸馏：利用粗糙路径理论中的Chen关系，实现了时间区间的代数级拼接，构造了满足半群属性的免模拟训练目标。
贡献：
理论上构建了学习加性噪声SDE强解映射的完整框架，并证明了基于勒让德多项式的布朗运动近似在 -Hölder 距离下的路径收敛性及其系数的解析性质。 提出了基于Euler-Maruyama瞬时步和半群条件拼接的自蒸馏训练算法，摆脱了对预训练教师模型或高昂SDE数值积分的依赖。 在图像生成基准测试中，SSFM在极低步数下刷新了随机流映射的SOTA表现；在分子构象生成任务中，实现了1000倍的加速（从1000步降至1-2步），展示了该方法在AI for Science领域的巨大潜力。
提升：
图像生成效率与质量：在CIFAR-10和CelebA-64上，2-16步的FID得分全面超越现有的弱随机流映射（如GLASS、Diamond Map），且部分指标优于确定性流映射。 分子系统采样极速化：在Alanine-Dipeptide（ALDP）和全原子Chignolin数据集上，SSFM在仅需 1-2 个NFE的情况下，其PMF误差、JS散度及Wasserstein距离即可媲美传统扩散模型运行1000步的结果。
不足：
适用范围限制：目前的理论和实验仅在“加性噪声（Additive-noise）”SDE上验证，尚未推广到具有状态依赖扩散项（State-dependent diffusion）的更复杂SDE。 超参数敏感性：多项式截断的阶数 会引入截断误差，在实际应用中需要作为超参数进行精细调优（文中实验大多固定为 ）。 缺乏超大规模验证：图像实验局限于低分辨率（CIFAR-10， CelebA-64），尚未在ImageNet级别的高分辨率及复杂数据集上证明其可扩展性。
心得：
约束越强，泛化越好（强解优于弱解）：在生成模型中，直觉上我们认为只要最终生成的分布（边缘分布）对就行了（弱解）。但本文反直觉地证明，如果强制要求模型去拟合每一条具体的随机噪声轨迹（强解），这种更严格的数学约束反而起到了强大的正则化作用，使得模型在极少步数下的表现更加稳定和优异。 用函数空间的视角处理离散时间序列：处理布朗运动（随机游走）时，常规思路是切分时间步（离散化）。本文则跳出这一思维，在连续函数空间中将其投影到正交多项式基底上。这启发我们：在深度学习中处理极其复杂的连续时间过程时，谱方法（Spectral/Polynomial Projections）的效率远高于密集的点阵离散化。 纯数学理论对工程的降维打击：利用粗糙路径理论（Rough Path Theory）中的Chen关系，直接从代数层面实现了时间段的“缝合”，完美避开了深度学习中极其耗时的自回归展开（Unrolling）训练。这再次证明了高阶现代数学工具在设计高效深度学习目标函数时能够提供“降维打击”般的优雅解法。
一句话总结: SSFM框架创新性地利用勒让德多项式对布朗运动进行参数化表征，并通过免模拟的自蒸馏算法学习SDE的“强（路径级）解映射”，从而在图像生成和分子系统平衡态采样中实现了兼具极高精度与极低步数（仅需1-2步）的突破性生成效率。
low and diffusion models generate high-quality samples in many modalities; however, many network evaluations are required during inference due to numerical integration of an underlying differential equation. Flow maps alleviate this problem by learning the solution map of the differential equation directly, enabling few-step sampling. Yet, current methods are restricted to approximating the solution map of ODEs. These methods can be used to learn the transition kernel of an SDE, thereby obtaining a solution map that recovers the marginal distributions of the process (weak convergence) rather than the solution path (strong convergence). We propose Strong Stochastic Flow Maps (SSFMs) as a novel framework for learning the strong solution map of additive-noise SDEs, directly generalizing deterministic flow maps to the stochastic setting. Further, a polynomial approximation to Brownian motion is introduced and shown to converge pathwise. These results enable a simulation-free training objective for the solution map of diffusion models. We demonstrate that SSFMs outperform previous stochastic flow map methods on image generation and enable few-step sampling of molecular systems.
https://arxiv.org/abs/2606.01086
