文档OCR并行化提速，单流音视频模型压到2秒出片

核心结论

• • 文档OCR开始摆脱自回归串行瓶颈。 MinerU-Diffusion把文档解析改写成“从渲染结果反推源码”的逆过程，用扩散式并行解码把速度拉高到原来的 3.2 倍。
• • RL 训练的关键线索正在从“更新有多大”转向“更新朝哪走”。 RLVR 研究发现，token 级 Δlog p 的方向信息，比传统幅度指标更能解释推理能力为何提升。
• • 多任务微调存在大量被忽略的无效算力。 mSFT 通过动态移除已过拟合的数据子集，在有限预算下同时拿到更好效果和更低 FLOPs。
• • 视频 GRPO 难训，不只是调参问题，而是探索路径偏离数据流形。 SAGE-GRPO 用流形约束探索和双信赖域机制，显著改善了训练稳定性。
• • 音视频联合生成未必需要复杂多流结构。 daVinci-MagiHuman 直接把文本、视频、音频统一成单序列处理，在标准 Transformer 上就做到了单卡 H100 约 2 秒生成 5 秒视频。

重点解读

01 多模态：OCR 也许更像“逆向渲染”，而不是“逐字读取”

传统文档 OCR 大多默认一个前提：结构化内容必须按照从左到右、从前到后的顺序逐步吐出。但 MinerU-Diffusion 换了一个观察角度——既然 PDF 本质上是 Markdown 等源码经过渲染得到的版面结果，那么反过来，完全可以把 OCR 视为“从最终版面反推出原始结构”的逆渲染任务。

基于这一思路，作者用分块式扩散解码器替代了逐 token 的自回归解码，让模型可以并行恢复文档结构，而不是排队生成。为了解决长序列训练容易失稳的问题，论文还引入了不确定性驱动的课程学习机制，让模型先学容易部分，再逐步覆盖更难样本。

结果并不只是理论上更优雅，而是非常工程化：相比自回归基线，解码效率提升 3.2 倍，同时鲁棒性也更强。更有意思的是，团队设计了 Semantic Shuffle 测试，专门检验模型到底是在理解版面，还是只是靠语言先验“猜”内容；扩散方案在这类测试中表现更稳，说明它确实更依赖视觉结构理解。

判断： 这不是普通的小优化，而是文档解析范式从串行生成向并行恢复的一次迁移。对长文档处理、票据解析、知识库入库等场景，这种速度收益有直接业务价值。

来源：MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding论文链接：https://arxiv.org/abs/2603.22458v1

02 推理强化学习：真正重要的，可能不是更新幅度，而是更新方向

过去分析 RLVR 时，大家通常会盯着 KL、熵或者 log probability 变化幅度这类量，默认“改动越明显，作用越关键”。但这篇工作提出了一个不同视角：对推理结果起决定作用的，也许并不是某个 token 被改了多少，而是它究竟朝着正确方向还是错误方向移动。

论文通过统计分析和 token 替换实验发现，token 级 Δlog p 的正负方向，比单纯的数值大小更能识别出那些稀疏但关键的更新位置。基于这个结论，作者顺手给出两套很实用的做法：其一是在推理阶段沿着 Δlog p 的方向做外推，以提升最终答案准确率；其二是在训练阶段对低概率 token 增加权重，让学习过程更聚焦于真正难学的位置。

这类改进的优点在于门槛低——不需要重做模型结构，也不要求额外复杂模块，更多像是在已有 RLVR 流程上补了一套“方向感知”的分析与调优工具。

判断： RLVR 的研究焦点，正在从“奖励是否有效”进一步下沉到“更新是如何作用于推理链条的”。如果这一视角被后续工作验证稳固，它可能会成为 RL 调参中的一套基础诊断框架。

来源：On the Direction of RLVR Updates for LLM Reasoning: Identification and Exploitation论文链接：https://arxiv.org/abs/2603.22117v1

03 训练优化：多任务微调真正浪费的，是对“已经学会的数据”反复投入算力

多任务微调常见的默认做法，是把多个子数据集混在一起，用统一轮次和统一策略训练到底。但现实里，不同任务的收敛速度差异极大：有的数据集很快就过拟合了，有的却还处在有效学习区间。若仍然平均分配算力，本质上就是把训练预算持续投向收益已经接近零的部分。

mSFT 的思路很直接：在训练过程中持续监控各个子数据集的状态，一旦发现某个数据集最早进入过拟合区间，就把它移出后续训练，并回退到该数据集表现最好的 checkpoint，再继续优化剩余任务。

这种方法听起来不花哨，但价值恰恰在于朴素。论文在 10 个 benchmark、6 个基座模型上的结果显示，它稳定优于多种 baseline，而且对额外超参数并不敏感。更关键的是，在低预算条件下，它不是“多花钱换更好结果”，而是边省算力边提效果。

判断： mSFT 说明多任务训练的优化重点，未必在更复杂的混合采样器，而在于先承认不同任务学习节奏并不一致，再动态分配预算。对算力紧张团队，这类方法比追求极限 SOTA 更实用。

来源：mSFT: Addressing Dataset Mixtures Overfitting Heterogeneously in Multi-task SFT论文链接：https://arxiv.org/abs/2603.21606v2

04 视频生成：GRPO 之所以容易崩，是探索轨迹跑出了预训练流形

视频生成里的强化学习训练长期不稳定，很多团队把问题归结为奖励噪声大、超参数敏感或 rollout 质量不稳。但 SAGE-GRPO 把问题解释得更结构化：在把 ODE 式确定性采样改成带噪声的 SDE 探索后，模型采样轨迹会偏离预训练模型原本习惯的数据流形。轨迹一旦跑偏，生成质量先下降，奖励估计随之失真，最终训练整体失去支撑。

论文的解决办法不是一味减少探索，而是让探索“沿着流形”发生。微观层面，它用对数曲率修正构造出更符合流形结构的 SDE；宏观层面，又加上双信赖域约束，避免策略更新步子迈得太大。二者结合，等于一手限制探索方向，一手控制更新距离。

在 HunyuanVideo1.5 上，方法在视频质量、文本一致性以及多个视觉指标上都优于已有做法。虽然还需要更多模型上的泛化验证，但至少这个解释框架已经把“为什么视频 RL 难”讲得更清楚了。

判断： 这篇工作的启发不在于又多了一个视频 RL 技巧，而在于它说明：语言模型里可用的 RL 配方，迁移到连续生成模型时，很可能会因为底层流形结构不同而失效。

来源：Manifold-Aware Exploration for Reinforcement Learning in Video Generation论文链接：https://arxiv.org/abs/2603.21872v1

05 模型架构：把多模态统一成单序列，反而换来更快更稳的生成系统

很多音视频生成系统喜欢往架构里继续叠模块：多流编码器、跨注意力桥接、模态专用对齐层……设计越来越复杂，但工程维护和推理优化也随之变重。daVinci-MagiHuman 走了完全相反的一条路：直接把文本、视频、音频都编码成统一 token 序列，用标准 self-attention 一把处理。

这种“减法式”设计带来的最大好处，是整个系统重新回到标准 Transformer 工程栈上。蒸馏、latent 超分、Turbo VAE 等优化手段都能直接叠加，无需为多流同步和跨模态桥接维护一套特殊逻辑。论文给出的结果也足够有说服力：单张 H100 约 2 秒即可生成 5 秒视频，人类评估对 Ovi 1.1 取得 80% 胜率，语音可懂度 WER 也压到了较低水平。

更重要的是，作者不是只放一篇论文，而是把基础模型、蒸馏版本、超分模型和推理代码都开源出来，意味着这套路线具备实际复现和二次开发条件。

判断： 多模态生成正在出现一个反直觉趋势：不是结构越复杂越先进，而是越接近统一表达、越容易获得速度、稳定性和可维护性的综合优势。

来源：Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model论文链接：https://arxiv.org/abs/2603.21986v1

也值得关注

06 · 语音对话模型开始具备“按时长作答”的能力TiCo 聚焦语音助手落地中的一个高频需求：系统需要在明确时长限制下生成回复，而不是内容对了却时长失控。MIT 给出了一套可开源复现的 post-training 方案。论文链接：https://arxiv.org/abs/2603.22267v1

07 · 手-物交互建模朝统一 sim-to-real 框架收敛PAM 试图把原本分散处理的姿态、外观和运动问题纳入同一生成框架，推动机器人手-物交互从多条孤立路线走向一体化建模。论文链接：https://arxiv.org/abs/2603.22193v1

今日观察

今天最值得注意的共性，不是某一篇论文单点突破，而是生成式 AI 的工程优化正在持续下沉到“中间机制层”。

MinerU-Diffusion 解决的是文档解析为何必须串行；RLVR 方向分析讨论的是推理强化学习真正起作用的更新机制；mSFT 处理的是多任务训练内部的预算错配；SAGE-GRPO 解释的是视频强化学习为什么从探索阶段就开始跑偏；单流音视频模型则说明，很多看似“必需”的多模态专用结构，其实可能只是复杂性的惯性堆积。

把这些工作放在一起看，可以得到一个很清晰的判断：下一阶段的竞争，不再只是“模型能不能做”，而是“系统内部哪些环节是历史包袱，哪些机制才是真正有效的”。

对团队而言，这意味着两个实操建议：

• • 先做机制诊断，再做大规模投入。 不管是 RL、SFT 还是多模态建模，先定位真正约束性能的结构性瓶颈，比盲目扩大数据和算力更值钱。
• • 优先关注能减少复杂度的创新。 这类方法往往不只带来一点指标提升，更会改善训练稳定性、工程维护成本和部署效率。

一句话总结今天：AI 研发的 alpha，越来越藏在“把系统重新讲对”的能力里，而不只是继续往上堆模块。

编辑：孟杜翀｜整理自 AI论文简报当日公开论文线索，仅做二次梳理与观点提炼。