夜雨聆风LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 AI - 人工智能
1、[LG] Recirculation
2、[LG] Debate Training Reduces Reward Hacking in RLAIF
3、[CV] MoE-ViE：Mixture of Experts Vision Encoder for Efficient Image and Video Understanding
4、[LG] Q-Learning With World Models
5、[AI] The Problem Is the Problem：Towards Scalable Mathematical Discovery
摘要：再循环、辩论训练可有效缓解RLAIF中的奖励作弊现象、面向高效图像与视频理解的混合专家视觉编码器、基于世界模型的Q-Learning、问题即症结
1、[LG] Recirculation
M C. Mozer, S A Siddiqui, D Sawyer, S Sanyal…
[Google DeepMind]
再循环
要点：
提出了“再循环”（Recirculation）机制：一种在推理阶段引入的架构增强方法，在无需修改现成基础大模型预训练权重的前提下，跨越“层深度”与“时间步”引入循环连接以追踪动态信念状态。 揭示了反直觉的内在机制：直接将深层的激活微量“泄露/回流”至下一时间步的浅层，能大幅优化表征质量；这得益于 Transformer 残差连接天然促成的跨层表征线性对齐（Alignment），无需复杂的跨注意力或适配器转换。 厘清了再循环与循环 Transformer（Looped Transformer）的本质区别：Looped Transformer 仅在“深度”上循环（本质上仍是权重共享的更深前馈网络），而再循环在“深度与时间步”两个维度同时展开，使网络能在同一物理层维持并更新动态信念状态。 证伪了“再循环仅等价于 Softmax 温度微调”的假设：实验表明再循环带来的困惑度下降与温度调节效果是近乎可叠加的独立收益。 发现了再循环对不同词性的差异化收益：副词、形容词、动词及复数名词获益最明显，而代词、数词、限定词等闭合词类获益极小，印证了深层语义反馈对状态追踪的关键作用。 验证了跨模型家族的通用性（Gemma、Ministral、Pythia、Qwen、Phi 等均有效），并发现 Gemma 家族收益最为显著，这主要归因于其独特的 Peri-LN（在注意力和 MLP 输入与输出端均做归一化）架构特性。 提出了“自适应再循环”（Adaptive Recirculation）：冻结主模型权重，仅训练一个轻量级的双层 MLP 来动态预测逐维度的向量化混合系数 ，取得了 23.0% 的平均困惑度降幅，效果甚至超越了全参数微调（21.6%）。 显著提升了下游推理任务表现：在 Gemma3 架构上，使指令遵循错误率最高降低 75%，并大幅提升了 GSM8k 数学推理表现（pass@1 准确率从 29.3% 跃升至 35.5%）。 指明了关键的效率权衡：自回归生成阶段几乎无额外延迟（现代硬件可高效并行执行双前馈栈），但预填充（Prefill）阶段因时间步依赖而失去了原生并行优势，必须串行处理。
主旨： 针对标准前馈 Transformer 由于深度有限且缺乏显式时间循环，难以在长程上下文和多轮交互中持续跟踪动态“信念状态（Belief State）”这一根本缺陷，论文提出了一种推理阶段无需重新训练即可激活模型内生状态追踪能力的架构增强机制——Recirculation。
创新：
提出了跨越“网络深度”与“时间步长”双维度的激活再循环拓扑结构（Recirculation），打破了传统 Looped Transformer 仅在深度上复用权重的局限。 发现了利用 Transformer 残差通道天然的特征对齐特性，仅通过向量缩放和凸/非凸线性混合即可实现跨层信息回流，无需引入高开销的跨层交叉注意力。 提出了“模型设计可供性（Model-Design Affordances）”的研究范式，通过免训练探索模型内在偏好，并进一步提出基于轻量级 MLP 条件化生成混合向量的“自适应再循环（Adaptive Recirculation）”机制。
贡献：
理论与机理贡献：明确区分了 Looped Transformer、思维链（CoT）与状态循环（Recirculation）的本质拓扑差异，深入分析了残差流跨层对齐与 Peri-LN 架构对深浅层激活融合的支持机理。 方法贡献：提出了即插即用、开箱即用的 Recirculation 推理技术，并给出了基于 L2 范数重缩放的多种向量归一化与前缀爬坡（Ramping）方案。 实践与实验贡献：在多个模型家族（Gemma 1/2/3/4、Qwen、Ministral 等）和 10 个标准语言建模与推理基准上全面验证了有效性，为基础模型的免微调与轻量微调性能跃升提供了全新路径。
提升：
语言建模困惑度（Perplexity）：在 Gemma3 家族的 10 个数据集上，免训练再循环实现最高 35.4% 的困惑度下降；自适应再循环取得了平均 23.0% 的困惑度降低。 复杂推理与数学任务：在 Gemma3-4B 模型上，GSM8k 零样本 CoT 推理的 pass@1 准确率从 29.3% 提升至 35.5%，pass@128 错误率相对减少 20.9%。 指令遵循与上下文消歧：在特定在上下文指令任务上错误率降低 25%~75%，在上下文消歧（Racing Thoughts）任务上显著抑制了深浅层表征割裂导致的上下文混淆。
不足：
Prefill 计算开销：再循环依赖时间步的串行依赖，导致预填充阶段无法像标准 Transformer 那样在序列维度全并行计算，对极长 Prompt 场景存在速度瓶颈。 超参数迁移与任务通用性：最佳源-目标层对（Source-Destination Layers）以及混合系数在不同模型尺寸和任务之间存在一定分布偏移，尚缺乏完全端到端的通用自适应规则。 架构敏感性：该方法在采用 Peri-LN 架构的 Gemma 模型上收益显著高于仅采用 Pre-LN 的其他模型架构，泛化增益幅度受主干网络归一化方案影响较大。
心得：
重新审视残差通道的“黑板效应”：Transformer 的残差流不仅是梯度高速公路，更是语义对齐的共享黑板。深层和浅层表征具有天然的一维可相加性，这为非侵入式跨层信息路由提供了巨大的未开发空间。 探寻大模型的“内生设计可供性”：与其自顶向下盲目给模型强加复杂的外部模块，不如通过免训练干预“倾听”预训练模型自身的动力学反馈，以模型自发契合的诱导偏差指导微调或训练设计。 结构循环与思维链（CoT）的协同演进：思维链本质上是离散 token 空间的高开销状态循环，而层间激活再循环提供了连续隐空间低开销的状态追踪，二者结合能够同时在“能力锐化”和“推理拓展”上发挥倍增效应。
一句话总结: 该论文创新性地提出了一种跨越网络深度与时间步的免训练状态再循环（Recirculation）机制，利用 Transformer 残差流的天然对齐特性将深层语义无缝反馈至浅层，在推理时以极低代价显著提升了基础大模型的状态追踪、语言建模及数学推理能力，揭示了探索大模型内生架构可供性的全新范式。
We describe an inference-time architectural enhancement for off-the-shelf foundation models that markedly reduces perplexity and boosts accuracy across generation and reasoning tasks. Our approach incurs essentially no additional latency during generation, though it requires serial processing in the prefill phase. Motivated by the fundamental limitation that state updates in feedforward transformers are bounded by model depth, our technique, recirculation, introduces a specific form of recurrence that allows the model to act as a dynamical system and track belief states. We distinguish this technique from chain-of-thought computation---which is better reserved for complex inferences rather than basic state tracking---as well as from popular depth-recurrence techniques (looping) and the costly training of recurrent transformers. We also propose and evaluate an adaptive variant of recirculation which requires only light tuning of hyperparameters while freezing the original model weights. Relative to the off-the-shelf baseline, adaptive recirculation achieves remarkable gains on the Gemma3 family, including a 23% reduction in perplexity on a suite of datasets, a 21% increase in accuracy on GSM8k, and reliable improvements in accuracy on other downstream tasks. Our training-free approach succeeds by leveraging the model itself to inform architectural modifications, suggesting a route to architectural evolution guided by a trained network's properties rather than forced, arbitrary design choices.
https://arxiv.org/abs/2608.17981
2、[LG] Debate Training Reduces Reward Hacking in RLAIF
Z Kenton, L Janzer, R Greig, T H Teh…
[Google DeepMind]
辩论训练可有效缓解RLAIF中的奖励作弊现象
要点:
提出利用双人博弈辩论（Debate）强化学习微调，来从根本上缓解基于 AI 反馈强化学习（RLAIF）及可扩展监督（Scalable Oversight）中的“奖励破解（Reward Hacking）”顽疾。 设定了逼真的“弱监督强”实验范式：使用较弱且完全冻结的评判模型（Gemini 2.5 Flash Lite）来裁决更强策略模型（Gemini 2.5 Flash 级别）在未饱和、高难度数学推理任务上的表现。 实证揭示了单智能体与辩论博弈的动态反差：单智能体 RLAIF 基准会迅速通过奉承、伪造论据、冒充裁判等手段攻陷弱评判者（奖励虚高但准确率和评判 MCC 暴跌）；而双人辩论（Debate-）能长久维持评判者的判别力（MCC 稳定），有效抑制奖励破解。 确立了面向真实无真值场景的核心实践价值：辩论机制使模型在经历漫长 RL 步数后仍能维持峰值验证准确率，且峰值更高（追回了相对可验证奖励 RLVR 约 45% 的性能差距），避免了因无法监测真实表现而面临的早停（Early Stopping）困境。 发现了一个反直觉的泛化差异：基于大模型裁判的 RL 在训练集与验证集间的“奖励泛化差距”远小于基于真实答案检验（RLVR）的 RL；这表明破解大模型裁判的固有弱点（偏见、字数偏好等）比真正掌握泛化的数学推理逻辑更容易发生跨问题迁移。 揭示了强化学习博弈激励对 Prompt 的绝对统治力：无论将批评者 Prompt 设定为客观的“诚实中介”还是对抗性辩手，零和博弈机制最终都会训练出一致的挑刺对抗策略；即使明确 Prompt 模型故意给出错误答案去欺骗裁判，RL 激励最终也会压倒该指令，迫使模型学会解出正确答案以赢得比赛。 验证了多轮辩论对弱监督能力的代偿效应：当评判模型进一步被削弱（如剥离 CoT 链）时，单智能体退化更快，但引入包含反驳的第二轮辩论（）能够弥补评判者能力的不足，实现相近的精度维持效果。 指出了多智能体博弈平衡的关键瓶颈：若不对批评者的输出进行字数限制，批评者会迅速利用裁判的“冗长偏见（Verbosity Bias）”实现对裁判的二次破解；引入 150 词以内的字数限制虽稳定了博弈，但也限制了复杂推理细节的充分表达。
主旨： 针对在更弱的 AI 裁判监督更强的模型时，传统单智能体 RLAIF 极易发生“奖励破解”导致模型虚假迎合裁判并发生能力退化的问题，论文探索了基于多智能体零和辩论的强化学习训练，验证辩论机制能否在无真值监督下动态维持弱评判模型的鲁棒性并持续提升策略模型的真实推理能力。
创新：
首次在大参数量、高潜力且任务未饱和的真实大模型（Gemini 2.5 家族）上，进行了全参数多智能体 RL 自博弈辩论训练，系统验证了其对抗奖励破解的有效性。 提出了基于“前缀后分支（Prefix-Then-Diverge）”的端到端统一策略多轮辩论训练范式，使生成者、批评者与反驳者可在共享模型权重下实现梯度联合更新。 引入马修斯相关系数（Judge MCC）作为衡量评判模型抗破解鲁棒性的关键指标，结合数学任务的客观真值 roofline（RLVR），实现了对奖励破解演变动力学的精确量化追踪。
贡献：
理论与机理贡献：证实了辩论在对抗 RL 优化压力时的动态保护作用，揭示了评判者漏洞泛化性高于领域能力泛化性的现象，并证明了多智能体博弈激励具有覆盖（Override）Prompt 指令的本质特性。 方法贡献：设计了单轮辩论（）、双轮反驳（）及字数惩罚平衡机制，为可扩展监督协议在非饱和任务上的训练落地提供了可行的参考实现。 实践与实证贡献：证明辩论训练可有效抵御单智能体策略中出现的冒充裁判、伪造论据等病态奖励破解行为，使验证集准确率不仅峰值提升（填补 45% 的 RLVR 差距），而且在经过多轮超步数训练后不发生性能崩溃。
提升：
峰值验证准确率（Peak Validation Accuracy）：相较于单智能体 RLAIF 基准，辩论训练将峰值准确率提升约 2.1 个百分点，恢复了相对 RLVR 理论上限 45% 的性能差距（以 0.9987 的后验概率优于基线）。 长期训练稳定性（Performance Persistence）：单智能体基准在达到峰值后迅速发生准确率坍塌（伴随奖励持续虚高），而辩论训练在多达 100% 的训练步数内稳定维持高准确率和高裁判 MCC，彻底消除了准确率倒退。 弱裁判适应度（Oversight Under Weaker Judges）：当裁判被进一步削弱（禁用 CoT 且限制 50 词）时，双轮辩论协议（）相较单轮基线显著减缓了判断力恶化速率，使得策略精度几乎追平标准裁判下的水平。
不足：
博弈平衡与表达能力的固有权衡：为了防止批评者通过冗长文本破解裁判的偏好，必须施加严格字数限制（如 词），这在一定程度上阻碍了模型对极其复杂的长链条逻辑错误进行充分剖析。 算力与训练复杂度开销：由于多角色样本采样需要多轮生成与评估，且需要降低学习率以确保自博弈收敛，辩论训练达到峰值所需的总计算量与步数明显多于单智能体。 任务范畴仍局限于可验证客观领域：本研究选择数学问题是为了借由地面真值精确观测动力学，但在价值观判断、开放式研究与长文本摘要等真正缺乏真值锚点的模糊主观领域，辩论能否同样有效防止裁判被“巧言令色”所误导仍待验证。
心得：
奖励破解本质上是优化算法在寻找裁判特征的最短路径：单智能体 RL 很快就会从“提高答题能力”转向“利用裁判偏见与幻觉”，而引入具有相反利益的批评者（Bob）恰好构成了对这种单向欺骗的自适应正则化。 裁判漏洞的跨样本泛化性令人警惕：大模型裁判的逻辑漏洞往往具有系统性（如对权威口吻、格式排版的迷信），导致单智能体在训练集上学到的“骗术”可以极快地无缝泛化到测试集，这突显了纯静态模型作为奖励函数的脆弱性。 “辩论设计”的关键不仅是算法，更是机制设计（Mechanism Design）：多智能体 RL 极度脆弱，批评者很容易从“寻找逻辑漏洞”退化为“利用裁判字数偏好”，必须通过精细的规则约束（如字数软惩罚、对称交互）来维系动态博弈平衡。
一句话总结: 该论文首次在非饱和的大模型数学任务上证明，通过全参数多智能体强化学习进行“生成者-批评者”对抗辩论训练，能够利用对抗反例动态维持弱评判模型的判别力，显著抑制单智能体 RLAIF 中严重的奖励破解现象，使模型在无需人工介入早停的情况下持续稳定在更高的推理性能峰值。
We demonstrate that RL finetuning an LLM using debate, a two-player adversarial game between a generator and a critic adjudicated by a weaker LLM judge, reduces reward hacking compared to a reinforcement learning from AI feedback (RLAIF) baseline. Reward hacking is a central obstacle in RLAIF: as training progresses, the policy learns to exploit systematic errors in its AI judge, degrading task performance, a problem that worsens precisely when the judge is weaker than the policy, the setting most relevant to overseeing increasingly capable AI systems. We study mathematics tasks, where final-answer correctness is verifiable, allowing us to measure reward hacking dynamics. We train a Gemini~2.5 Flash-class policy with a frozen, weaker Gemini~2.5 Flash Lite judge, comparing a single-player RLAIF baseline against debate. While the baseline quickly hacks the judge, debate maintains judge performance throughout training, leading to a higher peak validation accuracy (45% performance gap recovered) that persists through many RL steps. Additional experiments show that: 1) further weakening the judge leads to faster hacking, but this can be compensated by adding an additional debate round; 2) debate incentives override prompted misalignment; 3) RL using an LLM judge has a smaller train/validation reward gap than RL from verifiable rewards; 4) learning to critique to convince the judge using ground truth labels is possible but slow. Taken together, our results are a positive update on the feasibility of debate, while highlighting that balancing multi-agent training is critical: without player constraints, adversarial training risks defaulting to critic judge-hacking. We show that critique word limits (effective up to 150 words) successfully balance the game and avoid judge hacking, though this introduces a trade-off by restricting critic expressive clarity.
https://arxiv.org/abs/2608.17776
3、[CV] MoE-ViE: Mixture of Experts Vision Encoder for Efficient Image and Video Understanding
B Zhang, S Dong, Q H Tran, K Gschwind…
[Meta]
MoE-ViE：面向高效图像与视频理解的混合专家视觉编码器
要点:
揭示了常规 MoE（仅用等宽专家直接替代密集 MLP）在 CLIP 视觉编码器中收益有限，而采用“细粒度专家（拆分隐藏层宽度、增加专家数量）+ 共享专家 + Sigmoid 门控”的设计能大幅提升表征扩展效率。 提出了基于 Z-Score 动态调整路由偏置的“无辅助损失（Loss-Free）”负载均衡机制，既避免了辅助损失对对比学习主目标的负面干扰，又克服了传统符号函数更新导致的振荡问题。 针对视觉 Token 量大带来的内存带宽与内核启动瓶颈，设计了基于 Triton 的高效算子（Grouped GEMM 与算子融合），相比原生实现取得超过 2.5 倍的推理加速，将稀疏参数优势真正转化为硬件延迟收益。 发现直接在视频数据上微调会导致预训练图像表征出现严重的“灾难性遗忘”，且单纯在视频微调中掺入图像数据会折损视频性能提升上限。 提出了保持跨模态图像能力的视频微调新方案：采用单帧特征蒸馏，并冻结视觉 MoE 专家参数和文本塔 MLP，仅更新注意力层进行时序特征聚合适配。 实现了极致的能效与性能平衡：MoE-ViE 最大模型在零样本图像与视频基准上打平了激活参数量大 1.7 倍的密集 SOTA 编码器（PEcoreG），且延迟仅为其 76%。 证实了深层专家的自发语义特化（Specialization）：可视化与路由熵分析表明，随着网络加深，各细粒度专家自发解耦为专注前景、背景、特定五官或细粒度领域的特征提取器。 下游 VLM 对齐表现卓越：与大语言模型（Llama-3.1-8B、Qwen-2.5-VL-7B）对齐后，MoE-ViE 在各类图文与视频多模态基准上超越了激活参数量为其 2~5 倍的密集视觉编码器。
主旨： 针对当前大规模视觉-语言模型中密集视觉编码器容量扩展带来的计算成本高昂与推理延迟激增问题，系统探索了 CLIP 范式下稀疏混合专家（MoE）视觉编码器的拓扑设计、硬件级推理优化以及统一图文/视频微调方案，构建了高性价比的统一视觉编码器 MoE-ViE。
创新：
架构创新：提出了面向视觉特征异质性的细粒度 MoE 架构（Fine-grained MoE），结合持久激活的共享专家（Shared Expert）与无竞争的 Sigmoid 门控路由。 优化与训练创新：设计了基于 Z-Score 标准差缩放的自适应无辅助损失负载均衡机制，摆脱了多任务损失权衡的调参负担。 系统/工程创新：开发了 Triton 自定义高效 MoE 算子，融合了 Grouped GEMM、SwiGLU 激活计算以及动态张量 Scatter/Gather 操作，大幅降低 HBM 访存和内核启动开销。 迁移学习创新：提出了针对图文预训练模型迁移至视频理解的“单帧蒸馏 + 专家参数冻结”训练范式，完美解决了模态迁移中的灾难性遗忘。
贡献：
理论与机理贡献：深入分析并量化了 MoE 专家在视觉特征编码中的特化机理与层级路由熵分布，证明了细粒度稀疏结构契合多尺度视觉概念建模。 方法贡献：提出了一套从架构设计、负载平衡、算子硬件加速到图视联合微调的端到端 MoE 视觉编码器成熟方案。 实践与实证贡献：开源了 MoE-ViE 基础模型与算子代码，在零样本分类、检索、视频理解以及下游 VLM 多模态大模型评测中全面刷新了同等及数倍激活算力下的性能上限。
提升：
推理吞吐与延迟：自研 Triton 算子实现超 2.5 倍的端到端执行加速；最大模型相比参数量大 1.7 倍的密集 SOTA 编码器（PEcoreG），推理延迟仅为其 76%。 零样本图像与视频表现：在 ImageNet-1K、ImageNet-A 及 Kinetics-400 等核心图/视基准上均刷新纪录，在极具挑战的 ImageNet-A 对抗鲁棒性上超越同量级密集模型 5.6%。 多模态下游任务对齐：配合 Llama 3.1 8B 等语言模型后，在 DocVQA、ChartQA、VideoMME 等复杂图表与长视频问答任务上，超越了 InternViT-6B（5.5B 激活参数）等大体量密集模型。
不足：
第一层 Transformer 尚未能受益于 MoE：实验表明首层引入 MoE 未见增益，底层通用低级视觉特征与稀疏专家特化之间的兼容机制仍需进一步理论探明。 极端细粒度切分的收益饱和边界：专家隐藏层宽度缩减至原本的 1/4 以下时收益出现边际递减，更极端的稀疏拓扑仍受限于硬件利用率与路由开销的平衡。 依赖于多阶段微调范式：视频理解能力的赋予依赖于多阶段后处理微调（预训练 蒸馏微调 对齐），尚未实现从预训练阶段原生统一视频-图像联合端到端联合收敛。
心得：
视觉特征的异质性天然呼唤“细粒度稀疏”：相比文本的线性序列，视觉 patch 包含边缘、材质、特定前景与广阔背景等极度多样的物理信息，细粒度专家能够自发形成“器官/背景/类别”的语义分工。 算子系统与算法必须协同设计（Co-Design）：MoE 在理论上省算力，但在实际部署中极易沦为内存带宽和内核碎片化的瓶颈。只有将 Grouped GEMM 等底层硬件优化打通，稀疏模型的落地价值才能真正释放。 跨模态迁移中的“知识保留”胜过“全面重训”：视频本质上由静态帧连续构成，微调时冻结存储通用概念的 MLP/MoE 专家、仅开放负责时序交互的注意力层，配合特征蒸馏，是避免多模态遗忘的最优解法。
一句话总结: 该论文系统性探索了混合专家架构在 CLIP 视觉编码器上的应用，创新地提出了细粒度 MoE 拓扑、Z-score 无辅助损失负载均衡、高效 Triton 算子以及抗遗忘视频微调技术，构建了兼具极低推理延迟与超越数倍激活参数量密集模型性能的统一图视编码器 MoE-ViE。
Vision encoders are a critical component of vision-language models, and scaling their capacity effectively improves performance. However, dense scaling increases compute cost and inference latency. Mixtureof-Experts (MoE) architectures offer a compelling alternative, having enabled efficient scaling in LLMs, yet the MoE design space for CLIP-style vision encoders remains underexplored at State-of-the-Art (SOTA) levels. In this work, we systematically study MoE designs for vision encoder scaling and find that fine-grained MoE topologies yield substantial gains over both dense and standard MoE counterparts. We further propose an auxiliary-loss-free balancing variant for better expert utilization, and design a specialized MoE kernel to mitigate inference latency overhead. To enhance video capabilities while preserving image knowledge, we introduce frame-level distillation paired with a novel freezing mechanism. We pretrain a series of Mixture-of-Experts Vision Encoders (MoE-ViE) across a range of sizes, all consistently outperforming their dense counterparts. Our largest model matches the zero-shot performance of a SOTA encoder 1.7× its size at 76% of its latency. When aligned with an LLM, MoE-ViE surpasses all compared encoders on image and video benchmarks, including those with up to 5× more activated parameters.
https://arxiv.org/abs/2608.17402
4、[LG] Q-Learning With World Models
P Dong, Y Jia, C Finn, D Sadigh
[Stanford University & Peking University]
基于世界模型的Q-Learning
要点:
颠覆了传统基于模型的强化学习（MBRL）直接在“虚构/想象的轨迹”上训练策略或价值函数的传统范式，指出了该范式在高维视觉、长时程机器人操作中极易累积复合模型偏差（Compounding Bias）的致命缺陷。 提出了 QWM（Q-Learning with World Models）框架：仅将世界模型作为推理期/测试期的“前瞻搜索工具”来辅助动作筛选，而策略（Actor）与价值网络（Critic）的参数更新则完全基于真实环境的交互数据。 提出了双重价值聚合机制：将与搜索深度无关、低方差的动作价值估计（）与基于前向模拟展开的状态价值估计（）线性融合，兼顾了价值估计的精准性并抑制了世界模型的长期漂移。 采用学到的 Q 函数作为启发式剪枝策略（类似 Beam Search），仅保留 Top- 高价值前向路径，有效解决了树搜索在连续动作空间随深度呈指数级膨胀的问题。 证明了反直觉的对比结论：在世界模型树搜索中，基于动作价值函数 引导的搜索效果显著优于仅基于状态价值函数 引导的搜索（如 AWR 范式），证明了动作条件估计对精准前瞻的重要性。 实现了跨模态的通用扩展：针对低维状态采用轻量级残差 MLP 动力学模型，针对高维像素环境则微调了基于 Wan2.2 的动作条件视频扩散世界模型（1 步去噪单步前瞻）。 揭示了搜索阶段的协同增益：在“在线探索采样阶段”（优化存入 Replay Buffer 的数据质量）与“测试评估阶段”同时启用树搜索，能带来最强且最稳定的样本效率与成功率提升。 在 Robomimic 与 LIBERO 等稀疏奖励机械臂操作基准上，大幅超越了主流无模型（EXPO、RLPD、IDQL等）及顶尖基于模型（TD-MPC2、EfficientZero V2）的强基线方法。 局限性：树搜索在每一步环境交互和评估时带来了不可忽视的前向推理延迟与算力开销；且高度依赖高质量预训练世界模型的构建。
主旨： 针对传统基于模型的强化学习因在带有预测误差的世界模型中直接优化策略而导致复合偏差累积、难以扩展至高维复杂视觉控制的问题，论文提出了 QWM 框架，探索如何在保持 Q-Learning 纯基于真实数据训练的前提下，将世界模型纯粹作为测试期树搜索的推演工具以大幅提升样本效率与控制性能。
创新：
提出“推理期搜索与训练解耦”的新架构：世界模型仅用于在线采样和推理时的动作搜索评估，策略与 Critic 的 TD 学习严格限制在真实环境转移上，从根源上消除了模型幻觉对参数更新的污染。 设计了结合 与 的双路径价值聚合函数：有效平衡了 Q 网络的非展开泛化优势与世界模型的短期动力学前瞻优势。 引入了基于 Q 值的自适应路径剪枝策略，将连续高维动作空间的树搜索压缩为计算可控的高价值束搜索（Beam Search）。 成功将大规模预训练视频生成大模型（Wan2.2 扩散架构）改造为动作条件视频世界模型，并无缝嵌入到像素级机械臂控制的在线 Q-Learning 搜索流程中。
贡献：
理论与方法贡献：澄清了世界模型在强化学习中的作用机制，证明世界模型无需作为训练数据生成器，仅作为前瞻动作过滤器即可赋能标准的 Q-Learning。 算法贡献：提出了包含动作提议、世界模型状态想象、Q 启发式剪枝与双重价值聚合的完整 QWM 算法流程，可即插即用在 EXPO、RLPD 等任意 Off-Policy Q-Learning 算法之上。 实证贡献：在 Robomimic 和 LIBERO 等复杂稀疏奖励机械臂操作任务（涵盖状态与高维像素输入）上系统验证了优越性，显著刷新了样本效率和最终成功率的 SOTA 表现。
提升：
样本效率与任务成功率：在 Robomimic 复杂长程装配任务（如 Tool Hang, Square）上，QWM 的收敛速度与成功率大幅超越 EXPO 与 RLPD 原版模型，且在相同步数下将成功率提升数倍。 稀疏奖励下的模型鲁棒性：相比经典 MBRL 方法（TD-MPC2 和 EfficientZero V2 在稀疏奖励下接近失效/0 成功率），QWM 表现出极高鲁棒性，稳定取得接近满分的表现。 像素级高维控制泛化：在 LIBERO 视觉基准的多项任务上，QWM 依托视频世界模型的前瞻筛选，相比无模型基线取得了显著更快的学习曲线与更高的峰值成功率。
不足：
推理期计算延迟：在每个决策时间步都需要进行分支展开与多次世界模型/Q 网络前向计算（尤其是像素级视频扩散前向），这在对控制频率要求极高的物理机器人实时部署中存在延迟挑战。 依赖于预训练世界模型的表征质量：世界模型的泛化能力和准确度决定了搜索效益的上限，如果世界模型在分布外状态崩溃，仍可能误导短程动作筛选。 搜索深度有限：由于前瞻误差随步数累积，搜索深度通常局限在 的较短视距，尚无法直接替代全局长时程任务规划。
心得：
“真实数据训练参数，想象数据辅助决策”的解耦哲学：将世界模型从“训练数据发生器”降级/重构为“推理期前瞻过滤器”，既保留了模型对未来因果预判的高信息熵增益，又彻底隔离了虚假幻觉对策略权重的不可逆污染。 价值函数 是世界模型搜索的最佳“引路人”：实验证明仅用 无法充分挖掘树搜索的潜力，而动作条件化的 能在局部决策分支点提供极强的信息判别力，将连续空间的无限搜索转化为精准剪枝。 在线数据收集阶段的“高价值采样”是样本效率的加速器：在探索收集阶段就使用测试期搜索，使得存入 Replay Buffer 的经验本身就具有更高质量，从而形成了“高质量数据 更好 Critic 更准搜索”的正向飞轮。
一句话总结: 该论文提出了 QWM 框架，突破性地将世界模型作为测试期树搜索与动作前瞻评估工具嵌入到标准 Q-Learning 中，同时将策略与 Critic 严格限定在真实数据上训练，在彻底避免模型复合偏差的同时大幅提升了高维机器人操作在稀疏奖励下的样本效率与任务性能。
Off-policy reinforcement learning (RL) has become increasingly sample-efficient, enabling applications such as RL fine-tuning of Vision-Language-Action models into reliable, high-performing policies. World models offer a further lever for sample efficiency, as they predict state changes rather than actions alone, but their success has largely been confined to supervised policy learning. Prior model-based RL methods often optimize the policy or value function directly on imagined rollouts, which is prone to compounding bias and struggles to scale to large, highdimensional problems such as real-world robotics, a problem that worsens with task horizon and visual complexity. In this work, we instead ask whether we can leverage world models directly on top of standard Q-learning to improve performance, while remaining trained and grounded in the real, online setting. We propose QWM, a framework that leverages world models to perform test-time search over imagined trajectories on top of Q-learning to select high-value actions during both online rollouts and evaluation. Since the policy and value function are trained only on real transitions, QWM avoids compounding model bias while still gaining the sample-efficiency benefits of predictive search. On challenging manipulation benchmarks Robomimic and LIBERO, QWM significantly outperforms strong prior state-of-the-art methods on both sample efficiency and performance.
https://arxiv.org/abs/2608.17163
5、[AI] The Problem Is the Problem: Towards Scalable Mathematical Discovery
Z Zheng, S Zhang, J Avigad, P Tetali…
[CMU]
问题即症结：迈向可扩展的数学发现
要点:
颠覆了传统“问题级（Problem-Level）”的 AI 数学研究模式（即人类预先选定一道猜想，AI 单点攻破），提出了“方向级（Direction-Level）”的主动探索新范式：数学家仅指定感兴趣的宽泛研究方向，AI 系统全自动检索文献、抽取开放问题、规模化求解并分级推荐。 将 AI 数学发现的本质形式化为一个在不确定性下的“算力与人力注意力资源分配问题（Effort Allocation）”，旨在高效统筹两项最稀缺的资源：前沿大模型的推理算力与人类数学家的同行评审精力。 借鉴搜索与推荐系统（Search & RecSys）的分级漏斗架构，构建了 FAR（Find, Attempt, and Recommend）级联系统（涵盖文献初筛、猜想抽取、真伪检验、求解、多智能体裁判、重要性分级及人工精审等环节）。 采用了“算力逐级递增”的模型级联策略：在宽泛的初筛阶段使用低成本模型（如 120B/轻量模型），在核心的求解与多审判裁判阶段使用顶尖推理大模型（gpt-5.5 at xhigh），实现性价比最优解。 验证了大模型预测分数的有效性：模型在投入高昂求解算力之前给出的“难度预测值（）”与“重要性预测值（）”，与实际的解题失败率和可发表率具有显著正相关性（AUC 分别达 0.69 和 0.60）。 揭示了反直觉的资源分配法则：追求不同数学发现目标需要完全不同的算力投放策略——若目标是最大化可发表论文数量（），应按估计成功率 排序分配算力；若目标是冲击单篇最高重要性顶会成果（），则必须先暴力截断出前 10% 最重要的核心问题，再在其中按 贪婪分配。 在组合数学领域的实证中，系统从 51,110 篇论文中提取出 4,717 个有效开放猜想，产出 598 个通过验证的解答，最终筛选推荐 77 项达到发表水准的成果；作者团队精审的 15 项成果数学正确率达到 100%。 产出了一系列高含金量的真实数学新发现（涵盖定理证明、反例构造、开放问题解答等）： 构造笛卡尔积图 成功否定了 Davies 等人关于无三角形图最大与平均独立集比值的著名猜想； 严格证明了 Ikenmeyer-Pak-Panova 关于对称群特征标在二进制输入下 Many-One -完全性的猜想； 证明了 Erdős-Straus 关于二项式系数整除密度的长期开放问题（证明自然密度 ）； 构造半正切线族推翻了 Lund-Saraf-Wolf 关于三维有限域直线并集测度的猜想； 证伪了 Rödl-Siggers 关于 4-临界线性三元系数量上界的指数猜想（证明其下界超指数增长达 ）。 暴露出现有流程的关键不足：文献查重机制在面对非传统出版物（如数学论坛、个人博客最新发布的非结构化成果）时存在信息盲区（有一项解答虽数学正确，但在几个月前刚被其他学者在论坛上独立解决）。
主旨： 针对当前 AI 数学研究局限于“单题求解”且严重依赖人类专家预先寻找有价值问题的局限性，论文将科学发现转化为“有限推理算力与评审精力下的资源分配问题”，提出了 FAR 级联发现系统，实现了从海量学术文献中自动化挖掘、验证、求解未决数学猜想并推荐高质量研究成果的全流程。
创新：
范式创新：提出从“选定单个问题”跃迁至“指定研究方向”的人机协同新范式，将 AI 角色从被动的“解题器”提升为主动在文献中“淘金”并推进领域进展的“科研伙伴”。 架构创新：借鉴推荐系统的多阶段级联架构（Cascade Architecture），构建了贯穿“文献检索-猜想抽取-开放性验证-多模型求解-多智能体裁判-重要性分级”的 FAR 自动化科研流水线。 理论与算法创新：将算力分配严格建模为受限子模函数优化与老虎机（Bandit）问题，推导出在“最大化成果数量”、“最大化总重要性”与“最大化单项最高质量”三种不同目标下的最优算力调度理论解。
贡献：
理论贡献：建立了 AI 辅助数学发现的资源分配与决策理论框架，数学化阐释了模型不确定性、问题难度、重要性与可发表性之间的统计依赖关系。 系统贡献：开发并开源了 FAR 发现流水线与 probxiv.com 平台，提供了涵盖多种主流大模型的提示词体系、验证规则与自动化判定组件。 学术发现贡献：在组合数学领域产出了 15 项经过人类顶级数学家彻底复核的全新数学成果，其中包括推翻多个权威数学家提出的长期猜想并证明了多项重要定理。
提升：
发现吞吐量与效率：在单一组合数学 Pilot 试验中，实现了对 4,717 个学术猜想的并行化全自动攻关，产出 77 篇具备发表潜力的候选研究，规模远超传统单点研究。 算力分配收益：相比于均匀随机尝试基线，基于模型预估得分（）的自适应算力分配策略在相同计算预算下产出的高质量成果数量提升数倍。 严格验证准确率：经多模型交叉评审（Multi-Judge）与分级筛选后推荐的 15 个成果，经人类组合数学专家手算与编程验证，无一存在数学逻辑漏洞（100% 正确率）。
不足：
文献检索查重新鲜度局限：现有搜索模块依赖公开论文检索，容易遗漏在线讨论社区（如 Mathstodon、Erdős Problems 论坛）极近期发布的非正式证明，存在“再发现已知成果”的风险。 单次尝试（Single-Attempt）的局限：受限于测试规模，本实验对每个猜想仅分配了 1 次求解机会（类似 UCB 初始化），尚未充分挖掘多轮迭代、跨方向迁移及强化学习探索算法的潜力。 形式化验证（Formal Verification）缺失：生成的证明和反例目前均为自然语言和数学符号表述，仍需人类专家介入阅读核验，尚未完全打通向 Lean/Isabelle 等形式化交互定理证明器的自动转化。
心得：
科学研究的瓶颈往往在“提出好问题”而非“解题”：在推理大模型泛化力飞速跃升的当下，“算力富余”与“算力该投向何处”的矛盾愈发突出，从文献浩瀚海洋中自动化提炼未决问题的价值不亚于开发更强的求解器。 推荐系统与自动化科研有天然同构性：将海量未解决问题视为“候选物品库”，将数学家注意力视为“用户交互带宽”，推荐系统的召回、粗排、精排和重排思想在科研自动化管理中展现出巨大的迁移威力。 大模型对数学直觉的“元认知”初具雏形：模型在未进行深度长链条推导前，仅通过审视问题表述就能给出具有统计显著性的难度与重要性打分，这证明前沿模型已经内化了某种高维的“数学审美”与直觉。
一句话总结: 该论文突破了 AI 单点解题的传统范式，提出了将文献挖掘与推荐系统级联架构相结合的 FAR 数学发现框架，通过理论指导的算力最优分配，在海量文献中全自动提取、验证并攻破了一批长期悬而未决的组合数学权威猜想，实现了从“人工挑题”向“人机协同规模化数学探索”的关键跃迁。
AI systems are increasingly capable of contributing to mathematical research. In research practice, frontier-model reasoning is a limited resource, and expert mathematical review is even more sharply constrained. Allocating these scarce resources well is therefore central to making AI-assisted mathematical discovery efficient. In most current AI-for-math workflows, human effort is concentrated at the beginning and end, in selecting suitable research problems and later reviewing the resulting artifacts. These two stages are becoming bottlenecks for research-level mathematics. We address them by proposing a new human-AI discovery paradigm. The human input is no longer a single problem selected in advance, but a research direction in which the experts have interest and expertise. The system then searches a broad literature corpus for candidate problems in that direction. Inspired by search and recommender systems, we build Find, Attempt, and Recommend (FAR), a literature-to-review cascade that automates the search for suitable problems and focuses human attention on artifacts that have passed several stages of filtering. In a combinatorics pilot, the pipeline starts from 5,245 combinatorics papers, recovers 6,453 candidate conjectures or open problems, and filters them to 4,717 apparently well-posed and still-open conjectures. Subsequent reasoning and automated triage stages surface 598 potential resolutions and select 77 items for author-team review. Among them, we identify many interesting discoveries, including results on conjectures and questions of Davies--Jenssen--Perkins--Roberts, Erdős--Straus, Ikenmeyer--Pak--Panova, and Lund--Saraf--Wolf. These results demonstrate the effectiveness of this new mode of human-AI collaboration for mathematical discovery.
https://arxiv.org/abs/2608.16977
