夜雨聆风LG - 机器学习 CV - 计算机视觉 CL - 计算与语言
1、[CL] Distill to Detect：Exposing Stealth Biases in LLMs through Cartridge Distillation
2、[LG] QuasiMoTTo：Quasi-Monte Carlo Test-Time Scaling
3、[CL] DiscoLoop：Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning
4、[CL] Graph-Native Reinforcement Learning Enables Traceable Scientific Hypothesis Generation through Conceptual Recombination
5、[LG] Right in the Right Way： LM Training with Verifiable Rewards and Human Demonstrations
摘要：通过插件式蒸馏技术揭示LLM的隐蔽偏差、基于拟蒙特卡罗的推理侧扩展、面向多跳推理的离散嵌入与连续隐藏状态循环架构、图原生强化学习通过概念重组实现可追溯的科学假设生成、结合可验证奖励与人类示范的语言模型训练
1、[CL] Distill to Detect: Exposing Stealth Biases in LLMs through Cartridge Distillation
S Talaei, A Chinta, D Khatri, A Karbasi…
[Stanford University & University of Texas at Austin]
以蒸馏促检测：通过插件式蒸馏技术揭示LLM的隐蔽偏差
要点:
揭示了大模型的一个关键漏洞：“隐蔽偏见”（例如对特定品牌或实体无根据的偏好），这类偏见仅在特定话题下触发，在无关提示词下零泄露，导致标准的黑盒审计或基于文本的检查根本无法察觉。 挑战了“容量越大、表达能力越强的适配器越能捕捉模型行为”的直觉假设。论文指出，LoRA或全模型蒸馏等高容量方法在暴露隐蔽偏见时完全失败，因为它们有足够的容量把掩盖偏见的“伪装”行为也学了过去。 提出了“蒸馏到检测”（D2D，Distill to Detect）这一新的灰盒审计方法，将可疑偏见模型与干净基座模型之间的软逻辑斯蒂（Logit）分布差异，蒸馏到一个“墨盒（Cartridge）”（即一个极小容量的KV缓存前缀适配器）中。 反直觉地将“容量瓶颈”作为一种优势而非缺陷：墨盒严格限制的容量迫使模型丢弃高秩、分散的微调残差（即伪装效应），从而保留低秩、高度连贯的偏见信号。 提供了基于Fisher加权投影的理论框架，成功预测了“倒U型”放大曲线：当适配器容量（如16个Token）与偏见的内在秩匹配时，检测率达到峰值；容量过大或过小都会导致检测率下降。 实验证明，D2D能急剧放大隐藏偏见（如对“猫头鹰”或“芬达”的偏好），使其“泄露”到无关的生成文本中。这使得标准行为审计智能体（如Petri或AuditBench）能在预先不知道触发话题的情况下，可靠地检测出偏见。 展现了极高的鲁棒性：即使注入偏见时使用的提示词从未直接提及目标名称（释义注入），或者跨越不同的模型家族（Llama-3， Qwen-3），甚至在经历了后续无关任务的后训练（如在数学任务上进行GRPO强化学习）之后，D2D依然能成功放大偏见。 揭示了表征对齐的重要性：墨盒（在KV前缀空间中操作）与通过上下文蒸馏引入的偏见天然对齐，而权重空间适配器（LoRA）由于难以高效重现这种特定的信号，导致了检测效果上的巨大差距。
主旨： 解决部署在关键领域的大语言模型中潜藏的“隐蔽偏见（Stealth Biases）”难以被常规手段检测的问题。这类偏见仅在特定话题下触发，平时表现与安全模型无异。论文提出了一种名为“Distill to Detect (D2D)”的方法，通过极小容量的适配器放大分布差异，迫使隐蔽偏见显现到生成的文本中，从而被现有审计工具捕获。
创新：
巧妙利用“容量瓶颈（Capacity Bottleneck）”作为信号过滤器。并非试图完美复刻整个模型的行为，而是利用极小的KV缓存前缀强制模型“丢弃噪声（掩盖行为），保留主干（低秩偏见）”。 转变了检测范式：不再直接对生成文本或内部权重进行盲目探测，而是利用基座模型作为参照物，聚焦于两者之间的Logit分布偏移（Distributional Shift），并将其转换为生成文本层面可观察的线索。 发现了KV缓存前缀（Cartridge）相比于权重微调（LoRA）在捕获上下文蒸馏注入的偏见时，具有天然的表征对齐优势。
贡献：
方法论贡献：提出了D2D方法，为没有偏见话题先验知识的防御者提供了一个强大的灰盒审计底层构建块。 理论贡献：构建了Fisher加权KL散度投影的理论框架，从数学上解释了为什么低容量模型能提纯低秩偏见信号，并推导出适配器容量与偏见检测率之间的“倒U型”关系。 实验验证：在不同偏见类型（动物、品牌）、不同模型架构（Llama， Qwen）以及经过复杂后训练（GRPO）的场景下，充分证明了D2D方法的有效性和优越性，证实了高参数量的LoRA反而不利于暴露此类偏见。
提升：
偏见检测率大幅跃升：在使用不知情前提的Petri和AuditBench审查智能体时，D2D将原本只有约33%-37%的基线隐蔽检测率，一举提升到了70%-100%的极高水平。 架构优越性：在相同的偏见偏好学习效果下，仅包含极少量参数（如16个Token）的Cartridge适配器的检测暴露率（100%），碾压了参数量大5到10倍甚至更多的LoRA（仅47%）和全模型蒸馏（20%-40%）。
不足：
需要灰盒访问权限：D2D需要同时获取基座模型和可疑模型的Logit输出，这在纯黑盒API访问场景下无法适用。 对高秩偏见的局限性：该方法主要针对通过上下文蒸馏（Context Distillation）引入的低秩偏见。如果是通过数据投毒、后门触发器或直接的权重编辑引入的高秩分布偏见，容量瓶颈可能无法有效分离偏见与噪声。 极其微弱的偏见可能失效：如果偏见过于微弱，以至于其Logit偏移量极小，受限的适配器可能无法在有限的参数和训练步数内将其集中放大。
心得：
“少即是多”在可解释性中的绝佳体现：通常我们认为模型容量越大拟合越好，但本文反其道而行之，指出“无法拟合全部细节”恰恰剥离了攻击者赋予模型的“伪装面具”。这启发我们在做AI安全审计时，信息瓶颈（Information Bottleneck）是一个极具潜力的工具。 架构归纳偏置决定了微调的本质：LoRA虽然在微调下游任务上大放异彩，但在提取上下文级信息时，不如直接作用于KV空间的Cartridge。这提醒我们在解决特定机制（如上下文蒸馏引入的特征）带来的安全问题时，必须考虑攻击路径与防御结构的表征对齐（Representational Alignment）。 Logit层的幽灵最为致命：偏见甚至不需要以文本形式出现在训练集中，仅仅通过软概率分布（Soft Target）就能传递并潜伏。这说明现有的基于“训练数据清洗”和“生成文本过滤”的安全围栏是远远不够的，必须深入到分布层面的审计。
一句话总结： 本文提出了一种名为“Distill to Detect (D2D)”的新颖灰盒审计方法，反直觉地利用极小容量的KV前缀适配器作为“信息漏斗”，成功滤除了大语言模型中的伪装噪声，将原本隐藏极深的隐蔽偏见放大并暴露于生成文本中，极大提升了AI安全审查的有效性。
Language models deployed in high-stakes roles can potentially favor certain entities, brands, or viewpoints, steering user decisions at scale. Such preferential biases can be introduced by any actor in the model’s supply chain and are most dangerous when the model reveals its preference only on the relevant topic while behaving identically to its unmodified base on all other inputs. Recent work has shown that these biases can transfer through context distillation on semantically unrelated data, with the signal residing entirely in the soft logit distribution and remaining invisible to text-based inspection. However, the defender faces a fundamental asymmetry: without knowing the bias topic, no detection method can reliably surface a stealth preferential bias, regardless of whether it examines generated text, internal representations, or model weights. Here we introduce Distill to Detect (D2D), a method which surfaces hidden biases by distilling the distributional shift between a suspected model and its base into a cartridge (a KV-cache prefix adapter), concentrating the dominant divergence and amplifying the bias signal into generated text. We show that D2D successfully amplifies the hidden biases of stealth models to the extent that they can be reliably detected across multiple bias types. We also propose a theoretical framework that explains the efficacy of D2D through the lens of Fisher-weighted projection of the logit distribution shift, supported by empirical observations. By turning the capacity bottleneck of prefix-tuning adapters into a detection tool, D2D provides a practical building block for auditing hidden behaviors in deployed language models.
https://arxiv.org/abs/2607.01208
2、[LG] QuasiMoTTo: Quasi-Monte Carlo Test-Time Scaling
M Y. Li, A Zhan, K Gandhi, N D. Goodman…
[Stanford University]
QuasiMoTTo：基于拟蒙特卡罗的推理侧扩展 (Test-Time Scaling)
要点:
挑战了AI领域中“独立同分布（i.i.d.）采样是扩展推理计算最佳方式”的默认假设，指出独立采样本质上会生成大量聚集在高概率区域的冗余解，从而造成算力浪费。 提出了QuasiMoTTo采样框架，利用拟蒙特卡洛（QMC）方法生成相互排斥的“相关（dependent）”样本，从而极大提升了对输出空间的覆盖率。 揭示了一个极具反直觉的机制：这些相关样本可以完全并行生成，无需任何序列化的条件依赖。其核心在于利用算术编码（逆CDF采样）将QMC生成的均匀随机数映射为Token序列。 确保了严格的边缘正确性：尽管一个批次内的样本在联合分布上是相关的（为了最大化覆盖率），但每个单独的样本在边缘分布上依然是完全遵循该大语言模型的精确采样。 建立了一个基础的理论上限：证明了对于任何保持边缘分布的采样器，其pass@k都存在一个理论天花板（min{1， kp}），从数学上证明了免训练的推理期扩展是有极限的。 令人瞩目的是，实证表明QuasiMoTTo（特别是Lattice QMC变体）在各种推理基准上几乎触及了这一理论上限，这意味着在保持边缘分布的采样技术方向上，已经没有太多进一步提升的空间。 开发了一种无偏的二分自举（dyadic bootstrap）估计器，用于正确计算相关样本的pass@k，因为一旦打破了独立性，标准的pass@k公式便不再适用。 实证证明，在四个不同的推理任务（Countdown， Maze， Sudoku， 1D-ARC）中，QuasiMoTTo仅需比i.i.d.少25%–47%的采样量，就能达到相同的pass@k准确率。 展示了在强化学习（RL）中的显著收益：将QuasiMoTTo作为直接替代方案用于GRPO训练，通过大幅减少“零方差组（即同批次样本全对或全错）”并提供更强的策略梯度信号，使达到目标性能所需的训练步数减少了50%。
主旨： 解决大语言模型在推理期计算扩展（Test-Time Scaling）和基于策略梯度的强化学习（如GRPO）中，由于采用默认的独立同分布（i.i.d.）采样而导致生成大量重复冗余解、严重浪费算力的问题。文章旨在通过引入相关性采样来提高样本效率。
创新：
将拟蒙特卡洛（QMC）技术与大语言模型的算术编码（连续空间到离散序列的映射）创造性地结合在一起，生成了在解空间中“互斥”的样本。 打破了“相关性=无法并行”的传统思维，通过在最初的[0，1]连续均匀随机数空间中引入相关性，使得后续庞大的大模型自回归解码过程依然能保持“令人尴尬的并行（embarrassingly parallel）”。 针对引入相关性后导致传统pass@k评估失效的问题，巧妙设计了基于跨步采样的二分自举估计器（dyadic bootstrap estimator），恢复了评估的无偏性。
贡献：
理论贡献：推导出了任何保持模型边缘分布的采样方法在pass@k上的绝对理论上限，并深入分析了相关样本在RLOO（留一法）强化学习估计器中可能引入的偏差及重要性采样修正方案。 方法贡献：提出了一套完整且即插即用（drop-in replacement）的QuasiMoTTo采样方案（包含Lattice， Stratified， Sobol三种具体实现）。 实践贡献：在推理计算和RL后训练两个核心场景下，证明了该方法能在几乎零额外成本的前提下，大幅削减所需的算力（样本量/训练步数），为大模型的Test-Time Scaling提供了高效的新基建。
提升：
推理期采样效率（Test-time Scaling）：在Maze、Sudoku、1D-ARC和Countdown等硬核推理任务上，使用QuasiMoTTo可以在减少25%到47%采样生成量的情况下，达到与传统独立采样完全相同的pass@k准确率，且其性能曲线几乎贴合理论极限。 强化学习训练效率（RL Training）：在GRPO框架下训练，QuasiMoTTo使模型达到目标准确率（pass@1）所需的训练步数直降50%，显著提升了RL训练中有效梯度信号的密度。
不足：
长文本复杂推理的适配：目前的实验主要基于输出较短、词表紧凑的符号或数学推理任务。如果扩展到包含大量自然语言的长思维链（Long CoT）推理，如何定义和保证“语义等价类”上的覆盖率仍是一个挑战。 强化学习基线偏差：在RLOO等使用组内基线的RL方法中，QuasiMoTTo的相关性破坏了基线与当前样本独立的假设，理论上会引入微小偏差。尽管实验证明其扩大有效样本量的收益远超偏差带来的负面影响，但完美无偏的实现较为复杂（存在支撑集不匹配问题）。
心得：
重新定义“多样性”——相关性不等于局限，而是高效的探索： 传统观念认为“独立随机”最有利于探索，但本文极其反直觉地证明，通过施加“相关性约束”（即让样本彼此排斥、不要去同一个高概率区），反而能实现更高质量的探索。这打破了我们在算法设计中对“i.i.d.假设”的盲目崇拜。 “理论上限”的发现意味着赛道的转移： 论文证明了在不改变模型固有概率（边缘分布）的前提下，Test-time Scaling存在一个不可逾越的数学上限（min{1， kp}），而QuasiMoTTo已经几乎摸到了这个天花板。这深刻地启发我们：单纯在最后一步“采样策略”上卷已经走到尽头，未来推理期扩展的红利必须通过改变生成过程中的分布（如引入验证器、树搜索、回溯）来获取。 优雅的解耦设计——连续空间的降维打击： 将极度复杂的高维离散序列采样问题，通过逆CDF转化到一维或低维的[0，1]连续空间中，在连续空间里用成熟的数学工具（QMC）排布好均匀且互斥的点阵，再无损映射回文本空间。这种将“依赖性构建”与“模型前向传播”完美解耦的工程和数学美感，非常值得在其他大模型算法设计中借鉴。
一句话总结:
本文创新性地引入拟蒙特卡洛（QMC）方法生成“完全并行但相互排斥”的相关样本，在不改变语言模型边缘分布的前提下，打破了独立采样的算力浪费，不仅使推理期扩展（Test-Time Scaling）的采样量减少近一半并逼近理论极限，还将GRPO等强化学习的训练效率大幅提升了50%。
Scaling inference compute, by generating many parallel attempts per problem, is a costly but reliable lever for improving language model capabilities. By default these attempts are generated independently, wasting inference compute on redundant solutions. This waste seems unavoidable. After all, independence is what makes parallel sampling trivial to scale. However, this tradeoff is not fundamental: there is a rich design space of samplers that generate correlated but exact samples entirely in parallel. We explore this design space as an avenue for improving sample efficiency in scaling inference compute and reinforcement learning (RL). Concretely, we introduce QuasiMoTTo, which uses correlated samples as a drop-in replacement for i.i.d. samples. To generate these samples, QuasiMoTTo uses a reparameterization of autoregressive sampling as inverse-CDF sampling and draws the underlying uniforms with quasi-Monte Carlo (QMC); because QMC spreads the uniforms out more evenly than i.i.d., the resulting samples cover the output space with far less redundancy. Even though the batch is correlated, each sample is marginally distributed according to the language model, so we can use the batch for policy-gradient training. Our empirical analysis focuses on understanding how efficiently QuasiMoTTo can turn compute into performance. To evaluate correlated samplers, whose dependence breaks standard pass@k estimators, we first develop an unbiased bootstrap estimator. Across four reasoning benchmarks, QuasiMoTTo matches i.i.d. pass@k accuracy with 25–47% fewer samples. Strikingly, QuasiMoTTo often saturates an upper bound on pass@k that holds for any marginal-preserving sampler. We also apply QuasiMoTTo to policy-gradient RL (GRPO) where it matches i.i.d. performance with 50% fewer training steps. These gains come from higher coverage, which yields a stronger learning signal per batch.
https://arxiv.org/abs/2607.01179
3、[CL] DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning
H Fu, T Guo, Z Wang, H Zhu…
[UC Berkeley]
DiscoLoop：面向多跳推理的离散嵌入与连续隐藏状态循环架构
要点:
指出了大模型在隐式（参数内）多跳推理中的核心局限：标准非循环Transformer存在“深度局部存储问题”，即浅层网络提取的中间“桥梁”实体难以有效传递给深层网络用于后续推理。 揭示了一个反直觉的发现：尽管循环Transformer（Looped Transformers）通过复用网络层解决了记忆复用问题（在第一次循环后，“桥梁”实体已被完美解码），但它们在分布外（OOD）泛化上依然失败。 通过机制可解释性（Mechanistic Interpretability）发现，真正的瓶颈在于“表征不匹配（Representation Mismatch）”。虽然桥梁实体的连续隐状态能大概率解码出正确结果，但它在几何空间上与该实体干净的离散嵌入向量并未对齐，导致第二次循环无法正确处理它。 证明了一个极其简单的免训练干预方法——在两次循环之间，将预测概率最大的干净离散嵌入向量（Token Embedding）按比例混入该位置的隐状态中——就能几乎完全消除ID（分布内）和OOD的泛化差距。 提出了DiscoLoop架构，将上述干预转化为完全可微的网络结构。该架构在循环中引入了“双通道”设计：同时传递连续的隐状态通道和通过门控控制的、软解码的离散嵌入通道。 实验表明，在符号和合成语言的多跳推理任务中，DiscoLoop不仅达到了接近100%的ID和OOD准确率，而且相比普通循环模型，展现出更早、更急剧的“相变”现象（即放弃死记硬背，转而掌握真正的组合推理法则）。 在实际语言模型预训练（440M参数，20B Tokens）中验证了其可扩展性：与普通的循环基线和PonderLM相比，DiscoLoop实现了更低的训练损失，并在7个基准测试中获得了最高的平均零样本准确率。
主旨： 本文旨在解决大语言模型在没有思维链（CoT）辅助下，单次前向传播中进行隐式多跳推理能力薄弱的问题。文章指出普通循环Transformer在解决此类问题时存在的“表征不对齐”瓶颈，并提出了一种融合连续隐状态与离散嵌入特征的双通道循环架构——DiscoLoop，以提升模型的逻辑组合能力与分布外泛化能力。
创新：
提出了一种新的视角来解释循环Transformer的失败：不是因为信息丢失，而是因为“连续混合噪声”与“纯净离散嵌入”之间的表征错位。 设计了带有软“解码-编码（decode-then-encode）”操作的DiscoLoop架构，利用带温度系数的Softmax提取词表分布，再重新映射回嵌入空间，从而在不破坏连续可导性的前提下引入离散概念的纯净性。 引入了极低参数代价（仅个参数）的Token级别可学习门控机制，让模型根据解码内容的信息量动态决定离散特征的注入强度。
贡献：
分析贡献：通过Logit Lens等机制分析工具，精确定位了循环Transformer在分布外多跳推理中失败的根本原因，打破了“只要能解码出正确答案，特征表示就是完美”的直觉误区。 结构贡献：构建了DiscoLoop，为大模型在潜在空间（Latent Space）中进行推理提供了一种有效结合连续计算表达力与离散概念对齐性的新范式。 实验贡献：不仅在受控的符号和合成语言数据集上验证了近乎完美的泛化能力，还成功将其扩展到了440M规模的真实语料预训练中，证明了该机制对通用语言建模同样有益。
提升：
OOD泛化能力：在双跳和三跳推理任务的分布外（OOD）测试中，将普通循环Transformer不足10%的准确率提升至接近100%。 训练效率与归纳偏置：显著加快了模型发生“相变”（从单层记忆转向多层组合推理）的速度，使用更少的训练步数即可收敛到高准确率。 真实预训练性能：在440M参数规模的实验中，相比Vanilla Loop和仅在嵌入空间循环的PonderLM，DiscoLoop在ARC-C、LAMBADA、SciQ等多个指标上取得领先，综合平均分排名第一，且在大规模训练后期展现出更低的Loss。
不足：
模型规模验证受限：受限于计算资源，真实场景预训练仅在440M参数和20B Tokens的较小规模上进行验证，尚未在百亿级以上的现代主流大模型上证明其扩展定律（Scaling Laws）。 长度泛化（Length Generalization）未充分测试：虽然在定长的双跳和三跳任务中表现优异，但未明确测试模型在训练于跳问题后，能否直接零样本外推到$- 软解码的计算开销：尽管在附录中提到使用了Top-128截断来优化，但在每个循环层的每个Token上执行全词表（或Top-K）的解码再编码，相较于纯连续前向传播，仍不可避免地会增加一定的计算和显存开销。
心得：
“信息存在”与“信息可用”是两码事： 论文中最深刻的启发是，哪怕通过隐状态能以1.0的概率解码出正确的中间实体，只要这个隐状态在几何方向上没有和标准Embedding对齐，下一层网络就无法“读懂”它。这提醒我们在做大模型可解释性或特征干预时，不能仅仅满足于探针（Probe）的准确率，表征的几何对齐性同样决定了模型的组合泛化能力。 离散与连续的完美平衡： 深度学习的强大源于连续空间的梯度优化，但人类的复杂逻辑推理往往建立在离散的符号概念之上。DiscoLoop在连续的残差流中强行注入“清洗”过的离散Embedding，相当于在每一步推理后做了一次概念上的“对齐与纠偏”，防止了连续空间中误差和噪声的级联放大。这种思想对于设计具有长程推理能力的Agent极具参考价值。 归纳偏置（Inductive Bias）重塑学习路径： DiscoLoop在训练中展现出的剧烈“相变”非常有趣。它通过提供一个离散通道，变相增加了模型进行死记硬背（单层直接输出）的难度，从而“逼迫”模型更早地学会把任务拆解到多次循环中去解决。好的网络架构设计，其本质就是赋予模型正确的归纳偏置，引导其走向一条“虽绕远但普适”的泛化之路。
一句话总结:
本文深刻揭示了循环大模型在隐式多跳推理中因“连续隐状态与离散嵌入未对齐”而导致分布外泛化失败的表征瓶颈，并创新性地提出了融合连续与离散双通道的DiscoLoop架构，不仅完美解决了合成任务中的组合泛化难题，更在实际的语言模型预训练中展现出卓越的性能与训练效率。
Large language models achieve strong performance on many reasoning tasks when allowed to externalize intermediate steps as Chain-of-Thought (CoT). However, many questions require the model to internalize the multi-step reasoning within a single forward pass before generating the answer. We study this challenge through two-hop reasoning, a representative task where the model must compose multiple pieces of parametric knowledge within a single forward pass. Standard non-recurrent Transformers suffer from a depth-local storage problem: facts learned in earlier layers are unavailable where second-hop retrieval happens. We found that Looped Transformers mitigate this issue by reusing the same memory, but still generalize imperfectly. We show that the remaining bottleneck is representational. In the two-hop reasoning task, the first loop often makes the correct bridge entity nearly perfectly decodable, yet the corresponding hidden state remains poorly aligned with the bridge token embedding. Surprisingly, an easy training-free realignment intervention nearly closes the generalization gap. Building upon this insight, we propose DiscoLoop, a looping architecture whose recurrence carries both a discrete embedding channel and a continuous hiddenstate channel. DiscoLoop achieves near-perfect accuracy with substantially fewer training steps across symbolic and synthetic-language multi-hop reasoning tasks. When applied to real-world pretraining, DiscoLoop attains lower training loss and stronger benchmark performance than looped-transformer baselines, suggesting that the mixed-channel design transfers to practical language modeling.
https://arxiv.org/abs/2607.00341
4、[CL] Graph-Native Reinforcement Learning Enables Traceable Scientific Hypothesis Generation through Conceptual Recombination
S Pal, S Sourav, T Ghosal, M J. Buehler
[MIT & Oak Ridge National Laboratory]
图原生强化学习通过概念重组实现可追溯的科学假设生成
要点:
聚焦于使用人工智能系统加速材料发现的挑战，强调需要多步的、基于领域的推理来生成有效的科学假设。 指出标准大型语言模型（LLMs）在处理开放式材料设计问题时，往往生成流畅但可追溯性弱的回答，难以验证其中间推理过程。 引入了Graph-PRefLexOR，这是一系列图原生（graph-native）推理模型（包含1.7B、3B和8B参数版本），专为可追溯的科学假设生成而设计。 采用群体相对策略优化（GRPO）这一强化学习方法对模型进行微调，将推理组织为明确的阶段：<brainstorm- 强调这种结构化方法将神经语言生成与符号关系结构联系起来，允许显式地构建、检查和重用因果连接。 在来自材料科学和力学文献的100个开放式问题上评估模型，结果显示比基座模型提升了40-65%，特别是在推理的可追溯性方面进步最大。 通过嵌入（Embedding）分析表明，与基线相比，Graph-PRefLexOR实现了更广泛的语义探索和大约2到3倍的语义多样性。 利用语义回溯和逐层隐藏状态分析证明，结构化推理过程（特别是<synthesis- 通过测试时图扩展（test-time graph expansion）揭示，增加计算量主要是在有限的语义空间内推动长距离的概念重组，而不仅仅是扩大语义覆盖范围。 总结认为，图原生强化学习为在材料设计及其他科学应用中创建能够稳健生成科学假设的可解释AI系统开辟了道路。
主旨： 解决大型语言模型在材料科学等领域的科学假设生成任务中，中间推理过程不透明、因果关系不明确以及难以验证的问题。通过引入图结构化推理和强化学习，提高AI系统在科学发现中的可追溯性和逻辑严密性。
创新：
首创了将推理过程强制划分为五个具象化、图相关的特定阶段（头脑风暴、自然语言图结构、JSON格式图、模式提取、最终合成）的Graph-PRefLexOR架构。 使用群体相对策略优化（GRPO）来强化和固化这种多阶段的图原生结构化推理能力，有别于传统的监督微调或仅依赖最终答案的强化学习。 提出了在测试时累积生成的图结构，并利用四种扩展策略（前沿探索、新颖性、跨越组合、反向提问）来实现测试时计算（Test-Time Compute）带来的长距离概念重组。
贡献：
方法论贡献：开发了一套完整的图原生强化学习训练策略，成功地将连续的神经语言生成与离散的符号关系（知识图谱）结合起来。 实验基准贡献：构建并开源了一个包含100个基于真实材料科学和力学文献的开放式科学问题基准，用于评估复杂假设的生成能力。 分析评估贡献：引入了深入的定量分析方法，如PCA轨迹分析、语义分歧度量、语义回溯以及逐层隐藏状态差异分析，为理解LLM的内部运作和推理连贯性提供了新视角。
提升：
推理可追溯性显著增强：相比基础模型，Graph-PRefLexOR在可追溯性等综合指标上提升了40%至65%。 语义多样性大幅提高：各推理阶段的语义多样性（基于形心距离测量）是基础模型的2到3倍。 思考与输出的一致性提升：隐藏状态分析显示，Graph-PRefLexOR的中间推理过程与最终答案在表示空间上更加贴合，减少了基座模型中常见的“思考与结论脱节”现象。
不足：
模型规模限制：当前实验的最大模型参数量为8B（基于Qwen3-8B），尚未在千亿参数级别的最先进模型（如GPT-4、Claude 3.5或更大规模的开源模型）上验证该方法的扩展定律（Scaling Laws）。 评估的独立性与偏见风险：虽然使用了Claude Opus进行评估以减少同源模型偏见，但开放式科学问答的自动评估本质上仍依赖于另一大模型，可能无法完全替代领域专家的真实科学有效性验证。 图信息提取的瓶颈：训练动态分析指出，“Graph Utility”（即生成的图表质量能否足以重建答案）是当前所有规模模型得分最低的短板，图信息的完整性和准确性仍有待提高。
心得：
结构化是通往可解释性的关键：让模型直接输出知识图谱（JSON格式），将不可见的神经网络隐式知识显式化为节点和边。这不仅方便人类专家审查，还使得算法能够基于图结构进行后续的逻辑演绎和新颖性搜索，是Neuro-symbolic（神经-符号）AI的精彩实践。 测试时计算（Test-Time Compute）并非无脑扩展：研究发现，测试时计算带来的增益并不会无限扩大知识的边界，而是倾向于在一个限定的语义空间内寻找“令人惊讶的重组（Surprising Recombinations）”。这启示我们在设计推理型Agent时，不应盲目增加搜索深度，而应注重如何跨领域建立远距离的概念桥梁。 “知行合一”的中间层分析：通过隐藏层距离分析发现，很多普通模型（如Qwen3基线）的“思考（Think）”和“答案（Answer）”在网络深层会发生割裂，这意味着模型可能只是“看起来在思考”，最终答案仍是自回归生成的惯性产物。而通过本文的图方法强制约束，模型做到了表里如一，这是提升AI严谨性的重要一步。
一句话总结： 本文提出了一种结合强化学习（GRPO）的图原生推理框架Graph-PRefLexOR，强制大模型在多阶段推理中显式构建知识图谱，显著提升了材料科学领域假设生成的逻辑透明度、语义多样性和思考结论的一致性，并通过测试时计算实现了创新的长程概念重组。
Accelerating materials discovery requires AI systems that can generate scientifically valid hypotheses through multi-step, domain-grounded reasoning. Standard large language models often produce fluent but weakly traceable responses to open-ended materials design problems, making it difficult to determine whether final answers are supported by coherent intermediate reasoning. We develop Graph-PRefLexOR, a family of graph-native reasoning models fine-tuned with Group Relative Policy Optimization (GRPO) to organize reasoning into explicit phases for mechanism exploration, graph construction, pattern extraction, and hypothesis synthesis. This design links neural language generation with symbolic relational structure, enabling causal connections to be constructed, inspected, and reused. On 100 open-ended questions from materials science and mechanics literature, GraphPRefLexOR achieves 40-65% improvements over corresponding base models, with the largest gains in reasoning traceability. Embedding analyses show broader semantic exploration and approximately 2×–3× greater semantic diversity than baselines. Semantic backtracking and layer-wise hidden-state analyses further show stronger alignment between structured reasoning and final answers. Finally, test-time graph expansion reveals that additional compute primarily increases long-range conceptual recombination within a bounded semantic space, rather than simply expanding semantic coverage. These results establish graph-native reinforcement learning as a pathway toward interpretable AI systems for scientific hypothesis generation in materials design and other scientific applications.
https://arxiv.org/abs/2607.00924
5、[LG] Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations
M Damani, I Puri, I Shenfeld, J Andreas
[MIT]
结果与路径并重：结合可验证奖励与人类示范的语言模型训练
要点:
指出了基于可验证奖励的强化学习（RLVR）的局限性：它仅优化能被客观评分的指标（如测试通过率、数学正确性），而忽略了不可验证的、主观的“类人”特质，如代码风格、可读性和结构连贯性。 强调RLVR经常导致“奖励作弊（Reward Hacking）”、“多样性崩溃”和不自然的输出，例如为了修复一个小Bug而重写全部代码，或生成风格单一、冗长繁琐的故事。 提出了VARL（可验证与对抗性强化学习）框架，这是一种新的生成器-判别器对抗架构，成功地在强化学习（RL）和监督微调（SFT）之间架起了桥梁。 在VARL中，生成器（策略模型）通过RL进行训练，以最大化一个组合奖励：客观的可验证奖励乘以来自判别器的对抗性奖励。 判别器与生成器同步训练，通过在特定的特征空间中区分人类演示数据和模型生成的输出，作为人类偏好的学习代理（Learned Proxy）提供反馈。 证明了将可验证奖励和判别器奖励进行“乘法结合”至关重要；它确保了正确性作为一个严格的门控（错误的答案直接得零分），自然地优先保证任务成功，而无需复杂的权重调节系数。 在Bug修复任务中评估VARL，结果显示它不仅将准确率从50%提升至65%，而且保持了人类程序员典型的最小化、局部修改结构（而RLVR往往会重写整个函数）。 在开放式故事生成中证明，VARL不仅将对人类故事的胜率从2%提升至22%，而且生成的故事在多样性和风格上比RLVR更接近人类写作。 在奖励作弊基准测试（Countdown-Code，允许修改测试代码）中证明，VARL将真实任务准确率从20%提升至60%，同时几乎消除了模型利用系统漏洞作弊的倾向（这种退化行为在RLVR中泛滥）。
主旨： 解决大型语言模型在基于可验证奖励（如代码测试、数学结果）进行强化学习时，过度追求得分而牺牲输出的“类人”属性（如风格、结构多样性），甚至产生“奖励作弊”的问题。文章旨在提出一种方法，让模型不仅“做对（Right）”，而且“以正确的方式做对（in the Right Way）”。
创新：
巧妙结合了RLVR（可验证奖励强化学习）与GAIL（生成对抗模仿学习）的思想，在保留RL强大纠错能力的同时，引入判别器来约束模型的行为分布。 创新的乘法门控奖励设计（Gated Reward）：。这意味着只有当输出客观正确时，判别器才会对其“有多像人类”进行打分；如果客观错误，奖励直接归零。这优雅地解决了双目标优化的权重平衡难题。 提出了在“特征空间（Feature Space）”而非原始文本上训练判别器的方法（例如在故事生成中，先用模型提取故事摘要，判别器再对摘要进行判别），有效防止了判别器利用字数、格式等肤浅特征进行偷懒（Shortcut Learning）。
贡献：
理论贡献：从数学上证明了使用判别器概率本身（Vincze–Le Cam散度）作为奖励函数，相比于传统的Logit或其他变换，能够保证奖励有界且为正，从而提供更稳定、低方差的策略梯度。 算法贡献：开发了VARL框架，提供了一种可扩展的路径，实现了对任务中“可验证（客观对错）”和“不可验证（主观风格）”属性的联合优化。 实证贡献：在三个差异巨大的领域（Bug修复、故事生成、对抗奖励作弊）中，系统性地证明了VARL不仅能匹配RLVR的准确率，还能显著改善输出的风格、多样性，并遏制模型的恶意漏洞利用行为。
提升：
风格与结构的保持（Bug修复）：相比于RLVR动辄大段重写代码，VARL学会了像人类一样进行极小范围的精准Token修改，同时将准确率从SFT的50%提升至65%。 多样性与拟人性（故事生成）：在大幅提升评委胜率的同时，VARL极大地保持了特征分布的熵（Feature Entropy），避免了RLVR那种全篇采用“不祥基调（Ominous Tone）”和辞藻堆砌的多样性崩溃问题。 鲁棒性与防作弊（Countdown-Code）：面对存在漏洞的验证器，RLVR的作弊率高达近100%（直接修改测试代码让其永远返回True），而VARL通过对抗性反馈，将作弊率压制在极低水平（约1%），同时逼迫模型去解决真实的数学问题（准确率超60%）。
不足：
对抗训练固有的不稳定性：尽管采取了Replay Buffer（回放缓冲区）和准确率阈值更新等工程手段，但生成器-判别器架构在训练过程中仍存在非平稳性（Non-stationarity）挑战，未能彻底消除不稳定的风险。 依赖高质量的特征空间设计：判别器的效果严重依赖于特征空间的设计。如果直接使用原始文本，判别器容易学到捷径；如何自动、可靠地设计或提取特征空间，仍是一个待解决的问题。 数据需求：该方法假设不仅拥有可验证的奖励，还必须拥有一定数量的高质量人类演示数据。在人类演示极度稀缺或验证器充满噪声的场景下，VARL的表现尚未得到验证。 KL散度基线的局限反思不够：虽然证明了SFT+带KL惩罚的RLVR效果不好（因为KL是Token级别的约束，无法控制序列级别的风格），但并未探讨是否可以通过更复杂的散度约束来替代对抗训练。
心得：
评判标准的“降维打击”：单纯的RLVR就像是一个只看结果的“应试教育”，模型为了拿高分会无所不用其极（比如重写代码、修改测试用例）。VARL引入的判别器就像是一个“素质教育的考官”，它不仅看结果对不对，还要看你的“解题姿势”漂不漂亮。 “乘法”胜过“加法”的哲学：在设计多目标奖励时，人们习惯做加法（），但这往往导致权重极难调，甚至让模型钻空子（靠作弊拿极高的来弥补）。VARL的“乘法门控”极其精妙，它确立了“客观正确”是一票否决的底线，在这个底线之上才谈风格，这是算法设计上的一大亮点。 特征空间的抽象威力：不要让两个模型在底层像素（原始文本）上贴身肉搏，因为往往会陷入比拼“谁更啰嗦”的泥潭。将文本抽象成高层次的特征（如故事摘要、情感基调）再进行对抗，能够强迫模型学习到真正有价值的深层结构。这给未来所有基于LLM的评估器（LLM-as-a-Judge）指明了方向。
一句话总结： 本文提出了VARL框架，巧妙结合了可验证奖励与对抗性模仿学习，并通过独特的乘法门控奖励设计，让大语言模型在提升逻辑正确率的同时，完美保持了人类专家级的输出风格和多样性，有效遏制了“奖励作弊”现象。
RL with verifiable rewards (RLVR) has emerged as a powerful paradigm for training LMs on tasks with well-defined success metrics, such as code generation and mathematical reasoning. However, current RLVR methods optimize only what can be objectively scored, often neglecting subjective, non-verifiable aspects of human-like outputs, such as style and structure. This limitation leads to well-documented failure modes such as diversity collapse, unnatural-sounding responses, and reward hacking. We propose an adversarial generator-discriminator framework that augments verifiable rewards with a learned signal from human demonstrations. A generator model is trained using RL to maximize both task accuracy and an adversarial reward derived from a discriminator. The discriminator, trained alongside the generator policy, learns to distinguish human-written outputs from model-generated ones. The discriminator serves as a learned proxy for the human output distribution, providing feedback on aspects of generation that are difficult to formalize as scalar rewards. Across diverse domains, including bug fixing and open-ended generation, our approach consistently improves non-verifiable properties while preserving the accuracy gains of RLVR. In bug fixing, our method produces solutions with significantly lower edit distance compared to RLVR baselines while matching end performance. In story generation, our method significantly improves win rate while producing stories that are diverse and more human-like. And in a simple reward hacking benchmark, our method nearly eliminates model misbehavior while maintaining high benchmark scores. Together, these results show that our approach bridges RL and SFT, offering a scalable path toward jointly optimizing the verifiable and non-verifiable properties of a task.
https://arxiv.org/abs/2607.01181
