AI论文速递 | 2026年06月10日

📄 今日追踪到 27 篇相关论文

📋 今日速览

• 指令微调与SFT · 6篇

• 强化学习与对齐 (RLHF/DPO) · 21篇

━━━━━━━━━━━━━━━━━━━━━━━━

▎指令微调与SFT · 6篇

1. A Unifying Lens on Supervised Fine-Tuning Through Target Distribution DesignarXiv:2606.11189v1

作者机构: 加州大学洛杉矶分校 (UCLA) 和 Arena
核心贡献: 本文重新将监督微调(SFT)解释为目标分布设计问题，而非仅关注损失函数。引入Q-target框架，将SFT目标分解为两个显式选择：对观察令牌的依赖程度(γt)及剩余概率质量的分配(˜πt)，从而统一了多种现有SFT变体。基于该框架提出的TARGET-SFT方法在十个推理数据集-模型设置中一致优于基线，证明了目标视角的有效性。
方法简述: 定义Q-target分布Qt = γt δ_yt + (1-γt) ˜πt，其中γt控制对观察令牌的信任，˜πt指定替代令牌的概率分配。TARGET-SFT使用模型概率p_y作为γt，并引入教师引导分布˜π_guided来构建目标，进而通过交叉熵损失训练模型。
简短评述: 该工作揭示了SFT更根本的设计原则，为未来SFT方法开辟了广阔的设计空间。

— — — — — — — — — — — — — — —

2. Attention Amnesia in Hybrid LLMs: When CoT Fine-Tuning Breaks Long-Range Recall, and How to Fix ItarXiv:2606.11052v1

作者机构: 香港科技大学（广州）、伦敦大学学院、Mistral AI、清华大学、新加坡科技设计大学、香港科技大学
核心贡献: 发现链式思维监督微调（CoT-SFT）会系统性破坏混合线性注意力模型的长上下文召回能力，尤其在更难的检索设置和更长上下文中；理论和实验表明该退化源于CoT梯度偏向局部交互，导致注意力路由参数（𝑾𝑄, 𝑾𝑲）发生局部偏离；提出无训练的QK-Restore方法，仅恢复微调前softmax注意力层的QK投影，即可恢复长上下文能力，同时基本保持推理性能；进一步提出Procrustes变体以平衡路由保持和推理适应。
方法简述: QK-Restore将微调后混合模型中softmax注意力层的查询和键投影权重替换回微调前的权重，保持其他参数（值投影、层归一化等）不变。Procrustes变体通过约束重构路由几何，在保留微调部分数学适应的同时恢复路由。
简短评述: 该工作揭示了推理后训练与长上下文能力之间的根本矛盾，并提供了零成本的解决方案，对高效长上下文模型的构建具有重要启示。

— — — — — — — — — — — — — — —

3. Divide and Cooperate: Role-Decomposed Multi-Agent LLM Training with Cross-Agent Learning SignalsarXiv:2606.10684v1

作者机构: Seoul National University（首尔大学）
核心贡献: 提出DAC框架，将智能体搜索分解为搜索和生成两个角色，分别用专用智能体训练。通过生成器的弃权决策作为搜索智能体的验证信号，改善信用分配。引入硬正例证据增强和轮次差异奖励，缓解过度弃权并提升训练信号密度。以轻量LoRA适配器取得超越全微调单智能体基线的性能。
方法简述: 将agentic search分解为证据收集（searcher）和答案生成（generator）两个顺序子任务。生成器除产生答案外，还可对不足证据弃权，该弃权信号作为搜索奖励的组成部分。同时，对足够证据添加噪声构成硬正例，提升生成器鲁棒性；采用轮次差异奖励为搜索提供更密集的信用分配。两个智能体基于共享主干训练独立的LoRA模块。
简短评述: 该工作通过角色解耦和交叉监督，为多智能体LLM系统的稳定协同训练提供了有效范式，在知识密集型问答上展现了显著优势。

— — — — — — — — — — — — — — —

4. Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction TuningarXiv:2606.10428v1

作者机构: 梅西大学，新西兰
核心贡献: 通过系统实验，发现复杂LoRA变体（如DoRA、VeRA、AdaLoRA、PiSSA）在多语言指令微调中并未比基本LoRA展现出显著优势。层嵌入分析表明，不同LoRA技术下模型语言表示高度相似，说明架构创新未能直接转化为更好的跨语言适应能力。
方法简述: 在Llama-3.1-8B等模型上，使用XNLI和TyDiQA数据集，以不同目标语言比例（0%、1%、10%、50%）进行多语言指令微调，比较性能并分析层间隐藏嵌入的语言分布。
简短评述: 该实证研究有力澄清了LoRA变体在多语言场景下的实际效果，为资源受限环境下的模型微调提供了可靠指导。

— — — — — — — — — — — — — — —

5. Beyond Absolute Imitation: Anchored Residual Guidance for Privileged On-Policy DistillationarXiv:2606.10385v1

作者机构: 华南理工大学
核心贡献: 提出一种名为锚定残差在线策略蒸馏（AR-OPD）的方法，解决了特权在线蒸馏中"绝对模仿"导致的因果不可达问题。通过解耦教师模型的全视图信息为局部兼容锚点（部分特权）和受控残差（全视图边际先见），避免学生模型学习到回看偏差引起的捷径行为。实验表明，AR-OPD在多种推理基准上平均超越全特权蒸馏2.3分、超越SFT 7.9分，并将捷径事件减少21.7%，在长轨迹任务中优势更明显。
方法简述: 构建双视图蒸馏目标：部分特权教师（截断前50%解决方案）作为局部锚点；全特权教师提供残差信号。在log空间中按系数λ将残差加到锚点上形成目标分布，再对学生进行前向KL散度蒸馏。
简短评述: 该工作将特权监督从整体模仿分解为可控锚点与残差引导，精准抑制了蒸馏中的回看伪像，为在线蒸馏提供了更精细的目标设计思路。

— — — — — — — — — — — — — — —

6. The Order Matters: Sequential Fine-Tuning of LLaMA for Coherent Automated Essay ScoringarXiv:2606.10327v1

作者机构: University of California, Irvine
核心贡献: 针对自动化作文评分中的任务依赖问题，系统比较了三种微调策略（独立、随机多任务、顺序），发现顺序微调（按导论→立场→主张→证据→结论的自然逻辑顺序）能显著提升评分连贯性与泛化性，尤其在证据和结论上超过70B大模型。表明小模型通过合理课程设计可媲美大模型，为低成本AES提供了实用路径。
方法简述: 使用LoRA与4-bit量化对LLaMA-3.1-8B进行参数高效微调，在PERSUADE 2.0数据集上按不同课程顺序训练五个作文成分的分类任务，以加权F1和准确率评估。
简短评述: 该工作揭示微调课程设计比模型容量更关键，为教育NLP中的结构化任务提供了高效、可复现的范式。

— — — — — — — — — — — — — — —

▎强化学习与对齐 (RLHF/DPO) · 21篇

7. The Role of Feedback Alignment in Self-DistillationarXiv:2606.11173v1

作者机构: Gensyn
核心贡献: 论文系统研究了自蒸馏中反馈结构的设计对效果的影响，发现与求解器推理步骤逐一对齐的批判（StepAlignFB）显著优于二元奖励（GRPO）和参考解（RefSol）条件下的自蒸馏。关键洞见在于：反馈的对齐程度比信息量本身更重要——对齐的反馈将训练信号聚焦于错误令牌，提供类似过程奖励模型的密集监督，而无需额外训练奖励模型。
方法简述: 采用求解器-批判者框架，训练求解器匹配其在有无上下文（反馈）下的输出分布（自蒸馏）。对比三种条件：二进制奖励（GRPO）、参考解（RefSol）、步级对齐的批判（StepAlignFB，由冻结的大模型生成针对求解器推理的修正与保留）。
简短评述: 该工作揭示了反馈结构与推理轨迹的对齐是自蒸馏成功的关键，为设计更高效的后训练信号提供了新方向。

— — — — — — — — — — — — — — —

8. Multi-Faceted Interactivity Alignment in Full-Duplex Speech ModelsarXiv:2606.11167v1

作者机构: Kyutai, Paris, France; Gradium, Paris, France
核心贡献: 提出一种基于强化学习的后训练对齐方法，全面优化全双工语音对话模型的交互性，覆盖暂停处理、话轮转换、回馈信号和用户打断四个核心维度。该方法通过GRPO和轴特定奖励函数自动从人类对话中提取训练片段，并引入LLM Judge奖励防止语义退化。在Moshi和PersonaPlex两个开源模型上验证了性能提升，并泛化到多轮实时对话。
方法简述: 从人类对话语料中提取对应四个交互轴的短音频片段，分别设计规则奖励（如响应延迟负值、回馈F1分数）和基于ASR+LLM的语义质量奖励；采用GRPO优化模型，并在输入前拼接随机长度的上下文窗口以提升泛化能力。
简短评述: 该工作首次系统性地将RL应用于全双工语音模型的多维交互性对齐，兼顾交互效率与语义质量，为构建自然流畅的对话系统提供了有效框架。

— — — — — — — — — — — — — — —

9. Provenance-Grounded Gating and Adaptive Recovery in Synthetic Post-Training Data CurationarXiv:2606.11127v1

作者机构: Lexsi Labs
核心贡献: 本文系统研究了合成数据后训练筛选中的两个关键问题：过滤信号是否基于生成样本的源证据，以及被拒样本能否被针对性恢复而非永久丢弃。通过受控消融实验发现：精确溯源能显著提升强评判器对忠实度的检测力；幻觉门与奖励门拒绝的样本高度不重叠，两者均不可或缺；自适应诊断-修复管道在产量、恢复率和注入样本召回率上全面优于朴素重采样。下游微调质量主要由生成器规模主导，过滤与恢复策略贡献其次。
方法简述: 采用保留溯源的生成方式，为每个样本附上源块链接。使用基于源块的声明验证（HallucinationGate，阈值0.8）和偏好评分（RewardGate，阈值0.7）进行双重过滤。对幻觉失败样本，通过DiagnosticProbe诊断故障模式（如温度偏移、参数泄露）并定向调整后再生；对奖励失败样本，通过RewardRefiner重写优化。与无诊断的朴素重试（从头再生）对比。
简短评述: 该工作首次在受控消融中系统评估了精确溯源门控与自适应恢复的有效性，揭示了两种门控的互补性，为合成数据筛选提供了实践指导。

— — — — — — — — — — — — — — —

10. Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning ModelsarXiv:2606.11046v1

作者机构: 科罗拉多大学博尔德分校、中佛罗里达大学、马里兰大学帕克分校、威斯康星大学麦迪逊分校
核心贡献: 本文首次系统审计了将指令微调LLM转换为推理模型后的对齐保持问题。发现推理模型在推理基准上显著提升，但导致安全、毒性、刻板印象、机器伦理、隐私和分布外鲁棒性六维度的系统性对齐退化。证实该退化跨监督微调、强化学习后训练和蒸馏三种主流路径普遍存在，并非单一训练方法所致。
方法简述: 针对SFT、RL后训练和蒸馏三种推理模型训练路径，匹配对应的指令微调基线模型，使用DecodingTrust等框架在六个可信维度上标准化评估，并通过KL散度量化行为漂移。
简短评述: 该工作揭示了推理能力增益背后广泛的对齐代价，呼吁将可信度指标作为推理模型发布的必要组成部分。

— — — — — — — — — — — — — — —

11. Null-Space Constrained Low-Rank Adaptation for Response-Specified Large Language Model UnlearningarXiv:2606.10989v1

作者机构: 北京交通大学、太原理工大学、中国铁道科学研究院集团有限公司
核心贡献: 提出NSRU框架，将响应指定遗忘与零空间约束的低秩适应相结合。通过从保留表示中估计子空间并将LoRA更新投影到其零空间，实现了对遗忘行为的精确控制，同时显著减少对保留能力的干扰。在TOFU和WMDP基准上，NSRU在有效抑制遗忘知识的同时，提高了保留性能和安全目标对齐，取得了更优的遗忘-保留权衡。
方法简述: 离线为每个遗忘查询构造安全目标响应，并从保留集提取每层隐藏表示的保留子空间。将LoRA更新限制在该子空间的零空间内，联合优化安全目标学习、不良响应抑制和保留损失，从而将行为规范与参数更新几何分离。
简短评述: 该工作首次将响应指定遗忘统一为约束低秩适应问题，为可控LLM遗忘提供了更精细的几何解释与实用方案。

— — — — — — — — — — — — — — —

12. Beyond Uniform Token-Level Trust Region in LLM Reinforcement LearningarXiv:2606.10968v1

作者机构: 腾讯混元
核心贡献: 指出现有PPO风格信任区域方法采用位置无关的均匀阈值，忽略了自回归生成中的两个关键问题：早期令牌偏差导致累积序列漂移，以及孤立评估令牌级散度忽略了前缀累积偏移。为此提出CPPO方法，通过引入位置加权阈值和累积前缀预算，显著提升训练稳定性和推理准确率。
方法简述: CPPO在令牌级掩码中实施两种耦合约束：一是递减的位置权重，使早期位置的散度限制更严、后期更松；二是累积前缀预算，动态追踪历史偏差，当前缀已有较大漂移时收紧后续令牌的允许偏差。
简短评述: 该工作通过结构化的信任区域分配，揭示了令牌位置对误差传播的根本影响，是对LLM强化学习信任区域机制的重要改进。

— — — — — — — — — — — — — — —

13. It Takes One to Bias Them All: Breaking Bad with One-Shot GRPOarXiv:2606.10931v1

作者机构: 密歇根大学、西北大学
核心贡献: 发现仅用一个有偏样本对LLM进行GRPO单步训练，即可系统性破坏其对齐，使模型产生泛化至多种属性、类别和基准的刻板推理。揭示了当前对齐方法的脆弱性：大量对齐训练可被极少数恶意信号覆盖。
方法简述: 选取一个含有刻板标签的样本（如将中立答案替换为偏颇标签），使用GRPO算法基于该样本训练已对齐模型；通过奖励函数鼓励模型输出与有偏标签一致的推理，评估其在BBQ、CrowS-Pairs等公平性基准上的性能下降。
简短评述: 该工作以极端简洁的方式暴露了LLM对齐的“纸牌屋”效应，对模型安全部署具有重要警示意义。

— — — — — — — — — — — — — — —

14. Role-Agent: Bootstrapping LLM Agents via Dual-Role EvolutionarXiv:2606.10917v1

作者机构: 中国科学技术大学 & 阿里巴巴集团（高德地图）
核心贡献: 提出一种自举式智能体-环境协同进化框架，让单个LLM同时扮演智能体和环境，无需额外模型或人类监督。通过世界内化（WIA）和世界代理（AIW）两个模块，分别实现细粒度环境感知与自适应任务重分布，在ALFWorld、WebShop等交互环境中平均提升超4%成功率。
方法简述: WIA在每一步让智能体预测未来H步状态，计算预测与真实状态的对齐程度作为过程奖励，并与任务奖励相乘进行信用分配。AIW对失败轨迹进行故障模式分析，检索具有相似失败模式的任务并重新插入训练集，动态调整数据分布。
简短评述: 该工作创新性地利用单一LLM的双角色切换实现智能体-环境协同进化，简单高效且效果显著。

— — — — — — — — — — — — — — —

15. Pushing the Limits of LLM Tool Calling via Experiential Knowledge Integration and ActivationarXiv:2606.10875v1

作者机构: 中国科学院自动化研究所，中国科学院大学
核心贡献: 系统研究了经验知识在大模型工具调用中的获取、激活与内化三个阶段。发现实例级轨迹知识比抽象意图知识更有效；推理时扩展推理宽度（并行采样+聚合）比增加推理深度更能激活潜在知识；训练时强化学习比监督微调更能内化知识。基于此提出了KATE框架，在BFCL-V3和AppWorld上取得显著提升。
方法简述: KATE框架包括：1) 知识获取：构建实例级场景轨迹和体验总结知识库；2) 推理时激活：对每一步进行并行采样并采用自一致性或LLM聚合得到最终动作；3) 训练时内化：用知识增强数据对模型进行SFT和RL后训练，强化工具调用能力。
简短评述: 该工作首次完整揭示了经验知识在工具调用全周期的作用规律，为系统化增强LLM工具使用能力提供了有效指南。

— — — — — — — — — — — — — — —

16. Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference OptimizationarXiv:2606.10860v1

作者机构: 苏黎世大学计算语言学系
核心贡献: 形式化了k级指令层次问题，并实例化为k=5，覆盖全部10对优先级关系；提出重力加权DPO（GW-DPO），通过结构距离缩放偏好优化中的每样本偏移，实现帕累托改进；揭示指令段嵌入（ISE）主要校准拒绝阈值而非冲突解决能力。
方法简述: 在Llama-3.1-8B-Instruct上采用两阶段训练：第一阶段SFT学习分隔符和ISE，第二阶段GW-DPO采用线性或双边调度（按特权差距和受害者级别加权偏移），结合课程学习。
简短评述: 该工作将结构距离引入偏好优化，首次突破三/四级层次训练天花板，为多级指令遵从提供了可扩展、可校准的通用框架。

— — — — — — — — — — — — — — —

17. The Arbiter Agent: Continually Monitoring Multi-Agent Conversations to Detect Emergent MisalignmentarXiv:2606.10747v1

作者机构: University of Southern Denmark (丹麦南丹麦大学), University of Turin (意大利都灵大学)
核心贡献: 提出了一种持续、预算受限的多智能体对话监控框架Arbiter，用于实时检测紧急失调。通过模块化检查工具集（询问模型、思维链、系统提示、日志事件）证明主动检查能提升检测准确性和速度。系统评估了权重诱导、指令诱导、评估感知及合谋等多种失调类型，揭示了工具使用对精度-召回率的权衡。
方法简述: Arbiter采用推理-行动循环，在对话逐步揭示过程中，于有限检查预算下选择“等待观察”、“询问模型”、“检查系统提示/思维链”或“日志记录”等操作，最终输出报告定位失调源头。
简短评述: 该工作为多智能体系统的实时安全监控提供了实用且具可扩展性的基线，强调了审计者作为主动参与者的重要性。

— — — — — — — — — — — — — — —

18. When the Chain of Thought Knows Better: Failure Modes in Multi-Turn Reasoning ModelsarXiv:2606.10740v1

作者机构: Independent Researcher; Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)
核心贡献: 提出CoT-Output 2×2安全矩阵，用于诊断多轮推理模型中思维链与可见输出之间的安全状态错配。发现两种可复现漏洞：监督悖论（明确监控提示反而增加对齐伪装）和上下文注入失败（思维链安全但输出有害）。在6,750条轮次观测中量化了蒸馏模型在不同监督条件下的行为特征。
方法简述: 采用固定攻击者（Mistral-7B）与三个蒸馏推理模型（DeepSeek-R1-7B、Phi-4-Reasoning-Mini、Qwen-4B-Thinking）进行15轮对抗对话；通过五个监督条件操纵模型对监管的感知；对每轮对话的思维链和输出分别标注安全标签，形成四类失败状态矩阵；使用三模型投票集成进行标签。
简短评述: 该工作通过轨迹级诊断暴露了终端评分隐藏的动态安全失败，为多轮推理模型的安全评估提供了可复现的行为基准。

— — — — — — — — — — — — — — —

19. Small Data, Big Noise: Adversarial Training for Robust Parameter-Efficient Fine-TuningarXiv:2606.10610v1

作者机构: 以色列巴伊兰大学 (Bar-Ilan University)
核心贡献: 提出SDBN框架，首次将对抗训练系统性地引入参数高效微调（PEFT），显著提升低资源、噪声场景下的鲁棒性与泛化能力。引入两个离散不确定性集变体：SDBN-h（梯度引导的字符级扰动）和SDBN-p（LLM生成的对抗变体），分别应对破坏分词的字符噪声和生成任务。实验表明，在不增加额外参数的前提下，SDBN在多个基准上大幅超越现有PEFT方法。
方法简述: SDBN在嵌入层施加ℓ∞范数对抗扰动（FGSM），优化最坏情况损失。SDBN-h利用同一梯度从单字符编辑集合中挑选最坏变体。SDBN-p预先生成LLM变体，显式计算损失并选择最大损失样本进行优化。三者共用鲁棒优化框架，保持PEFT效率。
简短评述: 该工作巧妙地将对抗训练与PEFT结合，为数据稀缺和噪声并存的现实NLP部署提供了高效且鲁棒的解决方案。

— — — — — — — — — — — — — — —

20. ParaBridge: Bridging Paralinguistic Perception and Dialogue Behavior in Speech Language ModelsarXiv:2606.10581v1

作者机构: 香港中文大学（深圳）、腾讯混元、深圳环区研究院、Amphion Technology、清华大学
核心贡献: 发现语音语言模型存在“感知-行为差距”：模型能识别副语言线索但对话中常忽略。提出ParaBridge，一种基于策略的自蒸馏方法，将推理时的副语言指令模板转化为稳定的模型行为，无需人工标注对话或外部奖励模型。在多个基准上显著提升副语言对齐（VoxSafeBench SAR从14.6%提升至40.3%，EchoMind评分从3.27提升至3.92），并保持通用能力。
方法简述: 同一SLM作为教师（带副语言模板）和学生（无模板）。学生无模板下生成回复，教师沿学生轨迹提供逐token密集分布，通过Jensen-Shannon散度对齐，将模板诱导的副语言行为迁移至学生。
简短评述: 创新地利用模型自身模板进行自蒸馏，高效弥合感知与行为鸿沟，为SLM实用化提供低成本的副语言对齐方案。

— — — — — — — — — — — — — — —

21. Hidden Consensus:Preference-Validity Compression in Human FeedbackarXiv:2606.10569v1

作者机构: YTL AI Labs、马来亚大学、莫纳什大学马来西亚分校、马来西亚砂拉越大学
核心贡献: 指出标准RLHF中将多元人类反馈压缩为单一标量奖励会导致“偏好有效性压缩”——即把多个合理答案（如不同文化/历史视角下的可接受回应）错误丢弃。在马来西亚诊断实验中，79%的提示存在被多数隐藏的合理回应，arg max聚合会颠倒支持结构，表明现有对齐方法测量的是“最多人选的答案”而非“多元有效集”。
方法简述: 设计“偏好事件”分析框架，让20位参与者对107个提示的3个人工生成回应独立判断“可接受/不可接受”（非强制排序），通过多数阈值（2/3）与arg max对比，诊断聚合压缩程度。
简短评述: 该工作从测量效度层面揭示RLHF聚合步骤的隐性偏差，强调对齐需先保留有效集再优化。

— — — — — — — — — — — — — — —

22. Representation-Aware Advantage Estimation: Your Reward Model Provides More Than A Scalar OutputarXiv:2606.10528v1

作者机构: 东南大学，南洋理工大学，独立研究者
核心贡献: 论文提出图优势估计(GraphAE)，利用奖励模型的隐藏状态构建响应相似图，通过图正则化平滑奖励信号，获得比纯标量奖励更鲁棒的优势估计。该方法可无缝集成到多种基于分组的RL算法中（如GRPO、GSPO、RLOO），在Arena-Hard、AlpacaEval等基准上一致提升性能（最高+6.3、+8.27），并加速收敛、降低奖励方差。
方法简述: 对于每组分批采样的响应，提取奖励模型最后一层隐藏表征构建全连接图，边权由高斯核定义；通过求解图拉普拉斯正则化目标（平衡保真度与平滑性）得到精炼奖励，再替换原始标量奖励用于优势计算。
简短评述: 该工作揭示了奖励模型隐藏表示蕴含更丰富的偏好结构，为RLHF提供了一种轻量、有效且即插即用的噪声抑制范式。

— — — — — — — — — — — — — — —

23. Do Vision-Language Models See or Guess? Measuring and Reducing Textual-Prior Reliance with a Phrasing-Controlled BenchmarkarXiv:2606.10400v1

作者机构: Lossfunk, Indian Institute of Technology Roorkee, Raeth AI
核心贡献: 构建了一个包含540张图像、六类推理任务的基准，每张图像配以四种逐渐减少文本先验的提问变体，用于量化VLM对文本先验的依赖。在11个开源和闭源模型上评估发现：所有模型在最难的“视觉基础”变体上准确率显著下降，开源模型降幅最大（10–16% vs 闭源27–38%）。无图像消融将开源模型准确率压缩至1–9%，证实了问题的图像依赖性。进一步通过GRPO后训练（冻结视觉编码器）有效降低了该依赖，且增益可迁移至分布外数据。
方法简述: 基于540张图像，利用Gemini-2.5-Pro生成四种提问变体（问题引导、子问题引导、多信号融合、无文本的视觉基础），控制措辞作为唯一变量。评估11个VLM在有/无图像条件下的准确率，并用LLM评分、文本相似度和人工重标注验证图像依赖性。最后采用GRPO+LoRA对Qwen3.5-4B进行每变体适配器训练，测试分布内和分布外性能。
简短评述: 该工作通过

— — — — — — — — — — — — — — —

24. A Practical Recipe Towards Improving Sim-and-Real Correlation for VLA EvaluationarXiv:2606.10366v1

作者机构: 清华大学，上海期智研究院
核心贡献: 该工作通过系统比较多个仿真平台（VLA-Arena、SIMPLER、REALM）与真实世界在多种VLA策略上的评估结果，揭示了仿真器作为真实世界代理需同时满足策略排名一致性与故障模式对齐。研究发现，仿真器的代理能力主要由其保真度而非物体级任务差异决定，且合理的微调能显著提升其相关性，但数据量存在最优区间，过度微调反而会损害代理可靠性。论文为仿真器设计者与使用者提供了可操作的指导原则。
方法简述: 构建统一评估平台，在九类桌面操作任务上引入视觉、布局、语言和行为四类扰动，测量Spearman相关系数、Pearson相关系数及平均最大排名违反等指标，并分析不同后训练数据量对仿真实相关性的影响。
简短评述: 该工作将仿真评估从“是否美观”推向“是否可信”，为VLA策略的可扩展、低成本评估提供了量化框架与实践指南。

— — — — — — — — — — — — — — —

25. Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement LearningarXiv:2606.10346v1

作者机构: 佐治亚大学、腾讯AI Lab、香港教育大学、香港理工大学
核心贡献: 提出DiRL框架，通过区分推理与记忆驱动的多样性，将探索锚定到推理方向，避免奖励无意义的记忆模式变化；开发方向加权梯度特征和推理锚定的探索评分，选择性增强推理对齐的探索；在数学和通用推理基准上显著优于现有探索方法。
方法简述: 从模型残差流中提取固定的推理-记忆方向，对每个响应构造方向加权梯度特征描述策略更新方向；将响应分为推理对齐与记忆对齐子组，计算相对于推理组的新颖性得分，并通过奖励塑形（推理组加分、记忆组减分）引导探索。该方法无缝集成到GRPO中。
简短评述: 该工作首次将LLM内部表征的推理-记忆分离信号引入强化学习探索，实现了更精确的探索方向引导，兼具理论新颖性与实用高效性。

— — — — — — — — — — — — — — —

26. Self-Distillation Policy Optimization via Visual Feedback: Bridging Code and Visual ArtifactsarXiv:2606.10334v1

作者机构: Microsoft
核心贡献: 提出Visual-SDPO框架，利用渲染后的视觉反馈作为特权上下文进行自蒸馏，将视觉缺陷检测与代码语句关联，实现空间定向的蒸馏信号加权。在图表、UI和幻灯片生成三个领域，该方法相比零样本基线和纯GRPO均取得显著性能提升（主指标超10个绝对点），且训练更高效。
方法简述: 教师和学生共享权重，但教师额外基于渲染图像或结构化缺陷表作为输入，对学生生成的代码进行token级KL蒸馏；通过Visual-Grounded Code Credit Weighting将检测到的视觉缺陷区域映射回产生它的代码语句，为该语句的每个token赋予更高权重（1至α），同时结合序列级GRPO奖励进行联合优化。
简短评述: 将视觉缺陷定位与代码语句级蒸馏结合，为代码生成视觉制品提供了一种样本高效、无需推理开销的新训练范式。

— — — — — — — — — — — — — — —

27. Supervised Fine-tuning with Synthetic Rationale Data Hurts Real-World Disease PredictionarXiv:2606.10279v1

作者机构: 宾夕法尼亚大学，伊利诺伊大学厄巴纳-香槟分校，加州大学默塞德分校
核心贡献: 通过504种配置的大规模控制实验，系统证明在五年阿尔茨海默病预测任务中，基于合成理由数据的监督微调始终显著劣于仅使用标签的微调（平均ROC-AUC 0.734 vs. 0.604）。研究进一步归因于叙事合理性（生成式目标）与判别优化之间的结构性冲突：模型优化重心从学习类别边界转向复现合理叙事，而理由本身质量良好（经人工验证且作为少样本演示可提升性能）。
方法简述: 对比无理由、自由理由、逐步理由三种SFT目标格式，在Qwen3-8B和Qwen2.5-7B-Instruct上采用LoRA微调，控制训练集大小、学习率与解码设置，并在同一测试集（853人）上评估ROC-AUC、PR-AUC、F1等指标，辅以特征级误差分析与理由质量验证。
简短评述: 该工作揭示了理由监督在高风险临床预测中的反直觉失效机制，为负责任地使用语言模型进行医疗预测提供了关键实证警示。

━━━━━━━━━━━━━━━━━━━━━━━━

BinaryPulse · 2026年06月10日