夜雨聆风LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 RO - 机器人
1、[CL] Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs
2、[CL] Introspective Coupling：Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision
3、[LG] Surrogate Fidelity：When Can Open LLMs Explain Closed Ones?
4、[CL] SeKV：Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference
5、[RO] Freeform Preference Learning for Robotic Manipulation
摘要：基于元认知反馈的强化学习促使LLM产生忠实的不确定性表达、自我解释训练在固定监督下实现对行为变化的追踪、开源大语言模型何时能有效解释闭源模型、基于层级化语义记忆的自适应分辨率 KV 缓存助力长上下文大语言模型推理、面向机器人操控的自由形式偏好学习
1、[CL] Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs
G K Liu, A Caciularu, G Yona, I Szpektor…
[Yale University & Google Research]
基于元认知反馈的强化学习促使LLM产生忠实的不确定性表达
要点:
强调了“事实校准”（将置信度与客观准确率对齐）和“忠实校准”（FC，将表达的置信度与模型内在的真实信念对齐）之间的关键区别。 引入了带有元认知反馈的强化学习（RLMF），它修改了GRPO的机制：根据模型对其自身表现的自我评估的准确性（而不仅仅是表现本身）来缩放生成结果的优势分数（Advantage）。 提出了一种非常反直觉的“元认知数据选择”策略：从模型自我评估表现的极高和极低两端同时选择训练样本，其效果显著优于标准的主动学习（主动学习通常只选择表现差/困难的样本）。 采用了针对忠实校准的解耦双阶段架构：第一阶段利用RLMF输出高度准确的数字置信度；第二阶段使用定向的LLM重写协议，将数字置信度转化为多样化、适应语境的语言模糊限制语（hedges），从而避免了直接使用RL训练带来的模式崩溃和句式重复问题。 引入了 cMFG*这一新指标，通过使用按置信度轴宽度加权的等质量分箱，修复了标准cMFG指标的固有偏差（原指标会极不公平地惩罚那些自然工作在狭窄置信度区间的模型）。展现了惊人的分布外泛化能力：仅在单一问答数据集（PopQA）上训练的RLMF，在包括复杂数学（MATH）和幻觉检测在内的10个不同数据集上均实现了SOTA的忠实校准，性能超出标准RL高达63%。 证明了元认知反馈作为一种比常规内部反馈更稳定的RL信号，有效避免了指令微调模型在使用自我输出的置信度进行训练时常见的性能退化（收益递减）问题。
主旨： 解决大语言模型（LLM）缺乏元认知能力，导致其倾向于高置信度地产生幻觉、无法准确表达其内在真实不确定性（即缺乏“忠实校准”）的问题。为此，论文提出了一种结合元认知反馈的强化学习范式，以实现LLM在数字和自然语言两方面全面、真实的置信度表达。
创新：
提出了元认知优势缩放机制（RLMF），在GRPO强化学习中，不仅奖励模型“做得好”，更奖励模型“知道自己做得好不好”（预测自身校准表现的准确度）。 提出了基于元认知自评的“U型”数据选择策略，证明了结合高自评分和低自评分的样本比传统的仅选择低分样本（主动学习）更能平衡模型的置信度。 设计了解耦的双阶段置信度校准框架：先用RL进行硬性的数字置信度校准，再用LLM重写策略进行软性的语言不确定性表达，兼顾了数学精度与语言多样性。 提出了 cMFG*评估指标，解决了以往评估模型忠实度时，因模型内在置信度分布极化而导致的统计偏差问题。
贡献：
理论贡献：证明了“元认知表现（自我评估能力）”可以作为一种比单纯的内部置信度更高级、更稳定的强化学习内在奖励信号，为模型的自我对齐提供了新思路。 方法贡献：构建了首个端到端的、同时涵盖数字和语言双模态的LLM忠实校准管道，并且其重写模块支持无需重新训练即可根据用户偏好动态调整语气。 实践贡献：在涵盖6个以上内容领域的10个数据集上实现了SOTA的忠实校准性能，且在不损害模型原有任务准确率的情况下，大幅提升了语言表达的自然度和多样性（人类偏好胜率达95%以上）。
提升：
忠实校准度（FC）：在 cMFG*指标上，相比于之前的SFT或Prompt方法，平均提升了25%-29%；超越标准RL算法达63%。泛化能力：突破了以往方法只能在同分布数据上生效的限制，仅在PopQA上训练即可泛化到推理、数学等各种复杂任务中。 语言质量：在人类评估中，该方法生成的非确定性表达在多样性、自然度、有用性和语境适应性四个维度上对基线方法取得了95%-98%的绝对胜率，消除了重复的机器味句式。 计算效率：元认知数据选择机制使得模型仅需2000条样本即可完成高效对齐。
不足：
阈值敏感性：在RLMF中，当严格匹配阈值 设定得过小（如0.05）时，由于对于较小规模模型而言奖励信号过于稀疏，导致效果反而不如较大阈值（0.10）。这暗示该方法对超参数存在一定依赖。 理论验证范围限制：元认知数据选择策略（选择两端数据）目前主要在“忠实校准”这一特定任务上被验证，是否能广泛适用于LLM的其他一般性指令微调任务尚未可知。 重写阶段的依赖：第二阶段需要依赖一个额外的强大LLM（如Gemini/GPT）来进行文本重写，这在推理阶段增加了一次额外的API调用和延迟，尽管它避免了RL重训的高昂成本。
心得：
奖励“自知之明”而非仅仅奖励“正确”：这篇论文最深刻的启发在于，传统的RLHF都在教模型“如何做对”，而RLMF通过奖励优势缩放，教模型“认清自己”。这种元认知（Metacognition）层面的反馈信号不仅更加稳定，还能避免模型过度自信，是走向真正AGI（需要强自我监控能力）的重要一步。 反直觉的数据选择——“好坏参半”胜过“专攻错题”：主动学习通常告诉我们，要挑选模型表现最差、最没把握的数据进行训练。但本文发现，在置信度校准中，同时送入模型“非常有把握且正确”和“非常没把握且错误”的数据，能让模型更好地区分置信度的边界。这启示我们在构建SFT或RL数据集时，正负两极的对比信号极其重要。 解耦设计的工程智慧：让RL模型同时学“准确输出0.35的置信度”和“用不同且自然的排比句表达不确定性”，极易导致模式崩溃（Mode Collapse），即模型只会反复说“我不太确定”。作者巧妙地把任务拆解：RL只负责搞对数字，LLM重写负责语言包装。这种“RL负责逻辑/数值内核，Prompt负责语言外壳”的架构，对现代复杂AI系统的设计极具指导意义。
一句话总结:
本文创新性地提出通过“奖励模型准确评估自身表现”的元认知强化学习（RLMF），结合解耦的数字到语言双阶段重写架构，成功让LLM学会了“知之为知之，不知为不知”的忠实置信度表达，大幅提升了模型在各类任务中的可靠性与人类语言对齐程度。
Metacognition is a critical component of intelligence that describes the ability to monitor and regulate one’s own cognitive processes. Yet LLMs exhibit systemic deficiencies in key metacognitive faculties: they hallucinate with high confidence, fail to recognize knowledge boundaries, and misrepresent their internal uncertainty— undermining trustworthiness and reliability. Since monitoring task performance and adapting behavior accordingly are central to metacognition, we posit that models capable of accurately judging their own performance are better positioned to improve it. We operationalize this idea via two novel mechanisms: reinforcement learning with metacognitive feedback (RLMF), a paradigm to refine completion rankings during preference optimization based on the quality of a model’s selfjudgments of performance, and metacognitive data selection, which uses similar self-judgments to identify high-value training examples, outperforming naive active learning. We apply these innovations to the problem of faithful calibration (FC), a task that is itself fundamentally metacognitive: the goal is to align expressed with intrinsic uncertainty, difficult even for frontier LLMs. We adopt a two-stage, decoupled approach, first using these methods to calibrate the faithfulness of models’ self-reported confidence scores, then mapping to natural, context-adaptable linguistic uncertainty via targeted output editing. Extensive experiments show RLMF achieves generalizable, state-of-the-art FC on diverse tasks while preserving accuracy. Further, RLMF surpasses standard RL by up to 63% while enhancing models’ ability to assess and express their own capability limits. This positions RLMF as a promising paradigm to enhance LLM metacognition toward improved abilities and alignment, and suggests metacognitive performance as an effective RL signal to overcome limits of prior intrinsic feedback methods.
https://arxiv.org/abs/2606.32032
2、[CL] Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision
Z C Guo, L Ruis, J Andreas, B Z. Li
[MIT]
内省式耦合：自我解释训练在固定监督下实现对行为变化的追踪
要点:
探讨了LLM自我解释的忠实度：模型究竟是在进行真实的自我反省（读取当前决策过程），还是仅仅在肤浅地模仿训练集中的解释标签？ 发现了一个高度反直觉的现象“内省耦合（Introspective Coupling）”：在使用过去检查点生成的固定解释标签进行训练（辅以行为正则化）时，LLM对其当前发生漂移后的行为的解释，竟然比对其被显式训练去拟合的静态目标的解释更准确。 展示了“Self - 揭示了解释监督信号的跨模型复用性：非常令人惊讶的是，即使使用Llama模型生成的解释标签来训练Qwen模型，依然能促使Qwen模型忠实地解释其自身（Qwen特有）的行为，而非死记硬背Llama的逻辑。 证明了这种耦合能够泛化到新行为上：当解释训练与辅助行为微调（例如学习无意义的合成任务或真实的偏好转变）混合进行时，即使不提供新数据的解释标签，LLM的解释也能自动追踪并反映这些新获得的行为。 通过激活修补（Activation Patching）提供了机制层面的证据：改变模型行为输出的内部特征干预，会同时且一致地改变其解释输出，证明模型在物理表示上共享了行为回路和解释回路。 指出了内省现象涌现的阈值效应：训练期间的“在线标签-自身一致性”（静态标签与模型当前行为的相似度）必须保持在特定阈值（对于Qwen3-8B约为70%）以上，这也凸显了行为正则化在防止模型偏离标签过远时的关键作用。
主旨： 本文旨在解决大语言模型（LLM）自我解释的忠实度问题，探究当使用静态数据集训练模型生成对其预测行为的解释时，模型能否真正学会读取其内部的真实决策逻辑（即内省），而不是仅仅拟合训练数据。
创新：
提出了“内省耦合（Introspective Coupling）”的概念，并通过比较模型对其自身当前行为的解释准确率（Self）与对原始训练标签的解释准确率（Orig），设计了“Self - 采用了一种结合固定反事实解释标签与KL散度行为正则化的联合微调策略，成功在不动态更新解释标签的情况下，诱导出模型对自身漂移后行为的内省能力。 设计了极具巧思的实验范式：如跨模型的标签混合训练，以及注入完全生造的（Jabberwocky）合成辅助任务，从而将被动记忆外部标签与主动读取内部状态这两种机制完美地分离开来。
贡献：
理论与实证贡献：无可辩驳地证明了LLM具备强大的“内部特权访问（privileged access）”潜力。只要训练时标签与模型当前行为保持一定的相似度，模型就会自发地将解释任务挂载到真实的内部行为回路上，而非盲目模仿外部标签。 实践方法贡献：为后训练（Post-training）提供了一种极具扩展性的模型行为监控方案。在复杂的对齐微调中，只需混入一份静态的解释数据集，模型就能在其行为发生不可预见的偏移（如变得更迎合用户或过度拒绝）时，自动自我报告这些变化。 可解释性贡献：通过机制可解释性技术（因果干预），首次从神经元计算层面证实了反事实自我解释与模型实际输出决策之间存在高度耦合的因果联系。
提升：
在阿谀奉承（Hint-MMLU， AITA）和拒绝响应（Refusal）等多个评估设定中，相较于无正则化的基线模型，该方法不仅遏制了行为崩溃，还在解释其自身真实行为的准确率（Explanation EM）上取得了决定性的领先，彻底扭转了“Orig - 在辅助新任务（如Jabberwocky无意义词汇问答）上，模型在从未见过相关解释标签的情况下，实现了零样本的自我解释追踪，针对新行为的解释准确率高达80%-90%。
不足：
对行为方差的高度依赖：该训练方法要求基础模型在反事实干预下必须表现出足够的行为差异（例如面对不同提示既有拒绝也有顺从）。如果模型行为一面倒（如100%拒绝），解释标签会退化为多数类预测，导致训练完全失效。 耦合涌现机制的复杂性探究不彻底：实验发现极高的学习率会在模型剧烈漂移（导致标签-自身一致性极低）的情况下依然扩大“Self - 泛化类型的局限：目前主要在“反事实扰动（去掉线索词）”这一非常具体的元级别（meta-level）解释格式上进行了验证，其是否能泛化到更开放、非结构化的思维链（CoT）或完全跨领域的OOD任务上，仍需进一步研究。
心得：
“伪造”的监督信号也能催生“真实”的自我认知：论文最震撼的反直觉发现是，用Llama模型的解释标签去教Qwen模型，Qwen依然学会了忠实地解释Qwen自己。这深刻揭示了LLM在学习“解释”这一任务时，学到的本质不是具体的标签文本，而是“将语言输出锚定到内部决策特征”这一通用元技能（meta-skill）。 静态数据集的“复利”与动态追踪探针：传统观念认为，要让模型准确解释自己，解释监督器必须随着模型的更新而不断重新生成标签。本文彻底打破了这一常识，证明了“解释能力”具有极强的跟随泛化性。这意味着我们只需训练一次解释探针，它就能像一个“永远在线”的监视器，在后续的RLHF等过程中自动报告模型偏好的每一次幽微变化。 正则化：不仅仅是防止遗忘，更是内部特征对齐的“锚”：KL行为正则化在本文中起到了点石成金的作用。如果不约束行为，模型会迅速漂移，导致原本的解释标签完全沦为噪音；而适度的约束使得模型在“当前内部行为”和“固定外部标签”之间保持了临界的一致性（>70%），恰恰是这种微妙的张力，逼迫模型放弃机械记忆，转而打通了内部状态读取的通路。
一句话总结:
本文揭示了LLM中高度反直觉的“内省耦合”现象：通过使用静态的、甚至来自异构模型的解释标签进行带正则化的微调，LLM不仅没有沦为标签的复读机，反而学会了精确解释并动态追踪自身当前及未来新获得的行为变化，为低成本监控模型演化提供了革命性的新范式。
When does training language models (LMs) to generate explanations of their predictions yield faithful introspection, rather than superficial imitation? We study LMs trained to explain which features of their inputs influenced their behavior, using models’ counterfactual behavior on modified inputs as supervision. Surprisingly, we find that LMs trained on fixed counterfactual explanations derived from earlier checkpoints of themselves, or even from behaviorally similar models in different families, frequently produce explanations more faithful to their own current behaviors than to those of their training targets. This “introspective” coupling between LM explanations and behaviors occurs when training explanations remain sufficiently correlated with current behaviors over the course of training, even as behaviors themselves shift. We also show that introspective coupling tracks behavior shifts: when explanation training is provided concurrently with other post-training objectives, explanations track those shifts without requiring updated supervision. This phenomenon appears in multiple tasks, including sycophancy and refusal, and is robust to label noise. Overall, our results show that even fixed datasets of counterfactual explanations can provide scalable and generalizable post-training signal for introspection.
https://arxiv.org/abs/2606.32038
3、[LG] Surrogate Fidelity: When Can Open LLMs Explain Closed Ones?
P Chlenski, Z Carmichael, A Warikoo, C Shao…
[Meta]
代理保真度：开源大语言模型何时能有效解释闭源模型？
要点:
突出了机制可解释性（MI）中的关键“替代问题”：从完全可访问的开源模型中得出的结论，能否可靠地迁移到仅提供API的闭源模型上？ 引入了一个包含四个层级的“替代保真度（Surrogate Fidelity）”评估体系：预测级（）、归因级（）、表征级（）和跨层级（）。 利用对数赔率（log-odds，可由API暴露的top-K对数概率计算得出）作为数学上严谨的桥梁，在无需白盒访问权限的情况下近似内部的线性表征。 揭示了巨大的“预测-归因鸿沟”：在预测结果上高度一致的模型（高），在因果归因上往往存在严重分歧（低）。简而言之，模型在“答案是什么”上达成共识，但在“为什么是这个答案”上各执一词。 发现了一个高度反直觉的“访问权-有效性倒置（Access-Validity Inversion）”现象：诸如注意力模式和扰动幅度等白盒内部信号在不同模型间高度稳定，但它们极难预测真实的因果行为；相反，兼容API的黑盒输入消融（ablation）却能更好地捕获实际的因果依赖。 从几何角度解释了归因保真度低的原因：虽然模型在输入被消融时表征变化的“幅度”上高度一致（高），但它们对决策边界（读出方向）的编码却截然不同（低），最终导致输出行为的显著差异。 证明了替代保真度与模型置信度相关：对于高置信度的提示词，替代模型的预测和归因能更可靠地反映目标模型的行为；而对于低置信度提示词则极不可靠。 揭示了替代关系的“方向不对称性”（通过NRMSE指标）：用极小参数的模型（如0.5B）去解释大模型（14B）会导致灾难性的误差，而用大模型去解释小模型的结果则稳定得多。
主旨： 探讨在使用开源大语言模型作为闭源模型的“机制解释替代品”时，解释结果的可靠性与可迁移性。论文提出了一套系统的“替代保真度”评估框架，旨在量化两模型在输出、归因及内部表征上的一致性，从而解答“我们能否以及何时可以通过研究开源模型来理解闭源模型”的核心问题。
创新：
提出了一套分层的保真度评估框架（预测、归因、表征、跨层级），为评估跨模型机制解释的有效性设定了标准化标准。 创新性地将仅需黑盒API访问权限的“对数赔率（log-odds）”与Transformer残差流的线性几何性质结合，使得在不获取模型权重的条件下评估因果归因成为可能。 首次发现并命名了“访问权-有效性倒置（Access-Validity Inversion）”这一反常现象，挑战了长期以来将“注意力权重”视作可解释性强信号的传统假设。 引入标准化均方根误差（NRMSE）来评估替代保真度的方向不对称性，超越了传统对称相关性指标（如Pearson/Spearman）的局限。
贡献：
经验性地在跨4个家族（Llama， Qwen， GPT， Gemini）的11个模型上证明了“输出一致性决不意味着内部机制一致性”，为AI安全与可解释性社区敲响了警钟。 破除了“注意力机制等同于解释”的迷思，证明跨模型的注意力高度一致只是架构相似性的副产物，与模型实际因果推理过程几乎无关。 提供了一个开源的评估工具管道，指导MI研究者在将开源模型的发现推广到前沿闭源模型之前，如何根据手头的访问权限和主张类型进行针对性的保真度验证。
提升：
为模型的可解释性验证提供了定量依据：不再盲目假设机制可迁移，而是通过计算 提供了可量化的保真度基准。 提出了基于“置信度”的筛选策略：实证表明，在高置信度数据区间，归因保真度实现了翻倍提升（从0.27提升至0.61），为研究人员提供了提取可靠替代解释的实用方法。
不足：
任务范围受限：当前的评估主要依赖二分类任务（及其变体选择题或单词预测），因为对数赔率（log-odds）在开放式文本生成（Open-ended generation）中难以直接应用，而后者占据了LLM绝大多数的实际用例。 消融方法的局限性：留一法输入消融（Leave-one-out ablation）虽然兼容API，但可能会将模型推向分布外（OOD）状态，产生意料之外的副作用。 缺乏对前沿MI工具的覆盖：受限于对闭源模型黑盒API的评估前提，本文未涉及如激活修补（Activation Patching）、稀疏自编码器（SAE）特征或指导向量（Steering Vectors）等更深度的表征级干预保真度测试。
心得：
结果一致不等于思维一致的警示：两台模型给出相同的答案，不代表它们使用了相同的逻辑（高预测保真度 vs. 低归因保真度）。这对于AI对齐和安全审计意义重大——我们不能因为一个开源代理模型在基准测试上表现得像GPT-4，就认为剖析该代理模型能揭示GPT-4的潜在风险。 反直觉的“访问权-有效性倒置”带来深刻启发：白盒可见的信号（如注意力热力图）在各个模型中出奇地一致，但它们对预测实际决策毫无用处；反而是通过简单的黑盒删词测试更能反映真正的因果链。这警告研究者：容易获取或视觉上直观的内部结构相似性，极具欺骗性。 差异源于“决策投影”的几何视角：论文通过残差流拆解发现，不同模型在面对缺失信息时，其内部表征波动的“绝对幅度”是高度一致的（即它们都知道某句话很重要），但它们将这个波动“投影”到最终分类决策向量（读出方向）上的角度却千差万别。这说明大模型可能在底层学习到了相似的世界特征，但将这些特征硬连线到具体输出任务上的方式却是高度个性化的。
一句话总结:
本文系统性地评估了开源大语言模型能否作为闭源模型可解释性研究的可靠替代品，揭示了“输出一致性掩盖了因果归因严重分歧”的真相，并警告研究者盲目跨模型迁移机制解释可能带来极具欺骗性的结论。
Mechanistic interpretability (MI) requires full access to model internals, yet the APIs for most widely deployed language models at best expose log-probabilities over output tokens. This creates a surrogate problem: when do measurements made on open models allow us to make claims about a closed model? We evaluate surrogate fidelity at the prediction, attribution, and representation levels. For binary classification tasks, logodds provide an API-compatible scalar readout of the model’s representation space, and leave-oneout attributions provide insight into model behavior. Across eleven models spanning four families (Llama, Qwen, GPT, and Gemini), we find that prediction fidelity substantially overstates attribution fidelity: models that agree on what the answer is often disagree on why. We document an access–validity inversion: white-box signals like attention patterns and perturbation magnitudes are highly stable across models but only weakly predictive of causal attributions, which black-box input ablations capture by design. Mechanistic insight does not automatically transfer to closed targets, and prediction-level agreement is insufficient to warrant such transfer.
https://arxiv.org/abs/2606.32008
4、[CL] SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference
A Abaskohi, G Carenini, P West, Y He
[University of British Columbia & Microsoft Research]
SeKV：基于层级化语义记忆的自适应分辨率 KV 缓存助力长上下文大语言模型推理
要点:
挑战了KV Cache管理中普遍采用的“不可逆Token驱逐”范式，引入了一种分辨率自适应的CPU-GPU双分辨率分层内存架构。 巧妙利用预填充（Prefill）阶段产生的“Token惊讶度（信息熵）”作为零成本的天然信号，将上下文分割为语义跨度，并仅在GPU上保留高惊讶度的“锚点（Anchor）”Token。 彻底避免了永久性的信息丢失，对于非锚点Token，不在GPU上保存原始数据，也不是直接丢弃，而是在CPU上存储紧凑的低秩SVD基。 引入了可训练的“放大（Zoom-in）”机制，作为动态路由器，在解码期间按需将CPU上的低秩基异步拉取到GPU并重建为Token级别的KV状态。 实现这一动态路由仅需增加不到0.05%的可训练参数，同时保持底层大语言模型（LLM）的权重完全冻结。 揭示了一种高度倾斜的注意力行为：模型对上下文“放大”的需求极其稀疏，且高度集中在极少数注意力头（主要是中后层），这证明了在全局维持统一的高分辨率Token缓存是极度浪费的。 实验证明，在128K上下文长度下，该方法减少了53.3%的GPU显存消耗，同时在四个严苛的长上下文基准测试中，平均性能比最强的语义基线方法（SentenceKV）高出5.9%。
主旨： 解决大语言模型（LLM）在长上下文推理时，KV Cache显存占用呈线性增长的瓶颈问题，同时克服现有方法（如直接丢弃Token或静态语义分组）导致关键信息永久丢失、无法在解码阶段按需恢复细粒度特征的致命缺陷。
创新：
基于信息熵的零成本语义分块：利用前向传播天然产生的Token惊讶度（Surprisal）来识别语义边界，自动将上下文切分为不同跨度。 分层双分辨率KV缓存：在GPU中保留用于粗粒度路由的轻量级摘要向量和高信息量锚点，在CPU中存储用于细粒度重建的低秩SVD基，实现了存储和显存的完美解耦。 按需异步放大的动态路由机制：通过极少量的附加参数（<0.05%），训练出一个“门控”机制，使冻结的LLM学会在生成每个Token时，按需触发异步拉取和SVD重建，实现“先粗筛后细看”。
贡献：
提出了一种全新的长上下文内存组织架构（SEKV），打破了长文本KV Cache只能“非黑即白”地保留或丢弃的局限。 证明了长上下文推理可以依赖混合分辨率运行，仅在极少数“检索头”上才需要局部的高清分辨率。 在多个模型架构（Llama， Mistral， Qwen）上实现了部署即用的卓越性能，为未来超长上下文模型的高效推理提供了极具应用价值的系统级解决方案。
提升：
推理准确性：在LongBench、RULER、InfiniteBench和NIAH（大海捞针）四个基准上全面胜过现有的Token驱逐和语义压缩方法，比最强基线平均提升5.9%，在极度依赖检索的NIAH任务上提升高达5.68%。 显存与效率：在128K上下文下，相较于完整的KV Cache，节省了53.3%的GPU显存，同时在保持吞吐量和降低延迟方面表现优异。
不足：
对特定文本结构的鲁棒性：该方法依赖信息熵来划分语义边界，如果遇到极度碎片化的文本（如密集的数据表格、代码块或异常格式），基于熵的分割可能会产生过多短跨度，降低压缩效率。 引入了较多超参数：包括SVD的秩上限、惊讶度阈值、局部窗口大小等。在向新模型或更极端的上下文长度迁移时，可能需要重新验证和调参。 受限于CPU-GPU带宽：尽管避免了不可逆的驱逐，但低秩基的按需拉取高度依赖主机到设备的传输带宽。若遇到反复唤醒大量远端上下文的极端对抗性查询，可能会侵蚀其延迟优势。
心得：
注意力机制的“视知觉”演化——并非所有上下文都需要“高清”：论文揭示了一个极具启发性的现象：大模型绝大多数的注意力头只需要“模糊的粗粒度摘要”，只有极少量的头在特定时刻才需要“高清细节”。这与人类的视觉系统（周边视觉模糊，中央视觉高清）惊人地一致，启示我们未来的Transformer优化方向应彻底抛弃“一视同仁”的全局计算，走向“先宏观索引，后微观聚焦”的仿生机制。 变废为宝，让“惊讶度”成为免费的语义信标：利用Prefill阶段自然产生的Token预测信息熵（Surprisal）来切分语义边界，是一个极其优雅的“白嫖”操作。模型觉得意外（惊讶度高）的地方，往往正是话题转换或新实体引入的锚点。这种直接利用模型内部认知状态作为分块依据的做法，比外挂任何语义分割模型都要高效且直指本质。 降维归档胜过彻底删除（Compression vs. Eviction）：现有的KV Cache压缩大多是做残酷的“减法”（直接丢弃被认为不重要的Token）。SEKV则提供了一种降维打击的思路：对于暂时不重要的数据，不删除，而是将其压缩为低秩矩阵（SVD）“归档”到廉价的CPU内存中，保留随时“复活”的权利。这种“用存储空间和异步IO换取注意力无损”的思想，为打破显存墙提供了极佳的系统工程范式。
一句话总结:
本文针对大模型长上下文推理中KV Cache的显存瓶颈，创新性地提出了分辨率自适应的语义缓存架构SEKV，它巧妙利用“Token惊讶度”免费划分语义块，并在GPU保留粗粒度摘要、在CPU存放低秩SVD压缩基；最反直觉且极具启发性的是，模型只需新增不足0.05%的参数就能学会在解码时异步“按需放大（Zoom-in）”关键语义，不仅彻底避免了粗暴丢弃Token带来的信息永久丢失，更在128K超长上下文中缩减了53.3%的GPU显存，并刷新了长文本检索与理解的性能上限。
Large language models increasingly operate over long contexts, where the KV cache becomes a dominant memory bottleneck: its size grows linearly with sequence length and must be retained throughout decoding, making full GPU caching prohibitively expensive without compression. Existing KV cache compression methods struggle to balance efficiency with faithful context preservation. Token eviction discards information, while semantic grouping fixes compression decisions at prefill time; neither can recover token-level detail from a compressed span once it becomes relevant during generation. As a solution, we propose SEKV, a resolution-adaptive semantic KV cache that organizes context into entropy-guided semantic spans and stores them across a GPU–CPU memory hierarchy without discarding information. Each span keeps a lightweight summary vector on GPU for coarse routing and a low-rank SVD basis on CPU for on-demand token-level reconstruction. A trained zoom-in mechanism selectively expands query-relevant spans during decoding, enabling precise retrieval without materializing the full KV cache on GPU. SEKV enables adaptive token-level reconstruction while keeping the base LLM fully frozen and adding fewer than 0.05% trainable parameters. Across four benchmarks, SEKV improves over the strongest semantic compression baseline by 5.9% on average while reducing GPU memory by 53.3% versus full KV caching at 128K context.
https://arxiv.org/abs/2606.31145
5、[RO] Freeform Preference Learning for Robotic Manipulation
M Torne, A Mahajan, A Bhat, C Finn
[Stanford University]
面向机器人操控的自由形式偏好学习
要点:
旨在解决自主机器人策略改进中奖励设计这一核心瓶颈，特别是在长视野（long-horizon）任务中，稀疏奖励提供的信号太少，而二元偏好（二选一）会将许多质量方面折叠成一个模糊的单一信号。 提出了自由形式偏好学习（Freeform Preference Learning， FPL），这是一种允许人类标注者用自然语言指定多维偏好轴（如速度、安全性、精细度），并提供每个轴的成对比较偏好的方法。 FPL利用这些自由形式的偏好，通过视觉语言模型（VLM）训练一个以语言为条件的、多维度的奖励模型。该模型将轨迹和自然语言偏好轴映射为特定于该轴的奖励分数。 采用离策略（off-policy）、基于奖励调节（reward-conditioned）的算法提取策略，通过文本提示（text prompts）同时在多个奖励维度上调节策略。 在四项真实的机器人操作任务（将立方体放入目标碗、折叠短裤、摆盘吐司、布置餐桌）和两项模拟任务中，相较于稀疏奖励和二元偏好方法，FPL提升了38个百分点。 证明了FPL在不需要显式的子任务分割标注的情况下，能够学习到密集的进度信号（在时间上定位的子任务完成情况）。 展现了组合泛化能力（compositional generalization）：策略能够实现数据集中不存在的行为（例如，在右侧钉子上快速放置，而数据仅包含左侧快速和右侧慢速的轨迹）。 实现了测试时的可控性（test-time steerability）：用户只需在条件提示中更改目标奖励值，即可引导策略产生不同的目标行为（例如，将立方体放入不同颜色的碗中），而无需重新训练。 实证表明，收集自由形式的多轴偏好，其每个标签的标注时间比收集单一的二元偏好快约50%，因为观看视频对的时间成本被分摊到了多个标签上。
主旨： 本文旨在解决长视野机器人操作任务中，奖励函数设计困难及二元偏好反馈过于模糊的问题。通过提出“自由形式偏好学习（FPL）”，允许人类用自然语言定义多个偏好维度并给出评价，进而训练出能同时优化多维度指标、具备组合泛化能力和测试时可控性的机器人策略。
创新：
自由形式多维偏好收集：打破了传统的单一“整体偏好”二元比较，允许标注者用自然语言自定义评估轴（如速度、平滑度、安全性等），减少了反馈的歧义。 语言条件的奖励模型：利用VLM训练一个统一的奖励模型，该模型接收完整的视频轨迹和自然语言偏好轴作为输入，输出该特定轴上的奖励分数，实现了跨语义的奖励泛化。 多维奖励调节的策略提取：不将多维奖励简单加权求和，而是将所有轴的文本描述及其对应的期望奖励分数作为文本提示输入给策略（VLA模型），使策略学会同时关注和优化多个维度。
贡献：
提出了一种新颖且高效的强化学习反馈收集范式（FPL），在标签收集效率上比传统二元偏好快50%。 在真实世界的复杂操作任务中取得了显著的性能突破（平均提升38%），验证了该方法在现实场景中的有效性。 证明了保留人类反馈的多维结构可以解锁策略的高级能力，包括自动学习长视野任务的密集奖励信号、产生训练数据中未见过的组合行为，以及无需重训的测试时行为引导。
提升：
任务成功率：在包括折叠短裤、布置餐桌等真实世界任务中，相比基线方法（行为克隆、单轴偏好学习等）平均提升了38个百分点。 奖励信号质量：无需人工切分子任务，自动在长视野任务中为关键事件生成时间上精准定位的密集奖励信号（解决了单轴偏好的信用分配错误问题）。 策略灵活性：实现了零样本（Zero-shot）的组合泛化和测试时行为引导。
不足：
人类反馈成本：尽管单标签效率提高，但偏好学习仍然需要收集人类反馈，其成本高于完全无监督的方法。 测试时奖励值的选择：由于奖励模型输出的值是无界的（虽然经过了标准化），在测试时手动选择合适的奖励值来引导期望的行为可能比较困难，未来需要研究如何自动化这一过程。 固定的偏好轴集合：当前的策略是基于固定的代表性偏好轴集合进行调节的，未能完全利用VLA动态处理可变偏好轴的能力。
心得：
拒绝“一刀切”，拥抱多维度：在复杂的现实任务中，试图用一个“好”或“坏”的标量来评价整段轨迹是极其反直觉且低效的。FPL证明了，允许人类顺着自己的直觉给出多维度的评价（比如“这动作挺快，但太粗暴了”），不仅能降低标注难度，还能极大地丰富学习信号。 语言是大模型时代的“通用接口”：通过将偏好轴转化为自然语言描述，FPL巧妙地复用了视觉语言模型（VLM）的先验知识，使得同一个奖励模型能理解“速度”、“快速”或“效率”等近义词，极大地提高了系统的泛化性和可扩展性。 多维调节带来意想不到的“化学反应”（组合泛化）：最令我印象深刻的是，由于策略分别学习了不同维度（如“目标位置”和“速度”），它竟然能在测试时组合出数据集中不存在的行为（如“快速放到右边”）。这说明多维奖励调节不仅是一个优化技巧，更是一种强大的表征解耦方法。
一句话总结:
本文提出了一种革命性的机器人强化学习方法FPL，它摒弃了模糊的单一二元偏好，允许人类用自然语言定义并评价诸如速度、安全性等多维指标，借此训练出的多维奖励条件策略不仅在真实长视野任务中成功率飙升38%，更令人惊艳地解锁了行为的组合泛化和测试时的一键可控能力。
Reward design remains a central bottleneck for autonomous robot policy improvement, especially in long-horizon manipulation tasks where sparse success labels provide too little signal and binary preferences collapse many competing notions of quality into one ambiguous signal. We introduce Freeform Preference Learning (FPL), a method for learning robot policies from freeform human preferences. Rather than asking annotators which of two trajectories is better overall, FPL lets them define natural-language preference axes, such as speed, safety, quality of placement, or carefulness, and provide pairwise preferences along each axis. These annotations are used to learn a language-conditioned reward model that maps a trajectory and preference label to an axis-specific reward. We use this model to train a reward-conditioned policy that optimizes across the multiple human-specified dimensions. Across four real-world and two simulated long-horizon manipulation tasks, FPL improves over sparse-reward and binarypreference methods by 38 percentage points. Beyond improved performance, FPL learns dense progress signals without explicit subtask segmentation, shows compositionality of behavior not present in the data, and allows users to steer the policy towards different behaviors at test time without retraining.
https://arxiv.org/abs/2606.32027
