📡 LLM 大语言模型

2026年06月06日星期六

Code2LoRA：面向软件演化中代码语言模型的超网络生成适配器

Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software Evolution

🤗 45

代码语言模型需要仓库级上下文以理解导入、API和项目规范。现有方法通过长输入或针对每个仓库进行微调来注入知识，成本高且难以适应代码演化。本文提出Code2LoRA，一种超网络框架，能生成仓库特定的LoRA适配器，实现零推理开销的知识注入。该框架包含静态与演化两种使用场景。在包含604个Python仓库的RepoPeftBench基准测试中，Code2LoRA在静态和演化任务上均达到或超越了参数高效微调基线的性能。

AdaPlanBench：评估世界与用户约束下大语言模型智能体的自适应规划能力

AdaPlanBench: Evaluating Adaptive Planning in Large Language Model Agents under World and User Constraints

🤗 32

现实世界规划常涉及逐步揭示的世界与用户双重约束，现有基准对此类自适应规划评估不足。为此，本文引入AdaPlanBench，一个基于307个家庭任务的动态交互基准，用于评估LLM智能体在逐步揭示的双重约束下进行自适应规划和重新规划的能力。实验表明，在十个领先的LLM上，自适应规划仍具挑战性，最佳模型准确率仅为67.75%。用户约束尤其困难，性能随约束累积而下降，突显了LLM智能体可靠适应动态约束的挑战。

TIDE：通过模板引导迭代实现主动多问题发现

TIDE: Proactive Multi-Problem Discovery via Template-Guided Iteration

🤗 36

现有智能体通常仅响应用户显式请求，而忽略了用户上下文中隐藏的多个未知问题。本文提出TIDE框架，旨在从上下文中主动发现多个隐藏问题。该框架包含两种互补机制：迭代发现（分轮次生成候选问题）和思维模板（复用已解决问题的模式来指导新预测）。在个人工作空间和软件仓库两个现实场景上的验证表明，TIDE在任务覆盖率、识别和解决方面显著优于单次预测和多智能体并行基线。

ArcANE：角色扮演语言智能体能在正确时刻保持角色吗？

ArcANE: Do Role-Playing Language Agents Stay in Character at the Right Time?

🤗 40

角色扮演语言智能体（RPLA）应能演绎角色随故事发展的心理变化，而非保持固定人设。现有基准主要评估特定章节的事实回忆，而非角色心理轨迹的一致性。本文引入ArcANE基准，涵盖17部小说和80个主要角色，通过将叙事沿心理轴线分段，并在各阶段提出相同情境（包括原文内和原文外）来探测角色一致性。实验发现，基于角色弧（Character Arc）的上下文策略在所有模型上表现最佳，且在原文外情境中优势最大。微调得到的ArcANE-8B/32B模型进一步扩大了此优势。

重新思考自演化大语言模型智能体的持续经验内化

Rethinking Continual Experience Internalization for Self-Evolving LLM Agents

🤗 15

经验内化将过往交互的上下文经验转化为可重用的参数化能力，是实现LLM持续学习的重要途径。研究发现，在多轮次经验学习下，现有方法会出现渐进性能力崩溃而非持续提升。本文从三个维度系统分析了此问题：（1）经验粒度：原则级经验比实例级经验更持久；（2）经验注入模式：逐步注入优于全局注入；（3）内化机制：基于高质量教师轨迹的离策略上下文蒸馏比在策略方法更稳定。这些洞察为构建稳定、可持续的自演化LLM提供了具体指导。

强化学习激发未见语言翻译的上下文学习能力

Reinforcement Learning Elicits Contextual Learning of Unseen Language Translation

🤗 23

大语言模型（LLM）可通过持续训练或将语法书编码到上下文中来翻译未见或低资源语言，但此类方法通常过拟合特定语言，零样本迁移能力有限。本文提出一种强化学习（RL）方法，使用表面级翻译指标（chrF）作为奖励，训练LLM利用丰富的上下文语言学知识进行翻译。实验表明，尽管奖励信号轻量，但RL训练后的模型能有效从上下文中提取并应用相关语言学信息，在完全未见语言上的翻译效果优于上下文学习或有监督微调。这表明基于结果的RL可扩展至语言学习任务。

大语言模型对某些政党感到困惑

Large Language Models are Perplexed by some Political Parties

大语言模型（LLM）日益应用于政治领域，但其政治公平性研究不足。本文使用困惑度进行评估，提出公平模型应给予所有政治群体文本同等的概率。然而，通过对十个LLM和覆盖37种语言的三个数据集的测试发现，LLM对极右翼和民族主义政党文本的困惑度高于社会民主党文本。此现象与先前翻译公平性研究一致，且困惑度与下游翻译指标相关。研究表明，LLM的政治公平性主要源于预训练，指令微调对其影响甚微。

测量基于LLM的结构化提取对提示、模型和模式选择在临床出院小结中的敏感性

Measuring the sensitivity of LLM-based structured extraction to prompt, model, and schema choices in clinical discharge summaries

大语言模型（LLM）越来越多地用于临床自由文本的结构化提取，但其输出对上游配置选择的敏感性尚不明确。本研究在无人工标注真值的情况下，通过固定提取任务并逐一改变配置来测量这种敏感性。实验在MIMIC-IV出院小结上进行，涉及三种提示变体、两种模型大小和一个包含临床标志与入院原因的固定模式。结果显示，在三分类标志上，模型间交叉提示一致性中等；将模式简化为二分类后，大部分分歧消失，表明分歧集中于“缺失”与“未提及”的区分。在多分类入院原因上，模型选择的影响远大于提示措辞。

IR3DE：一种面向大语言模型的线性路由选择器

IR3DE: A Linear Router for Large Language Models

随着可用LLM数量增长，推理路由选择器被提出以根据提示选择最合适的LLM。现有方法要么在弱到强的通用LLM间优化成本，要么需要大量训练以支持领域专家路由。本文提出IR3DE，一种基于岭回归的领域专家路由选择器，能为每个提示提供快速、低成本的路由决策。在因果语言建模和推理任务设置下的评估表明，IR3DE性能与基线相当甚至更优，归一化性能达98.4%。此外，IR3DE支持动态增删领域专家模型而无需从头训练路由器。

LLM会泄露训练数据，但它们想泄露吗？基于泄露倾向的LLM记忆化评估

LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs

🤗 7

大语言模型能复现训练数据，但现有记忆化评估多测量模型被强制复现的能力，而非其在普通使用下的泄露倾向。本文提出PropMe框架和SimpleTrace追踪流水线，对比基于前缀的能力攻击与非对抗性评估，并引入倾向性度量。对两个全开源模型（Comma和DFM Decoder）在两个数据集上的评估显示，能力与倾向间存在一致差距：前缀攻击能引发更强的记忆化信号，而普通提示下的泄露倾向总体较低。因此，模型在被直接诱导时可泄露数据，但在常见非对抗场景中很少发生。结果建议记忆化审计应同时报告最坏情况可提取性与普通泄露倾向。

LoRi：用于隐式推理的低秩蒸馏

LoRi: Low-Rank Distillation for Implicit Reasoning

隐式思维链方法旨在将推理过程内化于大语言模型，但性能常不及显式提示。研究发现隐藏状态推理轨迹具有低秩结构。为此，本文提出一种低秩蒸馏框架，通过在一阶和二阶统计量定义的共享低秩张量子空间中对齐师生轨迹来迁移推理能力。该方法能捕捉推理的全局结构并支持紧凑的潜在推理过程。在多个模型家族和数学推理基准上的实验表明，该方法能持续提升性能，尤其在复杂多步任务上接近显式思维链的准确率，并优于先前的隐式蒸馏方法。

ReasoningFlow：用于理解大语言模型推理轨迹的话语结构

ReasoningFlow: Discourse Structures for Understanding LLM Reasoning Traces

大型推理模型产生的推理轨迹常包含回溯、自我修正等非线性结构，增加了评估与监控的难度。本文提出ReasoningFlow框架，将推理轨迹的话语结构捕获为细粒度有向无环图。基于对多任务、多模型的大规模轨迹分析发现：（1）不同模型展现出结构相似的推理轨迹；（2）该框架能揭示局部验证、自我反思等细粒度推理行为，提升可监控性；（3）多数错误步骤未用于推导最终答案；（4）步骤间的机制性因果依赖与语言层面的话语结构不一致。相关数据集与代码已开源。

大语言模型持续预训练最优超参数的可预测缩放定律

Predictable Scaling Laws of Optimal Hyperparameters for LLM Continued Pre-training

大语言模型持续预训练的效果高度依赖学习率、批大小等超参数，当前基于启发式或网格搜索的方法成本高昂且不稳定。本文首先实证发现最优超参数在持续预训练过程中遵循稳定且可预测的缩放定律。基于此，提出一个两阶段框架：首先通过代理模型训练，利用标准损失-计算缩放定律建立计算预算与最优超参数的函数关系；然后评估初始检查点的验证损失，利用逆缩放定律估算其“等效预训练计算量”，并结合计划计算预算预测目标运行的最优超参数。实验表明，该方法将超参数搜索开销降低高达90%，且性能优于基线，该模型无关框架适用于多种架构与场景。

大语言模型缺乏医学知识的时间感知能力

Large Language Models Lack Temporal Awareness of Medical Knowledge

针对现有医学知识评估缺乏时间维度的问题，构建首个评估LLM医学知识时间感知能力的基准TempoMed-Bench。评估发现：（1）LLM对最新医学知识的性能随时间呈线性下降而非知识截止式突变；（2）LLM回忆过时历史知识的准确率仅为最新知识的25.37%-53.89%，存在知识遗忘；（3）LLM常表现出时间不一致行为。研究还表明，结合智能搜索工具也难以解决此问题。

当注意力关闭时：LLM如何在多轮交互中丢失主线

When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction

研究LLM在多轮交互中丢失指令主线（如目标、人设）的机制，提出通道转换假说：目标定义令牌通过注意力的可访问性下降，而目标相关信息可能残留在表示中。引入目标可访问比率（GAR）并结合消融与探针分析发现，当注意力通道关闭时，不同架构模型呈现定性不同的失败模式。线性探针可从残差表示中以高AUC恢复目标信息，而输入嵌入则不能，此差距预测了目标条件行为在通道关闭后是否存活。

STOP：低数据场景下长形式推理的结构化策略剪枝

STOP: Structured On-Policy Pruning of Long-Form Reasoning in Low-Data Regimes

针对长思维链推理中的过度思考问题，提出STOP算法，用于在低数据微调场景下分析和剪枝长推理轨迹。STOP将模型自身生成的轨迹映射为结构化推理接口，并引入最早正确节点（ECN）准则，保留能得出正确答案的最短推理前缀，去除冗余的后解决方案推理。实验表明，STOP能在低数据微调下减少19.4%-42.4%的生成令牌数并基本保持准确率，同时改善推理结构效率。

从推理链到可验证子问题：课程强化学习实现大语言模型推理的信用分配

From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning

针对基于可验证奖励的强化学习（RLVR）在难题上因正确最终答案稀少而效率低下的问题，本文提出子问题课程强化学习（SCRL）框架。该框架从参考推理链中推导出可验证的子问题，并将最终子问题固定为原始问题，从而将难题上的部分进展转化为可验证的学习信号。算法上，SCRL 使用子问题级归一化，将归一化后的优势分配给相应的答案片段，实现更细粒度的信用分配。分析表明，子问题课程能将难题移出梯度死区。在七个数学推理基准上，SCRL 优于强课程学习基线，并在 AIME 等难题上表现出更好的探索能力。

语言模型对齐的理论极限

Theoretical Limits of Language Model Alignment

本文从信息论角度刻画了在KL散度预算下，语言模型（LM）对齐所能达到的奖励改进极限。核心结论是最大期望奖励增益由Jeffreys散度项决定，并可表示为基模型下的协方差，从而提供了一种仅从基模型样本预测对齐增益的实用估计器。分析还表明，代理奖励设置下的奖励攻击（reward hacking）差距随奖励误差增大和KL惩罚因子减小而扩大，而奖励集成能缓解此问题。实证发现，Best-of-N方法接近理论极限，而PPO和GRPO则明显次优。

EvoDefense：基于大语言模型的协同进化黑盒防御

EvoDefense: Co-Evolving Black-Box Defense with Large Language Models

大语言模型（LLM）在攻击面前依然脆弱，尤其是在无法访问目标模型内部的黑盒场景下。现有黑盒防御多依赖预定义的过滤启发式规则，难以泛化到未见过的攻击类型和目标模型架构。本文提出EvoDefense，一种经验引导的协同进化黑盒防御范式。它使用一个守卫LLM检测恶意查询，并通过经验记忆模块积累历史防御知识。其核心是一个持续的攻防进化循环，攻击生成器和守卫模型通过经验引导的优化迭代改进攻击策略和防御策略。该设计使EvoDefense能泛化到未见过的攻击和模型而无需重新训练。在HarmBench、AdvBench和AlpacaEval上的实验表明，EvoDefense在七个流行模型和五种代表性LLM攻击上均取得稳定强大的防御性能，同时保持了有竞争力的通用能力。在HarmBench上，它将AutoDAN-turbo对Gemini-3-flash和LLaMA-3-8B-Instruct的攻击成功率（ASR）分别从29.4%和43.4%降至8.4%和6.2%。

大语言模型是否编码了制度经验？来自模糊情境下跨语言道德推理的证据

Do Large Language Models Encode Institutional Experience? Evidence from Cross-Linguistic Moral Reasoning Under Ambiguity

大语言模型（LLM）在不同语言间表现出系统性的道德推理差异，但其来源尚不明确。我们检验了一个假设：语言编码了其所处制度环境的特征，使得LLM能通过训练继承制度特定的道德先验。研究跨越九个制度质量梯度不同的语言、六个前沿LLM和两项预注册实验，考察了可接受性依赖于制度功能的道德困境。研究1发现，明确的制度框架未产生显著结果：跨语言道德分歧在制度相关情境中未增加，也未追踪语言社区间的制度差异。研究2引入了制度模糊情境，其中制度风险存在但未明说。在此条件下，跨语言道德分歧相对于制度中性对照组增加，并且（除一个理论上有启示的例外）与语言社区间的现实制度差异相关。明确的框架再次削弱了这些效应。这表明制度经验可能在语言中留下可检测的痕迹并塑造LLM的道德推理，同时明确的制度线索会抑制这些差异的表达。