AI 论文精选 | 0406:TriAttention KV压缩 + Do No Harm安全评测

范围：北京时间 2026-04-06 arXiv 相关论文

📊 概览

统计：共计 248 篇，过滤淘汰 185 篇，入选精选 8 篇，分类归档 8 篇。

分类：大模型训练与推理技术优化 3 篇，大模型基础设施 1 篇，大模型结构创新与优化 2 篇，大模型应用领域创新 2 篇。

亮点：(1) 长推理优化：TriAttention通过三角KV压缩实现2.5倍吞吐量提升；(2) Agent安全评测：Do No Harm系统分析LLM Agent安全漏洞；(3) 视觉语言导航：Vero通过强化学习实现零样本视觉导航泛化。

一、大模型训练与推理技术优化（3 篇）

1. TriAttention：基于三角函数的KV缓存压缩

「标题」 TriAttention: Efficient Long Reasoning with Trigonometric KV Compression「作者」 Weian Mao, Xi Lin, Wei Huang et al.「发表」 2026-04-06「URL」https://arxiv.org/abs/2604.04921v1「亮点」 (1) 利用Q/K预旋转空间的集中特性 (2) 2.5倍吞吐量提升，10.7倍KV内存压缩 (3) 单消费级GPU部署200万token上下文「价值」 [解决长上下文LLM推理中KV缓存内存瓶颈问题]。[通过三角函数距离偏好评分实现稳定的top-key选择]。「摘要」 扩展推理在大型语言模型中造成严重的KV缓存内存瓶颈。现有的KV缓存压缩方法使用最近的post-RoPE查询来估计KV重要性，但查询在RoPE过程中随位置旋转，使代表性查询非常少，导致top-key选择不佳和推理不稳定。为解决这个问题，我们转向预RoPE空间，观察到Q和K向量高度集中在固定非零中心附近且跨位置稳定——Q/K集中特性。TriAttention利用这些中心估计键重要性，通过三角级数对位置进行评分，结合Q/K范数作为额外信号。在32K-token生成的AIME25上，TriAttention匹配Full Attention推理精度，同时实现2.5倍吞吐量或10.7倍KV内存压缩。

2. CoDE-Stop：大推理模型的置信度早停

「标题」 Early Stopping for Large Reasoning Models via Confidence Dynamics「作者」 Parsa Hosseini, Sumit Nawathe, Mahdi Salmani et al.「发表」 2026-04-06「URL」https://arxiv.org/abs/2604.04930v1「亮点」 (1) 利用推理过程中间答案置信度动态 (2) 减少25-50% token使用量 (3) 无需额外训练，集成到现有模型「价值」 [解决大推理模型"过度思考"导致的计算浪费问题]。[通过置信度动态分析实现精度-计算权衡优化]。「摘要」 大推理模型依赖长链式思维生成来解决复杂问题，但扩展推理往往产生大量计算成本，甚至因过度思考而性能下降。关键挑战是确定模型何时应停止推理并产生最终答案。我们研究推理过程中间答案的置信度，观察到两种特征行为：正确的推理轨迹往往较早达到高置信度答案，而错误的rollout倾向于产生长而无用的推理轨迹，表现出不太可靠的置信度动态。基于这些观察，我们提出CoDE-Stop（置信度动态早停），利用中间答案置信度动态来决定何时终止推理，无需额外训练，易于集成到现有模型。在多种推理和科学基准上评估，CoDE-Stop实现了更有利的精度-计算权衡，相比标准全长推理减少25-50%的token使用量。

3. QED-Nano：教导小模型证明困难定理

「标题」 QED-Nano: Teaching a Tiny Model to Prove Hard Theorems「作者」 LM-Provers, Yuxiao Qu, Amrith Setlur et al.「发表」 2026-04-06「URL」https://arxiv.org/abs/2604.04898v1「亮点」 (1) 首个针对定理证明的纳米模型训练方案 (2) 在多项困难数学任务上超越大型模型 (3) 揭示小模型的定理证明潜力「价值」 [推动小模型在形式化数学领域的应用]。[为定理证明提供高效轻量级方案]。「摘要」 专有AI系统在复杂证明问题上展现出令人印象深刻的能力，但这些系统的训练流程仍然不透明，且依赖大量计算资源。QED-Nano提出针对定理证明优化的纳米模型训练方案，通过创新的训练策略和数据选择，使小模型也能在困难数学任务上达到接近大模型的表现。

二、大模型基础设施（1 篇）

1. Do No Harm：LLM Agent安全漏洞分析

「标题」 Do No Harm: Exposing Hidden Vulnerabilities of LLMs via Persona-based Client Simulation Attack in Psychological Counseling「作者」 Qingyang Xu, Yaling Shen, Stephanie Fong et al.「发表」 2026-04-06「URL」https://arxiv.org/abs/2604.04842v1「亮点」 (1) 首个心理辅导场景LLM Agent安全分析 (2) 发现角色扮演攻击导致的安全漏洞 (3) 为AI心理辅导安全部署提供指导「价值」 [揭示LLM Agent在敏感场景下的潜在风险]。[为AI心理辅导安全部署提供实证依据]。「摘要」 心理辅导是LLM Agent的重要应用场景，但也面临独特的安全挑战。本文通过角色扮演攻击模拟，发现LLM Agent在心理辅导场景中存在信息泄露、建议误导等安全漏洞。我们提出安全评估框架和防御策略，为AI心理辅导的安全部署提供指导。

三、大模型结构创新与优化（2 篇）

1. Vero：通用视觉推理的开放强化学习方案

「标题」 Vero: An Open RL Recipe for General Visual Reasoning「作者」 Gabriel Sarch, Linrong Cai, Qunzhong Wang et al.「发表」 2026-04-06「URL」https://arxiv.org/abs/2604.04917v1「亮点」 (1) 零样本泛化到未见过的视觉环境 (2) 统一视觉推理与强化学习 (3) 开放权重和训练代码「价值」 [推动视觉语言模型的零样本泛化能力]。[为具身智能提供可复现的强化学习训练方案]。「摘要」 视觉推理Agent通常需要针对特定任务进行大量微调，缺乏对未见环境的泛化能力。Vero提出基于强化学习的通用视觉推理框架，通过开放式训练配方和任务分布设计，实现零样本泛化。在多个视觉推理基准上验证了方法的有效性，并开源训练代码和模型权重。

2. RACE：细粒度LLM生成文本检测

「标题」 Beyond the Final Actor: Modeling the Dual Roles of Creator and Editor for Fine-Grained LLM-Generated Text Detection「作者」 Yang Li, Qiang Sheng, Zhengjia Wang et al.「发表」 2026-04-06「URL」https://arxiv.org/abs/2604.04932v1「亮点」 (1) 四分类设置区分纯人类/LLM/混合文本 (2) 利用修辞结构理论构建逻辑图 (3) 超越12个基线方法「价值」 [为LLM生成内容检测提供细粒度分类方案]。[有助于AI生成内容的精准监管]。「摘要」 LLM的滥用需要精确检测合成文本。现有工作主要遵循二元或三元分类设置，仅能区分纯人类/LLM文本或协作文本。我们探索细粒度LLM生成文本检测的四分类设置，提出RACE方法，利用修辞结构理论为创建者构建逻辑图，同时提取编辑者的风格特征。实验表明，RACE在识别细粒度类型方面超越12个基线，具有低误报率。

四、大模型应用领域创新（2 篇）

1. FileGram：基于文件系统行为的Agent个性化

「标题」 FileGram: Grounding Agent Personalization in File-System Behavioral Traces「作者」 Shuai Liu, Shulin Tian, Kairui Hu et al.「发表」 2026-04-06「URL」https://arxiv.org/abs/2604.04901v1「亮点」 (1) 基于文件系统行为轨迹的Agent个性化 (2) 解决隐私约束下的数据稀缺问题 (3) 提升Agent在文件操作任务中的表现「价值」 [解决本地文件Agent的个性化数据约束问题]。[通过隐私保护方式实现Agent行为适应]。「摘要」 本地文件系统中运行的AI Agent正在成为人机交互的新范式，但有效的个性化受到严重数据约束的限制。由于严格的隐私壁垒和难以联合收集多模态真实世界轨迹，个性化数据严重不足。FileGram提出基于文件系统行为轨迹的Agent个性化方法，在保护隐私的同时实现有效的用户适应，显著提升Agent在文件操作任务中的表现。

2. AI聚合对社会学习的影响

「标题」 How AI Aggregation Affects Knowledge「作者」 Daron Acemoglu, Tianyi Lin, Asuman Ozdaglar et al.「发表」 2026-04-06「URL」https://arxiv.org/abs/2604.04906v1「亮点」 (1) 理论分析AI聚合对社会学习的影响 (2) 揭示知识多样性与AI输出的复杂关系 (3) 为AI系统的社会影响提供理论框架「价值」 [从理论层面理解AI对社会学习的影响机制]。[为AI政策制定提供理论依据]。「摘要」 当聚合输出成为未来预测的训练数据时，AI改变了社会学习方式。为研究这一现象，我们通过引入在群体信念上训练并向Agent反馈综合信号的AI聚合器来扩展DeGroot模型。我们定义了学习的收敛条件，揭示了知识多样性与AI输出质量之间的复杂关系，为理解AI对知识传播的影响提供理论框架。