夜雨聆风LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 AI - 人工智能 RO - 机器人
1、[LG] Hallucination in World Models is Predictable and Preventable
2、[CL] LMs as Task-Specific Knowledge Bases：An Interpretability Analysis
3、[AI] Chai：Agentic Discovery of Cryptographic Misuse Vulnerabilities
4、[RO] CoStream：Composing Simple Behaviors for Generalizable Complex Manipulation
5、[LG] Epiphany-Aware KV Cache Eviction Without the Attention Matrix
摘要：世界模型中的幻觉是可预测且可预防的、将语言模型视为特定任务知识库、基于智能体架构的密码学误用漏洞自动化发现、通过简单行为的组合实现可泛化的复杂操控、无需注意力矩阵的“顿悟感知型”KV 缓存逐出
1、[LG] Hallucination in World Models is Predictable and Preventable
N Hansen, X Wang
[UC San Diego]
世界模型中的幻觉是可预测且可预防的
要点:
挑战了“世界模型中的幻觉纯粹是架构缺陷或多步误差累积”的传统认知，提出幻觉在本质上是状态-动作空间中的数据覆盖率（Data Coverage）问题。 将幻觉解耦为对应生成管线不同阶段的三种独立模式：感知幻觉（Tokenizer重建失败）、动作边缘化（动力学模型忽略控制动作）和场景发散（多步推演中的物理规律崩溃）。 揭示了一个反直觉现象：在数据覆盖率低的区域，世界模型极易发生“动作边缘化”，即退化为单纯的“视频生成器”，其生成的画面视觉上极为连贯逼真，但完全无视了输入的控制动作。 提出了三种无需标签和额外训练的零样本幻觉内部预测指标：Tokenizer往返残差（）、流不稳定性（）和不同随机种子间的降噪方差（）。 指出幻觉检测中的一个关键细节：原始的内部预测指标极易受场景运动幅度的干扰，必须进行动态归一化（dynamism-normalized），才能精准追踪真正的幻觉而非画面本身的剧烈运动。 展示了一种巧妙的闭环缓解策略：将模型自身的幻觉预测指标直接作为强化学习中的“好奇心奖励（curiosity rewards）”，驱动在线目标数据的精准收集。 证明了极高的数据效率：利用这种幻觉驱动的好奇心收集数据，仅需50条真实轨迹，就能让预训练的350M参数世界模型适应完全未见的全新环境。 发现了一个关于Tokenizer的反直觉结果：使用海量数据训练的现成强大视频Tokenizer（如Wan 2.1 VAE）在已知任务上的表现，实际上不及较小的域内微调Tokenizer，证明了域内数据的不可替代性。 开源了MMBench2数据集（427小时，210个任务），这是目前罕见的、同时提供真实动作、奖励标签、混合质量行为数据以及实时模拟器的大型视觉世界模型数据集。
主旨： 文章主要探讨并解决了生成式世界模型（Generative World Models）中频繁出现的“幻觉”问题（即模型生成的未来画面视觉上流畅，但却偏离了真实的物理动力学）。作者旨在阐明幻觉发生的位置和根源，并提出如何利用模型内部的无标签信号来准确预测幻觉，进而通过数据干预策略来防止幻觉的发生。
创新：
幻觉模式的三阶解构： 创新性地将笼统的“幻觉”概念细分为感知（Perceptual）、动作边缘化（Action-marginalization）和场景发散（Scene-diverging）三种模式，并将其与Tokenizer、动力学调节、多步展开等模型管线精确对齐。 无需标签的内部预测器： 设计了三种利用模型内部状态（如重构残差、流匹配积分步间的不稳定性）的预测指标，并引入了“场景运动归一化”创新操作，彻底摒弃了对外部标签的依赖。 化预测信号为探索奖励： 创新地将检测到的幻觉信号（不确定性）转化为在线数据收集的“好奇心奖励”，实现了一种针对模型薄弱环节“自我修补”的闭环数据采集范式。
贡献：
理论贡献： 系统性地证明了世界模型中的幻觉本质上是一个“数据覆盖率”问题，而非单纯的模型容量或架构问题，为后续研究指明了数据中心化的方向。 方法贡献： 提供了三种轻量、实时的幻觉检测指标，并提出了一套覆盖率感知的采样方法与极其高效的微调配方（仅需50条轨迹适应新环境）。 资源贡献： 构建并开源了MMBench2数据集（包含210个连续控制任务、2300万帧画面及真实动作/奖励标签），填补了大规模、多任务带控制信号视觉世界模型数据集的空白。
提升：
幻觉检测精度： 提出的归一化预测器在识别“动作被忽略（AUROC 0.887）”和“场景发散（AUROC 0.939）”方面，与真实的推出误差高度相关（Spearman相关系数 ），显著优于常规的不确定性基线。 零样本到少样本的泛化能力： 在未见过的任务中，仅使用50条好奇心驱动收集的轨迹进行微调，模型的闭环MPC控制得分就从0.118（随机策略）跃升至0.325，达到了人类/专家数据微调效果（0.362）的约90%。 生成与重建质量： 在预训练中采用“覆盖率感知（按任务均匀采样）”策略，使得模型在无需增加额外数据量的情况下，重构PSNR提升0.44dB，长视野生成PSNR提升0.88dB，三种幻觉指标均同步下降。
不足：
规模与真实世界的验证受限： 当前实验基于350M参数规模并在210个模拟连续控制任务上进行。这些结论是否能无缝平移到十亿级（Billion-parameter）大模型，或包含严重传感器噪声、部分可观测性的真实物理机器人数据上，仍是未解之谜。 通用能力评估的狭窄性： 论文通过闭环MPC（基于目标的规划）来评估下游任务表现，但这往往只测试了状态-动作空间中一个极其狭窄的子目标区域。如何全面客观地评估世界模型的“通用”动力学泛化能力，仍然是一个挑战。 预训练Tokenizer融合尚未最优： 虽然实验发现海量数据训练的开源Tokenizer在未见任务上表现较好，但在域内任务上却不如自主训练的模型，如何更好地整合这两者的优势（既保域内精度又享域外泛化）尚未深入展开。
心得：
警惕生成式模型的“视觉欺骗性”： 论文揭示的“动作边缘化”现象令人深思。当数据覆盖不足时，世界模型极易退化为“视频播放器”——画面依旧逼真连贯，但实质上已经切断了输入动作与输出画面之间的因果联系。这强烈警示我们在评估具身智能世界模型时，绝不能仅凭肉眼的“视觉流畅度”或单纯的图像重建指标（如PSNR/LPIPS），必须引入对“控制敏感度（Action shuffle ratio）”的严格考察。 把“缺陷（Bug）”转化为进化的“燃料”： 作者巧妙地将模型产生幻觉时的内部不稳定信号（如重构残差、流积分震荡）直接用作强化学习探索的“好奇心奖励”。这种“哪里容易产生幻觉，就去哪里收集数据”的闭环范式，将模型的弱点转化为了自动优化的驱动力。这为大模型在低资源场景下的快速微调和终身学习提供了一种极具美感的自监督进化思路。 “模型架构问题”的尽头往往是“数据分布问题”： 我们常常将长视野生成中的崩溃归咎于Transformer的自回归累积误差或表达能力不足。但本文用详实的数据证明，这首先是一个“状态-动作空间未被充分覆盖”的数据问题。在投入大量算力去修改网络架构之前，重新审视数据分布、采用更均衡的覆盖率感知采样，往往是性价比最高、最触及问题本质的解决途径。
一句话总结:
本文挑战了世界模型幻觉源于架构缺陷的传统认知，将其深刻归因为数据覆盖率不足，并创新性地解构出三种幻觉模式；不仅提出了无需标签的内部信号检测方法，更巧妙地将这些幻觉信号转化为“好奇心奖励”指导实时数据收集，仅需50条轨迹即可让模型掌控未知环境，为构建可靠的具身世界模型提供了令人耳目一新的“数据中心”视角。
Modern generative world models render increasingly realistic actioncontrollable futures, yet they frequently hallucinate: rollouts remain visually fluent while drifting from the ground-truth dynamics. We hypothesize that hallucination concentrates in low-coverage regions of the state-action space, where lightweight data-centric signals can both detect it and guide mitigation. To test this, we introduce MMBench2, a 427-hour, 210-task dataset for visual world modeling with ground-truth actions, rewards, and live simulators, and train a 350M-parameter world model on it. We identify three distinct hallucination modes: perceptual, action-marginalized, and scene-diverging – each anchored to a different stage of the pipeline, and develop three signals that accurately predict where the model will fail. To close coverage gaps at training time, we develop a coverage-aware sampling technique; to close them online, our hallucination predictors serve as curiosity rewards for targeted data collection, yielding a data-efficient finetuning recipe that adapts the pretrained world model to entirely unseen environments with as few as 50 real environment trajectories. Overall, our findings reveal that hallucination in world models is inherently a data coverage issue, and that the same signals used to detect it can also be used for mitigation.
https://arxiv.org/abs/2606.27326
2、[CL] LMs as Task-Specific Knowledge Bases: An Interpretability Analysis
A Elhelo, A Globerson, M Geva
[Tel Aviv University]
将语言模型视为特定任务知识库：一项可解释性分析
要点:
挑战了“大语言模型（LLM）是统一知识库”的传统主流假设，提出并证明了模型是以高度任务依赖（Task-specific）而非任务不变（Task-invariant）的方式存储事实知识的。 通过追踪模型训练检查点的行为分析揭示了一个现象：在训练过程中，模型在一种任务格式（如填空题）中掌握了某个事实，往往不能“共现”（迁移）到它已经具备能力的其他任务格式（如选择题）中。 揭示了一个极具反直觉的机制真相：完全相同的事实知识（例如“巴黎是法国的首都”），仅仅因为查询的任务格式不同，就被物理编码在完全不同且稀疏的参数子集（注意力头和MLP神经元）中。 发现生成式任务（如开放式问答）会发展出更纯粹、更少“纠缠”的参数编码，并且是跨任务知识迁移的强大源头；而判别式任务（如多选题、判断题）的参数纠缠度极高，且很难将知识迁移给其他任务。 为思维链（CoT）提供了一个深刻的机制层面解释：CoT的强大之处部分在于它能够通过其他任务的特定编码来路由推理过程。即使目标任务本身的参数编码被完全切断（Ablated），CoT依然能通过调用其他格式的参数子集来恢复事实。 突出了AI安全和知识编辑的一个致命弱点：仅仅针对某一种任务格式去擦除或更新某个事实，可能会导致该事实在其他提示词格式下依然完好无损且可被轻易访问。
主旨： 本文旨在探究语言模型是否真正具备传统知识库的“任务不变性（Task-invariance）”特征（即同一事实在不同查询方式下应调用同一内部信息源）。研究表明，模型内部的知识存储与任务格式（如选择、填空、判断等）在参数空间中深度交织，模型实际上为同一事实在不同任务中分配了独立的“任务专属”参数子集。
创新：
行为与机制分析的完美闭环：不仅在宏观行为上追踪了训练过程中不同任务间知识“共现”的失败，还创新性地修改了二值掩码（Binary Masks）优化框架，在微观参数层面上精准定位了满足“必要性、充分性和特异性”的任务专属参数子集。 跨任务纠缠度量化（Entanglement Metric）：提出了一种全新的指标，用于量化不同任务格式在参数空间中的重叠和干扰程度，首次从机制层面证明了“生成式任务”比“判别式任务”具有更好的参数独立性。 重新定义思维链（CoT）的内部机制：通过参数消融实验，创新性地验证了CoT不仅是逻辑上的拆解，更是一种在参数空间中的“迂回路由”策略，能跨越受损的任务参数区去调用其他任务的参数。
贡献：
理论贡献：打破了将语言模型直接等同于“知识库”的隐喻，证明了“模型知道什么”和“你怎么问模型”在参数底层是不可分割的，刷新了学术界对LLM知识表示的认知。 方法贡献：提供了一套通用的、针对“事实-任务”对（Fact-Task pairs）的参数定位与消融框架，为未来的机制可解释性研究提供了有力的工具。 应用贡献：深刻揭示了现有单任务格式下的“知识编辑（Knowledge Editing）”和“机器遗忘（Unlearning）”技术的局限性，指出了多格式联合优化的必然趋势。
提升：
解释分辨率的提升：将可解释性研究的粒度从“事实（Fact）”细化到了“事实+任务格式（Fact+Task）”的正交维度，极大提升了我们对模型内部知识激活路径的观测精度。 CoT有效性评估视角的提升：超越了传统的“中间步骤降低计算复杂度”的表层解释，将CoT的有效性提升至“解锁冗余参数编码（Parametric Detour）”的物理机制层面。
不足：
知识类型的局限性：实验仅聚焦于结构化的关系型知识（主语-关系-宾语），且过滤掉了模型不熟练的长尾知识。对于复杂推理知识、常识或模糊知识，这种任务隔离现象是否同样显著尚不确定。 冗余结构的刻画不够完整：虽然定位了特定任务的参数子集，但并未完全描绘出同一事实在模型内部到底存在多少个冗余副本，以及这些副本之间的具体协同机制。 模型规模的限制：实验主要在7B到13B规模的模型上进行。如果模型参数量扩展到千亿级别（100B+），这种“任务专属”的碎片化存储趋势是会加剧（因为容量大）还是会收敛（因为泛化强），仍是一个未解之谜。
心得：
知识编辑与AI安全的“打地鼠”困境：论文揭示的最可怕（也最迷人）的一点是知识的碎片化存储。这意味着，如果我们想让大模型“遗忘”制造危险武器的知识，仅仅屏蔽它的问答能力是无效的，它可能在“补全填空”或“判断题”模式下依然能顺畅输出。未来的安全对齐和知识编辑必须是“格式不变（Format-invariant）”的，否则就像打地鼠一样永远无法根除。 重新理解Prompt Engineering的本质：我们过去认为换一种Prompt只是在“启发”模型的注意力；但这篇论文从物理层面证明，换一种任务格式，实际上是在模型大脑中切换了一条全新的神经元回路。这解释了为什么有时候加一句“请做单项选择”会导致模型突然变笨，因为判别式任务的参数区往往高度纠缠且不易迁移。 思维链（CoT）实际上是一种“多路复用”技术：论文发现CoT在当前任务参数被消融时，能调用其他任务的参数来完成作答。这带来了一个极其反直觉的启发：CoT的强大不仅仅在于逻辑的链条化，而在于它通过生成冗长的中间文本，强行激活了模型内部原本属于其他任务格式的隐藏知识编码。这为我们设计更高效的推理Prompt打开了全新的大门。
一句话总结:
本文打破了“大模型是统一知识库”的传统认知，通过行为和机制分析揭示了模型会为同一事实在不同任务格式（如选择、填空）下分配完全独立的物理参数子集，并反直觉地证明了思维链（CoT）之所以强大，部分原因在于它能在底层参数空间中“跨区借用”其他任务的知识编码，这对未来的知识编辑和模型对齐提出了颠覆性的挑战。
Language models (LMs) capture large amounts of factual knowledge applicable to a wide range of tasks, motivating the view of their parameters as a knowledge base. An important property of knowledge bases is that different queries for the same fact return consistent results, drawing on a single source of truth. We investigate whether LMs satisfy this property through behavioral and mechanistic analyses. Our results suggest that they encode knowledge in a taskspecific manner. Behaviorally, facts acquired on one task frequently fail to co-emerge on others during training. Parameter localization experiments suggest a mechanistic explanation, revealing distinct parameter subsets underlying different tasks for the same fact. Finally, we show that chain-of-thought reasoning draws part of its effectiveness from engaging taskspecific parameters beyond those tied to the evaluation task. Our findings suggest that what the model knows and how it is asked are intertwined in parameter space, undermining the “knowledge base” analogy and carrying implications for the reliability and controllability of factual knowledge in LMs.
https://arxiv.org/abs/2606.27237
3、[AI] Chai: Agentic Discovery of Cryptographic Misuse Vulnerabilities
C Villa, S Kim, A Chu, A Shakevsky…
[UC Berkeley]
Chai：基于智能体架构的密码学误用漏洞自动化发现
要点:
解决了AI辅助漏洞挖掘在密码学滥用领域的应用痛点：该类漏洞危害极大，但缺乏类似内存清理器（Sanitizers）的确定性预言机来确认漏洞并过滤AI幻觉。 提出了 Chai 系统，通过将大语言模型（LLM）智能体与经典差异测试（Differential Testing）相结合，高效发现并验证密码学滥用漏洞。 彻底颠覆了现有的AI漏洞挖掘范式：不再是对单一应用的代码库进行开放式的“大海捞针”，而是先在基础库（Library）层面横向发现协议歧义，再沿着依赖图向下追踪到受影响的具体应用。 采用“放大测试（Amplified Testing）”：将AI生成的单一测试输入同时发给多种协议实现（如X.509、JWT、SAML）进行评估。库之间的行为不一致（有人接受，有人拒绝）直接充当了判断规范偏离的确定性预言机。 实现了无须人工编写语法的智能体变异。智能体基于历史CVE记录生成变异，并使用UCB1多臂老虎机算法在不同的“变异语义组”之间高效分配算力。 引入“差异追踪（Discrepancy Tracing）”：将确认的库级别歧义通过依赖图映射到下游应用。然后指派智能体进行高度聚焦的定向审计（仅检查该应用是否依赖了未被强制执行的安全保证），并自动生成概念验证（PoC）。 在涵盖8种语言的47个X.509、JWT和SAML库上进行了评估，发现了100多个真实漏洞和安全缺陷，包括在广泛使用的wolfSSL中发现了一个关键的零日证书链验证绕过漏洞。 性能显著超越现有的差异测试（如MLCerts）和模糊测试基线，以极低的成本和测试用例数量发现了2到3倍以上的独特差异，尤其擅长发现“少数库接受，多数库拒绝”的左尾差异（这是库级别严重漏洞的强烈信号）。
主旨： 本文旨在解决现有AI漏洞挖掘技术难以应对密码学逻辑漏洞的问题。为此，作者提出了Chai系统，通过将大模型智能体与差异测试技术结合，自底向上地先在密码学组件库横向寻找协议解析分歧，随后通过依赖图将这些分歧精准追踪并验证于下游应用中，从而实现低误报、高扩展性的密码学漏洞自动化挖掘。
创新：
漏洞发现范式的逆转：打破了传统AI安全智能体“针对单一项目盲目寻找多种漏洞”的低效模式，创新性地提出了“基于接口横向放大测试 -- 无语法的智能体自适应变异：摒弃了传统Fuzzer需要人工编写复杂协议语法的限制，利用LLM的语义理解能力和基于历史CVE的检索增强（RAG）来智能构造测试变异输入。 差异测试作为“防幻觉预言机”：巧妙地将1998年提出的经典差异测试技术作为AI的判定裁判，利用不同代码库执行结果的分歧来提供确定性信号，完美弥补了密码学漏洞缺乏内存崩溃信号的短板。
贡献：
系统与架构设计：开发并开源了Chai系统，提供了一套端到端的、能自动化覆盖“底层库逻辑分歧到顶层应用PoC生成”的全链路密码学漏洞挖掘框架。 多臂老虎机调度算法应用：设计了基于UCB1算法的资源分配机制，让AI智能体能够在最具收益潜力的“变异语义簇”上集中火力，解决了多并发AI智能体探索同质化和算力浪费的问题。 重大的现实安全影响：在高度成熟的现代密码学生态系统中挖掘出100余个安全缺陷，其中包括影响数十亿设备的wolfSSL核心证书绕过漏洞等严重安全隐患，大幅提升了真实世界的软件安全性。
提升：
漏洞挖掘效率与成本极小化：与最强的X.509差异测试基线（MLCerts）相比，Chai仅花费了其十分之一的API调用成本（560）和千分之一的测试输入数量（1，500 vs 500，000），却发现了两倍以上的独特底层逻辑分歧。 长尾高价值缺陷的捕获率：传统工具倾向于发现“一半通过、一半拒绝”的模糊争议点，而Chai成功拓展了分布，大量发现了“极少数库通过、绝大多数库拒绝”的高价值差异（这类差异几乎100%对应库本身的严重漏洞）。 定向审计的成功确定性：消融实验证明，面对wolfSSL漏洞，让Claude或Codex进行传统的代码审计，成功率极低（经常0/10次成功）；而通过Chai的差异追踪机制引导出的定向验证，成功避开了阅读海量源码的陷阱，实现了精准打击。
不足：
对宽容型实现的敏感性噪音：如果被测试的密码库本身设计得极度宽松（有意不严格遵守规范），会产生大量的差异噪音，可能导致真正有意义的安全分歧被淹没在海量告警中。 严重依赖统一标准接口：Chai的成功很大程度上归功于密码学库具有高度标准化的输入和极窄的API暴露面。如果试图将此方法平移到API高度定制化、非标准化的其他通用软件领域，适配和构建统一Harness（测试桩）的成本将剧增。 无法完全脱离人工核验：为了确保不给开源社区的维护者发送由AI生成的“虚假漏洞报告（幻觉）”，系统在自动生成PoC和报告后，最终仍必须依赖安全专家进行人工验证和伦理审查。
心得：
重塑AI的任务边界：“与其让AI大海捞针，不如让AI顺藤摸瓜”。大模型在处理开放式、宽泛任务（如“在这个项目里找个漏洞”）时极易产生幻觉且效率低下。Chai系统给我们最大的启发是：利用经典工具（差异测试）提供一个确定的“线索”，然后给大模型下达极度聚焦的判断指令（如“证明这个App没有校验Token里的某字段”）。将发散任务转化为收敛任务，是大模型落地的黄金法则。 新老技术结合的“混合引擎”威力无穷。差异测试是一项古老的技术，过去受限于“人类难以编写足够覆盖语义的变异规则”。而LLM恰好具有极强的语义生成能力，但缺乏确定性。Chai将“LLM的大脑”和“差异测试的躯干”结合，既解决了传统Fuzzing的瓶颈，又锁死了LLM的幻觉。这表明，AI时代最强悍的安全防御工具并非纯粹的端到端AI，而是优势互补的混合架构。 供应链的“蝴蝶效应”既是防守黑洞，也是攻击杠杆。过去我们认为，依赖库里的一个模棱两可的设定（Ambiguity）只是小瑕疵；但Chai向我们展示了如何反向利用依赖图（Dependency Graph）作为杠杆，把底层库的一个微小分歧瞬间放大为成百上千个下游应用的漏洞狩猎场。防守方的供应链灾难，在这里转变成了白帽子高效批量挖洞的最强武器。
一句话总结: Chai系统巧妙融合了大语言模型智能体与经典差异测试技术，通过在底层密码学库中横向对比寻找协议分歧，并顺着依赖图自底向上对海量下游应用进行精准的定向审计，颠覆了传统的AI盲目漏洞挖掘范式，低成本且高效地发现了一百余个真实的密码学安全漏洞。
AI-assisted vulnerability discovery has proven effective for bug classes like memory safety, where instrumentation confirms memory violations and efficiently filters false positives. Many dangerous vulnerability classes, such as cryptographic misuse, however, lack any comparable instrumentation. In this work, we present Chai, an AI-based system that discovers and validates cryptographic misuse vulnerabilities through naturally occurring signals. To achieve this, Chai rethinks the classical technique of differential testing by leveraging AI to 1) improve precision for detecting real security issues in libraries, and 2) repurpose commonly overlooked discrepancies as leads for tangible vulnerabilities in downstream applications. In doing so, Chai inverts the prevailing paradigm of AI vulnerability discovery: instead of auditing one codebase for many flaws, it catalogs flaws at the library level and propagates them across a cryptographic dependency graph, delivering compounding efficiency gains. We evaluate Chai across X.509, JWT, and SAML libraries. Chai discovered a previously unknown critical vulnerability in an SSL library that powers billions of devices, along with security bugs in one library behind a major web browser and another in major Linux distributions. In total, these techniques surfaced over 100 vulnerabilities.
https://arxiv.org/abs/2606.26933
4、[RO] CoStream: Composing Simple Behaviors for Generalizable Complex Manipulation
H Chen, Y Ma, S Tian, X Han…
[Stanford University & Harvard University & MIT]
CoStream：通过简单行为的组合实现可泛化的复杂操控
要点:
挑战了具身智能领域的主流范式：即认为复杂的接触式操作要么需要僵化的人工经典管线（TAMP），要么需要极其庞大且极度依赖数据的端到端神经网络（VLA）。 提出了一个受上世纪80年代“基于行为的机器人学”启发的反直觉观点：高度复杂的接触式任务（如插拔GPU）可以自然地从简单、独立的底层行为的异步组合中涌现出来。 引入了CoStream框架，使三种独立行为在各自的自然频率下并行运行：语义行为（低频，基于LLM/VLM）、预测行为（基于视频世界模型）和反应行为（25Hz高频触觉/力觉闭环）。 通过统一的SE(3)接口优雅地解决了频率不匹配和多模态融合问题：在每个控制步长中，利用数学上的右乘（），将不同频率的行为异步融合成单一的位姿指令。 揭示了当前端到端VLA模型（如）的致命缺陷：它们在物理接触时会将视觉的模糊性直接映射为控制指令，导致破坏性的高频抖动。CoStream通过将接触校准隔离到专门的触觉闭环中，完美规避了这一问题。 展示了一种巧妙的安全机制：CoStream不让大模型直接输出连续的控制增益或力阈值（这极不安全且不准确），而是使用“控制器编译器”将LLM的符号输出映射为经过严格标定的确定性控制配置文件。 实现了零样本的亚毫米级精度（0.5mm钻头插入），并能在任务执行中动态恢复人类干扰（如物体在夹爪中打滑），在基线模型全军覆没的极难任务中取得了极高的成功率。
主旨： 解决长视野、高频接触式机器人操作（如高精度装配）中“泛化性”与“高精度”难以兼得的困境。论文提出CoStream框架，摒弃了传统的串行管线和庞大的端到端模型，通过在统一的SE(3)接口上异步组合简单的语义、预测和触觉反应行为，实现了在无需重新训练模型的情况下，零样本完成高复杂度的物理接触任务。
创新：
并行多模态行为组合：打破了感知-规划-控制的传统串行链路，也拒绝了端到端模型的“黑盒”映射，让视觉基础模型、视频生成模型和高频触觉传感器并行工作，互不阻塞。 SE(3)右乘异步融合机制：创新性地利用坐标系的几何性质，将低频的全局名义运动（基座坐标系下的）与高频的局部触觉残差（末端工具坐标系下的）通过右乘进行数学解耦和实时融合。 符号到物理的策略编译器（Policy Compiler）：将大模型强大的语义推理能力限制在“选择配置模板（Profiles）”的层面，而非直接输出物理参数，从而将基础模型的泛化性与底层阻抗/导纳控制的安全性完美结合。
贡献：
理论贡献：证明了具身智能中的复杂操作能力无需通过单一的复杂网络实现，而是可以通过对简单、独立传感行为的几何组合来涌现。 架构贡献：构建了CoStream系统，提供了一套能够无缝集成大语言模型（LLM）、视觉-语言模型（VLM）、视频生成模型和触觉传感器的通用操作框架。 实验验证：在真实世界中完成了极具挑战性的高精度装配任务（GPU/RAM/CPU/钻头插入），并证明了系统对实时物理干扰的强大鲁棒性。
提升：
任务成功率呈指数级跃升：在间隙仅为0.5mm的钻头插入、GPU插入等任务中，传统基础模型基线（VoxPoser和）成功率均为0%，而CoStream达到了93%-100%的成功率。 抗干扰与自纠错能力：在物体于夹爪中发生滑动（物理扰动）时，系统能够纯粹依靠触觉残差进行亚毫米级的自适应重定向，无需触发耗时的视觉重规划。 零样本跨任务泛化：能够使用同一套行为逻辑和架构，无缝地在需要极轻柔放置的CPU安装任务和需要大力按压锁定的RAM安装任务之间切换，且无需任何微调。
不足：
受限于上游视觉感知瓶颈：系统的全局任务基准（Task Frame）强依赖于Gemini和SAM 3等视觉模型的初始识别。如果上游出现严重的全局位姿估计错误，局部的触觉闭环无法进行大范围纠偏。 材质与形态限制：目前的实验和阻抗/导纳控制参数主要针对刚性物体（Rigid objects）的结构化操作，尚未在可变形物体（如布料、绳索）或需要灵巧手的高复杂操作中进行验证。 对专有闭源模型的依赖：深度依赖Gemini Robotics-ER 1.6等基于API的闭源商业模型，不仅增加了系统的网络延迟，也限制了在离线环境下的部署和复现。 触觉传感器的视野局限：反应行为依赖于GelSight Mini的接触面，如果滑动过于剧烈导致物体脱离了触觉传感器的有效视野，系统仍会失效。
心得：
“复古”哲学的现代复兴：本文最深刻的启发在于，用最前沿的AI基础模型（VLM/世界模型）去实现上世纪80年代Rodney Brooks提出的“包容体系结构（Subsumption Architecture）”。大模型不应该是个无所不能的“独裁者”（端到端），而应该被降维成高级的“传感器”。复杂性应该留给环境，智能应该通过简单规则的组合涌现。 数学是最好的多模态接口：不同传感器的频率差异极大（VLM可能1Hz，触觉25Hz，底层控制1000Hz）。作者巧妙地利用SE(3)群的右乘特性，将全局指令和局部修正解耦。这启示我们，在具身智能中，与其试图用神经网络去硬学多频多模态的对齐，不如退回到优雅的经典几何与数学框架中寻找答案。 给大模型的输出套上“物理缰绳”：当前的VLA模型常常试图直接输出关节扭矩或微观位移，这在精密接触中是灾难性的。本文的做法极具工程智慧：让大模型只做“选择题”（选择哪种柔顺控制策略），具体的增益参数由底层编译器查表决定。这种“大模型定性，传统控制定量”的思路，是当前解决机器人Sim-to-Real和安全性的最优解。
一句话总结: CoStream巧妙地摒弃了脆弱的传统串行管线和容易在接触中崩溃的端到端大模型，通过将视觉语义、视频预测和高频触觉反馈在SE(3)数学接口上进行异步实时组合，实现了无需重新训练即可完成极高精度（如插拔GPU）且抗物理干扰的零样本复杂机器人操作。
Long-horizon, contact-rich complex manipulation tasks, such as seating a GPU into a PCIe slot, demand both millimeter high precision and out-ofthe-box generalization to new tasks. Existing paradigms struggle to satisfy both: classical pipelines use brittle, task-specific interfaces to achieve high-precision control but require costly pipeline redesigns to adapt to new tasks, whereas monolithic end-to-end policies provide better generalization but lack high precision on complex, out-of-distribution tasks unless retrained with new data. Both paradigms share an implicit assumption: once a manipulation capability is acquired, it must be deployed as a rigid pipeline or monolithic whole, rather than being freely decomposed and recomposed. In this paper, we show that complex manipulation capabilities can emerge naturally from the composition of simple, independent behaviors. Rather than deploying a monolithic policy or a rigid pipeline, we propose CoStream, a framework orchestrating foundation models and diverse sensing modalities into multiple composable core behaviors: a semantic behavior extracting spatial constraints via foundation models; a predictive behavior forecasting trajectories by tracking keypoints in imagined videos; and a reactive behavior providing high-frequency tactile and force corrections. On a shared SE(3) interface, these outputs compose by right-multiplication into a single pose command at each control step, executed by a compliant controller. We demonstrate CoStream on 8 real-world tasks spanning everyday manipulation and precision assembly, with the strongest gains in contact-rich assembly and object transfer, and show robust recovery from manual perturbations during execution.
https://arxiv.org/abs/2606.26423
5、[LG] Epiphany-Aware KV Cache Eviction Without the Attention Matrix
S Kolawole, V Smith
[CMU]
无需注意力矩阵的“顿悟感知型”KV 缓存逐出
要点:
挑战了目前KV缓存驱逐算法（如H2O， ThinKV等）普遍依赖“注意力权重（Attention Weights）”来评估Token重要性的标准做法。作者指出，注意力权重不仅充满噪音（易被“填充词”或“注意力池”吸引），而且在架构上代价极其高昂。 指出了“注意力矩阵内存墙”问题：要获取注意力权重，必须设置 output_attentions=True，这会迫使模型使用“eager”模式并实例化巨大的 注意力矩阵，从而导致无法使用FlashAttention等融合算子。这极大地消耗了显存（例如，在8192个Token时即可撑爆80GB的A100显卡）。提出了一种新的度量标准——顿悟分数（Epiphany Score）。该分数直接从模型前向传播的残差流（隐藏状态，Hidden States）中读取，完全不需要计算注意力矩阵，从而完美兼容FlashAttention。 在推理模型（DeepSeek-R1-Distill-LLaMA-8B）中发现了一种“双带解剖结构（Two-Band Anatomy）”： 频带 A（第7-13层）：隐藏状态的变化与Token重要性呈正相关（是事实检索和特征路由发生的区域）。 频带 B（第18-25层）：隐藏状态的变化与重要性呈负相关（是进行可预测延续和流畅生成的区域）。 推出了 EpiKV 缓存驱逐方法。它通过结合频带A和频带B中隐藏状态L2变化量的因果滚动Z-score来为Token打分（）。 解决了一个位置混淆因素：在长推理轨迹中，原始隐藏状态的变化会自然漂移（反映了位置信息而非纯粹的内容信息）。使用因果滚动Z-score可以去除这种趋势，恢复驱逐的准确性。 实验证明，在可部署的缓存预算下，EpiKV（及其滞后归一化KV变体）的性能达到或超过了最强的基于注意力的基线方法（如MATH-500在4096 tokens时，72% vs 71%；AIME-2024在8192 tokens时，37% vs 33%）。 借助FlashAttention的O(n)内存扩展性（相对于eager注意力的），该方法实现了比依赖注意力的方法长达16倍的可行上下文长度，同时单题运行速度最高可达2.8倍。 揭示了重要性信号（即“频带”）的位置会随任务难度而偏移（例如，在较简单的GSM8K中，正相关频带比MATH-500更靠前），表明该信号是在动态追踪模型的核心计算负载区域。
主旨： 为了解决长推理模型（Reasoning Models）在生成动辄数万Token思维链时产生的KV Cache显存瓶颈问题。现有的缓存驱逐方法依赖计算注意力矩阵来打分，这会导致显存爆炸（）并使其无法在现代高效推理框架（如FlashAttention）中部署。本文提出一种无需注意力矩阵的驱逐方法EpiKV，通过直接读取模型前向传播中隐藏状态的变化量来评估Token重要性，在不损失性能的前提下，极大地降低了显存消耗并提升了推理速度。
创新：
摒弃注意力机制的评价体系：首次完全抛弃了“注意力权重决定重要性”的传统假设，转而从模型内部表示（残差流中的隐藏状态差异）中寻找“顿悟（Epiphany）”时刻（即状态发生剧烈转移的Token）。 发现“双频带”对立特征：创新性地通过反事实遮挡实验，发现模型中间偏下层（7-13层）的状态变化与重要性正相关，而中间偏上层（18-25层）的状态变化与重要性负相关，并利用这一对立特性构建了强有力的组合信号。 因果滚动Z-score去趋势化：针对长文本生成中隐藏状态变化幅度随位置单调漂移的问题，引入了因果滚动Z-score，将绝对幅度转化为局部偏差，巧妙地去除了位置信息的干扰。
贡献：
工程落地层面的重大突破：提出了一种100%兼容FlashAttention的缓存驱逐算法。它不需要训练、不需要外挂分类器、不需要自定义算子，可以直接无缝接入vLLM、TGI等生产级推理栈。 显著拓宽了上下文边界：通过避免实例化 注意力矩阵，使得单卡（80GB A100）支持的上下文长度从不足8k飙升至65k以上（提升16倍），彻底打破了注意力矩阵带来的内存墙。 提供了验证数据集：发布了基于反事实遮挡（Counterfactual occlusion）生成的Token重要性标签（即遮挡某个Token是否会导致最终答案错误），为后续长文本推理模型的研究提供了宝贵的验证资源。
提升：
速度大幅提升：在AIME-2024数据集（8192 Token预算）下，最强的变体（Lag-KV）比最快的基于注意力的基线（ThinKV）快1.6倍，比RaaS快2.8倍。 准确率持平或略优：在无需巨大计算开销的前提下，EpiKV在MATH-500（4096预算）上达到72%准确率（击败了ThinKV的71%和H2O的67%）；在更难的AIME-2024（8192预算）上，Lag-KV变体以37%的准确率击败了所有基线（最高33%）。 极佳的并发吞吐潜力：由于显存占用的极致优化，在2048 Token预算下，单张80GB GPU可支持224个32K长文本请求的并发，而无驱逐策略时仅能支持14个。
不足：
“频带”位置存在任务依赖性：频带A和B的具体层数并非普适的，它们会随任务难度发生漂移（如做简单算术GSM8K时，重要性频带会大幅提前）。这意味着在部署时，“选用哪几层”成为了一个需要针对特定任务域（Regime）进行超调的参数。 在极低预算下略显劣势：在极其严苛的缓存预算下（如 tokens），EpiKV的表现不如结合了分段分类与隐藏状态排序的混合型基线方法。 局限于单一模型家族：目前的结论和实验均建立在 DeepSeek-R1-Distill-LLaMA-8B 这一单一架构和规模上，其在不同架构模型（如MoE、不同层数的稠密模型）或更大参数规模下的泛化能力尚待验证。 工程测量的局限性：多卡并行和Batch层面的吞吐量主要是通过显存算术理论推算得出，而非在真实的端到端服务框架下测得；且长Prompt前向显存优势主要依赖微基准测试。
心得：
不要被“注意力”蒙蔽双眼：在Transformer时代，“Attention is all you need”似乎成了一种教条。这篇论文极其清醒地指出，Attention在长文本和复杂推理中充满了噪音，且计算代价高昂。直接去观测模型深层的“内隐状态（Hidden States）”，往往能捕捉到更本质的“认知顿悟”时刻。这启发我们在做模型可解释性或剪枝时，应更多关注残差流的变化。 工程落地的终极考量是“框架兼容性”：学术界有很多花哨的KV Cache压缩算法，但如果它们要求魔改底层Kernel或者破坏FlashAttention的Tiling机制，在工业界就几乎是废纸一张。本文作者极其敏锐地抓住了“不碰注意力矩阵就能用FlashAttention”这一痛点，做到了真正意义上的“Drop-in replacement（即插即用）”，这是极具商业价值的研究思路。 模型计算具有“深度路由”特性：不同难度的任务在模型内部处理的深度不同（简单任务在浅层解决，困难推理在深层回荡）。这种动态的“难度-深度”映射机制，不仅对缓存驱逐有指导意义，对于未来设计更高效的早期退出（Early-exit）机制或MoD（Mixture of Depths）架构都提供了强有力的实证支持。
一句话总结: 本文针对长链推理模型中KV缓存导致的显存爆炸问题，提出了一种无需计算注意力矩阵的驱逐方法EpiKV；它通过监测残差流中隐藏状态的动态变化来捕捉模型的“顿悟”时刻以保留关键Token，不仅在准确率上媲美最强的注意力基线方法，更因完美兼容FlashAttention而将支持的上下文长度飙升16倍，并实现了高达2.8倍的速度提升，为生产级长文本推理铺平了道路。
As reasoning models emit chains of thought tens of thousands of tokens long, KV cache increasingly becomes a deployment bottleneck. Existing cache eviction methods rank tokens by attention weight, which is a noisy importance proxy in long reasoning traces, and prohibits the use of fused kernels in production inference by forcing the model to materialize the attention matrix. In this work, we instead score tokens with a metric we term the epiphany score: the change in the model’s internal representation, read directly from the forward pass with no attention matrix and negligible extra state. Our resulting cache eviction method, EPIKV, requires no training, classifier, or custom kernel, and can be used directly in FlashAttention inference stacks unchanged – scaling to a 16× longer feasible context than attention-based scoring. At a 4096-token cache EPIKV reaches 72% on MATH-500, matching the strongest attention-based baseline (ThinKV 71%, H2O 67%); a lag-normalized KV variant reaches 37% on AIME-2024 at 8192 tokens against the best of them (33%) , at up to 2.8× the speed.
https://arxiv.org/abs/2606.26472
