EMNLP 2026重磅:大模型长文档“找证据”的秘密被破解,仅5%注意力头在干活

这项研究来自香港科技大学、穆罕默德·本·扎耶德人工智能大学等机构，已被EMNLP 2026接收。

论文给出了答案：模型内部只有极少数“检索头”在负责定位证据。屏蔽这些头，模型在长文档问答上的得分从48.2分暴跌到5.7分——几乎完全失效。而它们只占全部注意力头的4.4%到10.2%。

1 一个长期被忽视的盲区：检索头能“看”图片吗？

此前，研究者已经在纯文本大模型中发现了“检索头”的存在——那些专门负责将问题指向相关文本片段的注意力头。

当证据出现在图片、表格或图表中时，基于“复制-粘贴”行为的传统检测方法就失效了，因为图片中的证据无法被字面匹配。

这正是这篇论文要解决的核心问题。

研究团队提出了多模态检索头（MMRetHeads） 的检测方法：分析每个注意力头的“问题-证据注意力”，即问题token指向标注证据区域的注意力强度。如果证据是文字，就对应文字token；如果证据在图片中，则对应视觉token。

指向证据的注意力越强，该头的检索得分就越高。

研究覆盖了Qwen3-VL、Gemma3等6个长上下文视觉语言模型，测试了文本检索、图像检索、渲染文本检索和相同图像检索等多种任务，上下文长度从8K一路拉到128K。

2 三个关键发现：稀疏、因果、继承

检索头极度稀疏

在所有的注意力头中，只有4.4%到10.2%的头贡献了50%的正向检索得分。这意味着，模型处理长文档时，绝大部分注意力头并没有在“找证据”这件事上发挥作用。

这些头具有因果作用

发现相关性不等于证明因果性。研究团队做了严格的屏蔽实验：把得分最高的5%检索头“关掉”，观察模型表现。

结果触目惊心：

• MMLongBench-Doc：48.2 → 5.7

• SlideVQA：71.2 → 8.9

随机屏蔽同样数量的注意力头，两项任务仍能分别保留32.2和52.6分。

屏蔽检索头造成的性能断崖，远大于随机屏蔽。这些头不只是“碰巧注意到”证据，而是模型访问证据的必经通道。

当检索头被屏蔽后，模型有时会在图表仍然存在于输入中的情况下，回答“信息不足”——它“看不到”明明就在那里的证据。

检索头是“继承”来的，不是“学”来的

研究还发现，这些高分检索头与它们各自基础模型（纯文本LLM）中的检索头高度重合。

多模态检索能力并非在视觉-语言适配阶段“从零学会”，而是从预训练阶段继承下来的。

3 一个更微妙的发现：文本和图像共享，但不完全共享

文本检索和图像检索会共享一部分注意力头。在6个模型和5种上下文长度中，文本和图像检索头的交集平均为51%。

“共享”不等于“相同”。不同上下文长度和证据形式会调用不同的检索头，且图像检索头的变化比文本检索头更剧烈。

“渲染文本检索”——把文字渲染成图片，让模型从图像中“读”文字。研究发现，渲染文本检索使用的头与文本检索高度重合（平均交集79%），远高于与普通图像检索的交集（51%）。

检索头关注的不是“输入是文本还是图像”，而是“我要找的内容是什么类型”。即使是视觉编码的文本，模型依然调用文本检索的“神经回路”。

4 无需额外训练，直接当检索器用

这项研究最令人惊喜的落地价值，是它提供了一个零训练的文档检索方案。

研究团队把MMRetHeads中的证据信号直接用于多模态文档检索。给定一个问题，系统为候选页面或版面区域计算相关性分数，据此排序。整个过程不需要额外训练检索器。

在MMDocIR基准上，Qwen3-VL-8B的表现：

• 页面级检索 Recall@1：达到64.7，较最强已报告基线提升7.7个百分点

• 版面级检索 Recall@1：达到39.0，较最强已报告基线提升6.3个百分点

MMDocIR是一个专门评估多模态文档检索的基准，包含页面级检索（找到包含证据的整页）和版面级检索（定位页面中的特定文字块、表格、图片或图表）两类任务。版面级检索的粒度更细，对系统要求更高。

5 从“看得见”到“看得准”

这项研究的意义，指向了长上下文视觉语言模型的一个核心能力维度：证据定位。

当前的视觉语言模型评测，大多关注“模型能不能答对”。

这项研究表明，答对的前提是“找对”。当检索头被屏蔽，模型不是“答错”，而是根本“找不到”证据，甚至明明证据就在输入中，它也会声称“信息不足”。

这对于文档智能体的实际部署至关重要。在合同审查、财报分析、医疗报告解读等场景中，“找到正确的证据”比“给出流畅的答案”重要得多。一个声称“根据财报第47页的数据”却实际上从未“看”过第47页的模型，是不可信的。

将检索头作为模型可解释性和可控性的抓手，通过监控检索头的激活模式来判断模型是否真的“找到了”证据；开发基于检索头的轻量级检索器，替代或补充传统的向量检索；以及探索检索头的训练干预，让模型学会更高效地使用这些“内置检索器”。

正如研究团队所展示的，大模型处理长文档的方式，可能比我们想象的更加“精简”——少数几个关键的头在“替全班同学找答案”。

理解并利用这一机制，或许是下一代文档智能体的关键突破口。