夜雨聆风学习资料网

ARTICLE · 1187552

NeurIPS 2026 | 不止读懂文档:DocAtlas与XL-DocBench,让长研究可积累、可检验

NeurIPS 2026 | 不止读懂文档:DocAtlas与XL-DocBench,让长研究可积累、可检验

(本文阅读时间:18 分钟)

阅读技术报告时,我们经常会发现,一份报告的结论可能写在摘要里,成立条件藏在方法章节,关键数字位于表格,限制则出现在附录。所以找到一句相关的话,并不等于研究清楚一个问题。如果每次追问都要重新翻找,那阅读成果便难以积累;如果评测只看最终答案是否正确,那么将很难判断系统究竟读到了什么、遗漏了什么。

近期,微软亚洲研究院推出的 DocAtlas 与 XL-DocBench,分别从研究过程与能力评测两个方向探索了长文档理解:DocAtlas 让智能体能够在搜索、阅读、记录和回顾之间持续推进研究;XL-DocBench 则通过超长专业文档、人工证据标注以及细粒度任务,系统检验模型能否找到所需信息,并据此进行可靠推理。两项工作使长文档理解成为了一个有依据、可积累、可核验的研究过程。相关论文已被NeurIPS 2026接收。

相关信息已整理至文末,欢迎点击了解更多技术详情。

DocAtlas:让每一次阅读,都为后续研究留下线索

一份 PDF 的章节、页码范围和摘要可以形成一棵可导航的文档树。多份文档也可以组织在同一个集合中,同时保留各自的树结构和来源身份。文档树能够帮助智能体判断阅读方向,但章节摘要和搜索结果并不会自动成为最终证据。

为了让这些线索能够持续参与后续研究,DocAtlas 将长文档理解建模为智能体与可积累研究状态之间的持续交互,而不只是一次性检索后直接生成答案。

- Search 找方向,Read 查原文。

在DocAtlas中,主模型会首先定位可能相关的区域,再根据需要打开文本、页面图像或图表。如果现有材料不足以支持判断,那么智能体可以沿着新线索继续探索,不会再机械地消耗固定数量的检索片段。

- Note 保存发现,Review召回记录。

笔记不只记录一句结论,还可以保留信息来源、已知条件和尚未解决的问题。DocAtlas的页级发现可以为对应的文档树节点补充研究注释,使后续搜索在能够利用新线索的同时,保持原始 PDF 和原有章节摘要不变。

图 1:DocAtlas 概念图。四种工具按需使用,并非每个问题都必须经过一遍固定流程;研究记录也不等同于已验证的证据。

例如,读者可以先了解一篇论文的主要贡献,再核对支撑结论的实验设置,并把限制条件保存下来。下一次追问时,Review可以召回与当前问题相关的记录,无需重新载入全部历史材料。但涉及重要判断时,仍需回到原文进行核对。

这与“把聊天记录再总结一遍”不同。DocAtlas积累的是带有来源、能继续追踪的研究发现,而非没有出处的压缩文本。这里的工作记忆也不意味着自动训练模型,或形成个人偏好记忆。

DocAtlas的关键并不只是增加几种工具,更在于把“下一步读哪里”交给一个能感知已有研究状态的过程。局部问题可能只需阅读少量页面,但当面对跨章节关系时,智能体则可以继续寻找并补齐缺失条件。由于新发现可能改变后续的探索方向,所以已经保存的线索也仍需接受原文核验,而不会因为进入笔记就自动成为正确结论。

对研究者而言,这意味着“已经知道什么”与“仍然不知道什么”都可以被保留下来。例如,一条记录可以同时包含某项结论、该结论适用的实验设置,以及尚未检查的例外。之后继续追问时,研究不必只从上一条回答出发,而能够沿着这些有出处的线索进一步推进。

从论文中的方法,走向可以实际操作的研究工具 

除了论文,DocAtlas 还提供了开源 TUI,其Web版本则提供了本机研究预览。两种入口都可以使用DocAtlas 论文进行演示。

在终端中选择 PDF 后,用户即可开始提问。工作台会展示真实的工具活动,包括寻找相关章节、读取材料和组织回答。用户可以继续追问,也可以检查会话过程中已经积累的研究发现。

图 2:真实 TUI 演示

Web 界面能够把模型回答与原文核验放在同一个工作流中。用户可以上传论文并提出问题,点击引用打开原始 PDF,也可以选中段落,围绕明确的上下文继续追问。遇到值得保留的内容时,还可以单独保存一条来源清晰的笔记。

图 3:上图为原文核对;下图是保存研究记录。TUI 与 Web 是独立会话;Web 为本机研究预览,暂未公开部署。

文档地图中的新增或修订提示都属于研究层,不会改写原始目录。保存笔记也不必触发一次新的模型回答。需要注意的是,论文中的 Review 笔记召回,与 Web 中的人工审阅工作区并不是同一种能力,不应混为一谈。

这种界面上的可见性同样重要。读者可以区分模型生成的表述与 PDF 中实际出现的内容,核对引用是否支持当前判断,再决定哪些发现值得保留。因此,研究工具的价值不只是省去几次翻页,更在于让阅读、核对与记录成为连续研究过程中的不同环节。

XL-DocBench:比“1,519 道题”更重要的是题目如何构成

一个顺利完成的演示,并不足以说明系统能处理各种类型的长文档。

现阶段已有的基准各有侧重:单页任务主要考察视觉与表格理解;多页任务增加跨页查找;长上下文任务扩展素材长度;领域基准则引入专业知识。新的问题是,一个基准能否同时覆盖超长专业材料、跨页与跨文档证据、多模态内容,以及可以核验的推理规则?

XL-DocBench关注的正是这种综合覆盖。它不仅能够衡量答案是否正确,还可以通过证据标注和任务分类,为分析系统的失败原因提供依据。XL-DocBench包含1,519 道题、331 份文档、6 个领域和 12 类推理。六个领域覆盖金融商业、法律监管、医疗临床、技术工程、科学学术及叙事文学,并非只围绕某一种报告或单一类型文档出题。

图 4: XL-DocBench 在六个领域的问题分布

长的不只是文档,证据之间也有距离

在XL-DocBench中,原始文档合计有 98,342 页,平均每份文档 297.1 页,中位数 211 页,最长的单份文档有 2,062 页。对于由多份文档组成的系列,一道题的完整上下文可能横跨多个 PDF,最长达到 2,303 页。需要特别区分的是,单份文档长度和一道题所涉及的上下文长度,是两个不同的统计对象。

图 5:XL-DocBench 的上下文长度与证据跨度分布。上图展示题目涉及的上下文长度,下图展示人工标注的证据跨度。

经研究员调研显示,人工标注的证据页数平均为 2.30 页、最多 24 页;证据跨度中位数为 7 页,P95 为 255 页,最大达到 1,002 页。一道题最终需要的证据页可能并不多,但这些页面或许相隔很远。因此,“最终引用了几页”不能代替“定位这些页面有多难”,证据跨度也不等于模型实际阅读的页数。

跨页、多模态和跨文档,可能同时出现

在XL-DocBench的全部问题中:1,103 道题需要多页证据,占72.6%;556 道涉及表格、图表或图像,占 36.6%;165 道属于跨文档任务,占 10.9%。另有 218 道采用 None 答案格式,用于检验系统在支持不足时能否避免猜测。

图 6:XL-DocBench 的证据页数、跨文档证据与答案形式分布。上图展示单页、多页及跨文档题目涉及的证据页数,下图展示不同模态与答案格式的问题数量。

跨文档问题可能通过定义、引用或上下文依赖多份文件,但最终标注的支持页可能只聚焦在其中少数文件上。因此,不能把“人工证据落在多个 PDF中”直接等同于全部 165 道跨文档任务;同样,也不能把所有不属于跨页任务的样本都称为单页可回答题。

十二类推理任务,帮助定位系统究竟失败在哪里

XL-DocBench 的十二类推理任务分为三个层次:基础层包括比较与引用链;结构层包括排序、覆盖与信息对齐;更高层还包括集合差、不可回答、时间关系、合规、反事实、聚合和一致性。

图 7:XL-DocBench 的推理任务类型及证据覆盖情况。上图展示十二类推理任务的问题数量与占比,下图比较不同推理类型所需的平均人工证据页数和相关 PDF 数量,体现不同任务在证据需求上的差异。

这些标签的意义在于,让“没有找到相关页”、“没有找全一个集合”和“没有正确应用规则”等不同问题可以被分别研究。即使两个系统的总分接近,它们的能力短板也可能完全不同。

模型提出候选,专家建立最终依据

面对动辄数百页、甚至上千页的材料,仅靠模型自由生成问题,并不足以建立可靠的评测基准。对此,XL-DocBench 采用了一套人工引导、模型辅助的树引导构造流程。

图 8:XL-DocBench 的树引导式数据构建与人工核验流程

首先,系统基于不同章节分支的摘要提出候选问题,并按领域和推理类型控制采样。随后,系统逐个隐藏分支,让模型判断缺少该分支后是否仍能回答问题。如果仍可作答,那么就不能把它保留为依赖这些分支的候选题。但这一检查只用于筛选候选问题,不能证明已经找到了最小证据集合,也不会直接确定最终的证据页面。

通过筛选的题目,系统会逐层展开到具体页面,细化作答条件、答案形式和核验规则。此时,模型给出的答案和支持材料仍是草稿。最后,194 位专家访问完整源文档,重新回答问题,标注具体的支持页和原句,并检查答案、歧义与规则。质量过滤在人工核验之前和之后都会进行,以处理常识捷径、措辞泄漏、支持不足和无意义算术等问题。

图 9:XL-DocBench 的候选问题筛选与专家核验结果

值得区分的是,文档树在两项工作中承担着不同职责:在 XL-DocBench 中,树用于组织构题;在DocAtlas 中,树则用于导航研究。这是两套相互独立的流程。基准中的标准答案和人工证据标签,不会作为演示材料交给被评测的智能体。

在同一基准上验证:DocAtlas + GPT-5.4 达到 53.7%

在研究员们补充并确认的实验中,DocAtlas + GPT-5.4在 XL-DocBench 上取得了53.7%的精确度。其中得分最高的对照系统 SimpleDoc + GPT-5.4 为 44.0%,相差了9.7 个百分点。

图 10:DocAtlas 与 SimpleDoc 在 XL-DocBench 测试集上的准确率对比

诊断图中进一步区分了答案产出与证据命中:找到了证据却回答错误,问题可能出在规则应用或答案形式;没有找到所需页面,则更接近检索和上下文组织问题。仅增加上下文窗口或工具调用轮数,并不能自动解决这两类失败。

研究员们还分别按上下文长度、证据页数与证据跨度分析了系统表现。三个指标代表着不同的压力:

  • 上下文更长,意味着材料中可能出现更多无关信息;

  • 支持页更多,意味着系统需要找到并覆盖完整证据;

  • 支持页相距更远,则更加考验导航和上下文组织能力。

只有将这些因素拆开,才能进一步判断改进应该发生在检索、证据组合还是推理规则上,而不是把所有错误笼统归结为“模型不够强”。53.7%这一分数展示了该研究方向的潜力,也说明超长文档理解仍未解决。

此外,DocAtlas 还在另一项基准 MMLongBench-Doc 上进行了评测:GPT-5.4 从直接输入的 62.4% 提升至 71.4%;4B 策略经训练达到了 63.7%,实验中使用了论文规定的 GPT-5.4 Search/Review 辅助模型。

让研究过程可以积累,也让理解能力能够被检验

DocAtlas 提供了一种寻找、读取、记录和回顾文档的工作方式;XL-DocBench 则提供了面向超长材料的任务、人工证据和评价工具。

二者共同关注的,不只是生成一个流畅的答案,而是让每个判断都能回到具体材料,让一次阅读产生的发现可以被核验、记录,并在后续研究中继续使用。

从一次问答走向持续研究,从最终答案走向证据和过程,可能正是长文档智能体迈向可靠应用所需要的下一步。

图 11:DocAtlas 与 XL-DocBench 的项目资源入口

项目页面:

https://officeintelligence.github.io/

DocAtlas 论文:

https://arxiv.org/abs/2608.07527

DocAtlas 开源工具:

https://github.com/microsoft/DocAtlas-Harness

XL-DocBench 论文:

https://arxiv.org/abs/2608.00036

XL-DocBench 当前公开数据:

https://huggingface.co/datasets/microsoft/XL-DocBench

#AI #Agent #人工智能 #长文档理解 #智能体 #AI研究 #微软亚洲研究院 #DocAtlas #XLDocBench #大模型评测 #文档智能 #生成式AI

你也许还想看:

相关学习资料