综述|长文档视觉问答:从读懂页面到获取充分证据

导读

把一份几百页报告交给多模态模型，真正困难的往往不是认出文字，而是在有限预算下找到足够证据、读对图表与细节、组合跨页信息，并确认答案确实得到支持。更多页面、更强生成器、更高检索分数，都不自动保证这一链条可靠。

浙江大学等单位研究者提出任务驱动的长文档视觉问答综述，分析150余篇论文，将系统拆成文档解析、证据组织与检索、生成组织与学习、评估四个相互作用的组件。文章追踪研究重点从内容理解，扩展到高保真证据获取，再到跨轮证据状态管理。核心判断是：局部相关不等于证据充分，答案正确也不等于过程可信。

本文按原论文五章及主要小节组织，并结合附录D展开未来研究。原文为综述，没有新增统一性能实验；图表中的分类与阶段是分析框架，不代表所有方法沿同一条路线替代演进。

论文信息

英文题目 A Task-Centric Survey of Long-Document Visual Question Answering: Taxonomy, Evolution, and Future Directions

作者 Yufei Tong、Guanjie Cheng、Tianle Wu、Leilei Zhang、Hang Zheng、Peihan Wu、Jianwei Yin、Shuiguang Deng。通讯作者为Guanjie Cheng与Leilei Zhang。

单位 浙江大学计算机科学与技术学院、软件学院、工程师学院，以及BWTON Technology。

版本 arXiv v1，2026年10月22日提交；26页、9幅图、6张表。arXiv页面未注明会议接收信息。

论文主页 https://arxiv.org/abs/2610.31385

完整论文 https://arxiv.org/pdf/2610.31385

项目资源 https://github.com/yufeiTongZJU/Long-Document-VQA-Survey

1 Introduction｜引言

论文、财报、幻灯片和表单，通过文本、表格、图表、图像、版式以及跨模态关系表达知识。信息抽取主要识别字段、实体或关系，视觉问答则必须为问题选择并整合证据。

任务已从单页理解扩展到多页定位、跨页组合和超长多模态输入。页面和文档规模增加，使全量阅读昂贵；转换为文本可能丢失图表和布局，缩小图像又会损坏细字。答案需要的条件、表头、数值和注释，还可能分布在不同页面或文档。

已有综述多按架构、表示或检索技术组织。本文改从任务瓶颈出发，分析为什么需要某种技术，以及某个组件的改进如何改变其他环节的要求。显式检索约占所考察方法的80%，因此是重点，但作者同时覆盖不经过显式检索的直接阅读路线。这个比例描述综述样本，不是行业部署份额。

2 Task Formulation and Decomposition｜任务定义与分解

输入由问题和候选视觉文档组成，系统在上下文、计算和工具调用等预算约束下输出答案，并可返回证据来源。封闭域为问题指定文档，开放域需从共享文档库识别相关来源，两种设置的搜索规模不可混同。

页面保留上下文与出处，元素提供文字块、图表或区域等细粒度线索，跨页和跨文档关系连接需要联合使用的内容。长文档困难可归纳为输入与搜索规模、视觉复杂性、证据分散及依赖三类。

四个组件。 文档解析保存细节与结构；证据组织和检索选择足够支持；生成组织和学习整合、核验并识别缺口；评估检查答案、证据、成本与可靠性。这是功能分解，不要求所有系统严格按固定顺序执行。

图1：长文档视觉问答的四个组件，以及直接阅读和显式检索两条路线。反馈可引导获取新证据，也可仅对已有证据重读、重排或裁剪；评估贯穿全过程。来源：原论文图2，PDF第2页。

两条路线。 直接阅读使用给定文档表示，通过层次编码、跨页融合或压缩控制输入；显式检索先选择相关文档、页面或元素再交给生成器。直接阅读不等于毫无选择或压缩，显式检索也不一定只返回原始页面。

三个易混边界。 多智能体描述运行时角色协作；多步推理描述中间结果反馈是否修订判断；迭代获取描述是否在反馈下取得当前集合之外的新证据。因此，固定多智能体流水线仍可能是单遍推理，而对同一批页面反复检查，可以是多步推理但仍属一次性获取。

3 Taxonomy and Technical Evolution｜分类体系与技术演进

3.1 文档解析

解析把原始页面转为可访问的内容和结构。作者明确区分外部文字提取与深度解析两条独立轴：前者包括OCR、PDF文字抽取和视觉语言模型的转录或描述；后者构建摘要、章节树或关系图等语义概览及显式结构。仅把一个图表描述为文字，不自动算深度解析。

依赖提取的系统便于建立文本索引，却可能在识别、线性化时丢失布局、文字—图像对应和表格关系；直接编码页面可减少文本化损失，却仍受分辨率和视觉阅读能力限制。混合方案同时使用提取文字和页面图像，不能因保留图像就标为不依赖提取。

演进主线。 2021—2023年强调可读内容和版式视觉结合；2024年显式检索推动原页面保真；2025年摘要、树和图使关系可导航；2026年转向问题与过程指导的按需解析，减少无关处理。

LayoutLMv3等联合文字、布局和图像，Donut、Pix2Struct等直接从页面学习；DSE、ColPali和VisRAG强调页面表示；SimpleDoc、DocAgent等引入摘要或层次；AgenticOCR等面向相关区域调用解析工具。

图2：解析从可读内容、视觉保真、可导航结构扩展到按需处理。阶段代表研究重点增加，旧方法依然可与新机制共存。来源：原论文图3，PDF第4页。

解析不是越丰富越好。预先构建全文图谱有离线成本，按需解析也可能误判重要区域。价值应以证据完整度、答案质量与总成本衡量，而非仅用转录准确率或结构复杂度判断。

3.2 证据组织与检索

原文按四个维度比较：匹配表示的模态、证据粒度、检索机制、获取方式。模态可为文字、视觉或混合；粒度可为文档、页面或元素；机制包含词法、向量、多模态匹配以及大模型选择、重排和区域细化；获取方式则区分固定过程与反馈驱动扩展。

粒度与上下文。 整页保留背景却可能带来噪声，细粒度区域突出细节却可能切断语义。表格单元格没有表头、单位和统计时期，往往“相关但不充分”。检索命中的形式还可能不同于生成输入，例如文字块匹配后映射回源页面供视觉阅读。

机制与时序。 ColPali使用多向量晚期交互，DSE使用页面向量表示；结构导航和关系扩展帮助找到互补证据。固定多阶段检索、重排和已有区域细化，不因步骤多就成为迭代获取；必须有生成或控制反馈推动新增证据。

图3：证据组织从答案页预测、视觉页索引，扩展到互补覆盖、迭代检索，以及状态和预算指导的搜索停止。来源：原论文图4，PDF第5页。

演进主线。 早期预测答案所在页；2024年视觉索引缓解页面过多；2025年结构、区域和反馈扩展弥补孤立匹配遗漏；2026年关注跨页上下文、证据状态及继续搜索的边际价值。DocMemo等维护页面信念和问题记忆，预算分配方法则估计不同子问题继续获取的收益。

检索更多不保证覆盖必要依赖，也可能增加重复与干扰。终点应是问题所需支持足够，而不是达到固定页数或最高相似度。

3.3 生成与学习

生成器既要整合证据，也要控制上下文与计算成本。直接读全文保留上下文但昂贵，阅读检索结果缩小输入却要应对缺失和噪声。单智能体或多角色协作，是组织维度；单遍或反馈循环，是推理维度，两者应分别描述。

一条长思维链、结构化输出或固定多角色链条，仍可属于单遍流程；只有中间观察、工具或验证不断修订判断与动作，才符合本文多步推理定义。重读和核验同一组证据可以产生反馈，不必每次新增检索。

学习目标。 预训练培养文档表示和模态对齐；监督微调用答案、来源或动作示范；强化学习使用答案、证据或过程奖励。表中某系统采用强化学习，不意味着所有模块一起更新：原文附录明确区分检索、控制、工具和最终回答器的训练范围。

演进主线。 2021—2023年建立文档技能；2024年用跨页通信、压缩和检索后阅读处理长输入；2025年学习证据使用、重读和工具动作；2026年关注跨轮状态，减轻上下文累积和遗忘。Hi-VT5、GRAM、mPLUG-DocOwl2、VRAG-RL和SCORE分别体现不同瓶颈的技术响应，而非统一榜单中的直接优劣。

证据记忆应记录读到了什么、还有什么缺口、判断来自哪里。压缩摘要方便持续推理，却可能固定早期误读；必要时应回到源页，而不是让多个智能体围绕同一错误摘要反复确认。

3.4 基准与评估

评估分为答案正确性、检索召回与排序、空间定位、效率和鲁棒性。定位检查预测区域和标注是否对齐；效率包含解析、索引和在线推理；鲁棒性检查视觉退化或干扰条件。

图4：按检索与答案目标、输入规模组织的基准。表中区分开放或指定文档、单页或跨页证据、不可回答问题，以及页面或元素级标注；输入页数和语料库规模不能混为一谈。来源：原论文表3，PDF第7页，含原表符号说明。

基准演进。 DocVQA、InfographicVQA和ChartQA侧重单页视觉理解；MP-DocVQA、SlideVQA和DUDE扩展到多页定位、整合及不可回答；MMLongBench-Doc、M-LongDoc增加长输入压力；ViDoRe、MMDocIR等关注检索和定位；DocScope等进一步检查页、区域、事实、答案，并借助受控条件诊断错误来源。

单个平均答案分数可能掩盖错误来源。正确答案可能来自先验、猜测或不完整证据，良好检索也可能被后续误读抵消。因此要联合报告答案和证据，并用已知正确证据、缺失证据、干扰页面等对照隔离解析、检索和推理瓶颈。

跨方法比较还应固定候选文档、输入条件、预算和评测口径。开放域全库页数与指定单文档平均页数不在同一尺度，单页证据任务也不能替代真正跨页整合测试。

4 Research Trends and Future Directions｜研究趋势与未来方向

4.1 跨组件演进

研究并非从文字路线彻底切换到视觉路线，再彻底切换到智能体。更准确的描述是优先事项不断扩展：先读懂内容，再从大范围获取高保真、充分证据，最后持续维护与核验这些证据。

图5：解析、检索、生成学习和评估共同演进。五个时期对应内容理解、证据获取与证据管理三类总体重点，方法可以组合不同时期的技术。来源：原论文图7，PDF第8页。

组件瓶颈还会相互传播。检索减少输入但带来遗漏，推动结构感知获取和局部解析；反馈让解析与检索成为可调度动作，又要求生成器维护状态并决定是否重读、补查或停止；评估则要追踪这些动作是否真的提高答案支持和质量—成本权衡。

一个典型失败链条是：局部转录漏掉单位，摘要把数值写入记忆，后续检索依据错误摘要选页，生成器最终给出貌似合理的比较。仅把检索器或回答模型换大，未必能修复前端错误。这个例子用于解释组件依赖，不是论文新增实验。

4.2 挑战与未来方向

图6：证据充分性、可验证与可纠正理解、预算约束下联合优化。三者分别回答“是否还缺支持”“是否忠实使用且能纠错”“计算应花在哪里”。来源：原论文图8，PDF第19页。

一、从局部相关到证据充分。 更精确的页面和区域，不保证答案所需依赖齐全。应围绕问题列出必需事实、比较对象、计算条件和依赖，区分帮助定位的背景与直接支持答案的证据。

例如财报比较不仅要两个数值，还要列名、单位、期间、口径与注释；跨页续表和图例也应作为组合选择。未来训练与测试应加入完整、部分缺失、高度相关但不充分的证据集合，检查系统能否说清缺什么，并转化为下一步搜索目标。

二、从正确答案到可纠正证据链。 正确答案可以伴随错误中间事实或不完整支持。证据记忆应保留源文档、页面、区域、版本和依赖；发现冲突时重读、撤回错误记录，并更新下游判断，而不是只改最后一句答案。

受控删除或替换关键证据，可检验系统是否识别支持缺失或事实改变；改变无关证据则应保持答案稳定。来源引用准确、事实读取准确、证据足以支持结论，是三种不同检查。更完整的评估还应测试系统选择重解析、继续获取、修订或拒答的纠错能力。

三、从局部加速到预算感知联合协调。 小区域解析、少量检索或视觉压缩节省的资源，可能被辅助模型调用、交互轮次与状态维护抵消。应把搜索、细读、重解析、核验和停止放在同一质量—成本目标下决策。

未来策略需要估计一次额外动作的边际收益，根据问题难度、证据缺口和剩余预算分配分辨率、解析范围、检索深度及推理轮次；也应判断什么时候直接阅读比先建索引更合适。报告应覆盖预处理、索引、辅助模型和在线推理，并在不同长度、证据分散程度和预算下展示曲线。

四、跨问题记忆复用。 连续追问往往复用表格位置、统计约定和已核验结果。系统应连接对话与源页，延用仍有效的证据，再补足新问题所需信息，而非每题从头处理。用户纠正、文档版本变化或条件切换后，应检查历史记忆是否仍适用并修订依赖。

五、跨任务策略改进。 记住某页在哪里，与学会更好的检索、阅读和核验流程，不是同一层次。原文受递归自我改进启发，提出从成功、失败和反馈中提炼策略，先在独立任务验证，再更新技能库或控制程序。例如形成“比较财务数值前检查单位和报告期间”的程序。

这属于未来方向，不是本文已经展示的通用自我改进系统。关键证据应说明策略适用条件、迁移收益和独立验证，不能把重复使用同一文档的信息，当作学习机制进步。

5 Conclusion｜结论

本文把长文档视觉问答重述为预算约束下的证据过程：解析保留内容和结构，检索获取互补支持，生成理解与验证，评估诊断可靠性及成本。显式检索是当前综述样本中的主要路线，直接阅读仍有适用场景。

从技术演进看，研究重点由多模态内容理解扩展到充分、保真的证据获取，再到状态维护和持续使用。下一阶段需要把证据充分性、可追溯纠错与预算协调联合起来，并探索跨问题复用和跨任务策略迁移。

长文档问答的目标不是尽量多读，也不是尽量少检索，而是以可核验的证据和合理成本支持答案。

综述局限 原文聚焦长文档问答，文字与版式识别、字段和实体抽取仅在影响问答时讨论，并非覆盖所有文档理解基础任务。各方法设置不同，分类和时间分析不构成受控因果证明。

附录索引 A详列基准；B比较直接阅读；C详列显式检索与分类边界；D展开充分性、纠错、预算协调和持续理解。希望复现选型的读者，应结合附录查看训练范围、证据粒度和反馈定义。

原文链接 https://arxiv.org/abs/2610.31385

全文下载 https://arxiv.org/pdf/2610.31385

项目资源 https://github.com/yufeiTongZJU/Long-Document-VQA-Survey

本文依据论文v1整理。配图保留原始图内文字，另附中文图题及来源页码；不同方法和基准的描述遵循综述所采用的配置与口径。

专知便捷查看，访问下面网址或点击最底端“阅读原文”

https://www.zhuanzhiai.com/vip/0e9e7b76104bf58e1f77b361bf7af88f