IJCV | PDF-WuKong:面向高效长PDF阅读的端到端稀疏采样多模态大模型

要点速览：随着多模态大模型技术的快速发展，文档理解任务的能力得到显著提升，但针对图文交错的长PDF文档尤其是学术论文的理解仍存在明显瓶颈。现有纯文本类方案依赖OCR解析结合长上下文大模型或文本检索增强生成技术，会丢失图表等关键视觉信息，难以回答细粒度视觉相关问题；纯视觉类方案将每页文档作为图像输入，输入token量随文档页数线性增长，计算资源消耗随长度急剧上升，现有多页模型处理页数上限较低，视觉检索增强生成方案仅能实现页面级粗粒度检索，无法定位细粒度证据。针对上述行业痛点，本文提出PDF-WuKong多模态大模型，引入端到端多模态稀疏采样机制，同时构建了带细粒度证据标注的中英双语学术PDF数据集PaperPDF，在保障问答精度的同时大幅提升长文档处理效率，且具备天然的结果可解释性，为长文档多模态智能理解提供了全新的技术路径。

标题：PDF-WuKong: A Large Multimodal Model for Efficient Long PDF Reading with End-to-End Sparse Sampling

作者：Xudong Xie；Hao Yan；Liang Yin；Yang Liu；Jing Ding；Minghui Liao；Yuliang Liu；Wei Chen；Xiang Bai

隶属：华中科技大学，中国武汉；华为技术有限公司，中国深圳

关键词：多模态大语言模型；规划基准；第一人称视频；视频推理

DOI：https://doi.org/10.1007/s11263-026-02860-w

Github: https://github.com/qiulu66/EgoPlanBench2/

• 本文以长PDF文档的多模态问答任务为研究对象，针对现有纯文本方案丢失视觉细节、纯视觉方案计算量随页数线性增长、单模态检索增强生成方案粒度不足且缺乏端到端优化的核心问题，提出了名为PDF-WuKong的多模态大模型。

• 该模型引入端到端多模态稀疏采样器，通过统一嵌入空间筛选与查询最相关的文本与图像块，在保留细粒度信息的同时大幅降低输入token规模，且处理效率与文档长度解耦。

• 为支撑模型训练与评估，本文构建了包含110万问答对的中英双语学术PDF数据集PaperPDF，所有问答对均标注对应的证据来源。实验结果表明，该模型在长多模态文档理解任务上显著超越现有开源模型与商用产品，同时具备良好的可解释性，为长文档多模态理解领域提供了新的架构思路与基准数据。

• 论文首先系统梳理了现有文档理解技术的两类主流路线与核心局限。纯文本路线通过OCR解析提取文档文本，结合长上下文大模型或文本检索增强生成技术处理内容，无法精准捕捉图表、公式等视觉元素的细粒度信息；纯视觉路线将每页文档作为图像输入多模态大模型，输入token数量随页数线性增长，现有多页模型最多支持数十页处理，视觉检索方案仅能实现页面级粗粒度定位。同时现有文档数据集多聚焦单页场景，多页数据集缺乏细粒度证据标注，难以支撑稀疏采样类模型的训练与评估。

• PDF-WuKong整体架构由文档解析、多模态稀疏采样、多模态响应生成三个模块构成。其中文档解析采用Grobid与MinerU混合处理管线，Grobid负责元数据提取，MinerU完成细粒度布局分析，可精准识别学术论文中的段落、图表、公式等元素，将PDF文档转换为按阅读顺序排列的结构化文本块与图像块序列，图像块自动关联对应图题文本。该混合管线兼顾轻量化与解析精度，支持中英双语文档处理，为后续稀疏采样提供高质量结构化输入。

• 多模态稀疏采样模块通过统一嵌入空间实现查询驱动的证据筛选。文本块由轻量文本编码器生成语义嵌入向量；图像块复用预训练多模态模型的视觉编码器输出序列特征，经均值池化与投影层映射到文本嵌入空间，再融合对应图题的文本嵌入得到最终图像表征。推理时计算查询嵌入与所有块嵌入的余弦相似度，选取Top-K相关块作为稀疏证据，所有块嵌入支持离线预计算与缓存，大幅降低重复查询的计算开销，且采样过程与原始文档长度无关。

• 多模态响应生成模块与端到端训练策略实现检索与生成的协同优化。生成阶段复用缓存的原始图像序列特征，经多模态模型原生连接层投影至大语言模型输入空间，保留细粒度视觉细节；文本块以原始文本形式输入，充分利用预训练语言模型的语义能力。模型采用双目标联合训练，对比表示损失优化检索嵌入的语义对齐效果，交叉熵损失提升问答生成的准确率，端到端训练使采样与生成环节相互适配，模拟人类由粗到精的文档理解逻辑。

• PaperPDF数据集是专门面向长学术PDF理解构建的双语基准数据集。该数据集包含7万篇中英学术论文，覆盖近70个学科，通过单证据、多证据五类提取规则生成不同难度的问答对，总计110万训练样本与1万测试样本，所有问答对均标注对应的证据来源。数据集构建遵循文档解析、证据提取、QA生成、数据过滤四步流程，训练集经自动化规则去重降噪，测试集经人工校验保障标注质量，涵盖7类典型问题，平均文档页数达23页。

• 实验部分在多个基准上全面验证模型性能并开展消融分析。实验以 IXC2VL-4KHD为基座模型，在PaperPDF长文档基准、单页文档VQA数据集、多页文档理解数据集以及长上下文测试集上开展对比实验，覆盖开源模型与主流商用产品。消融实验分别验证了稀疏采样器、端到端训练、数据集规模、文档长度、采样数量等因素的影响，证明Top-5采样在精度与效率间达到最优平衡，模型在64K上下文长度下仍保持稳定的最优性能。

• 本文提出的PDF-WuKong模型通过端到端多模态稀疏采样架构，有效解决了长PDF文档理解中精度与效率难以兼顾的核心问题，其处理性能不会随文档长度增长出现显著衰减，突破了传统纯文本与纯视觉方案的能力边界。

• 实验证明该模型不仅在长学术PDF理解任务上全面超越现有开源模型，F1值平均超出商用产品8.6%，同时在通用文档视觉问答任务上保持了竞争力。

• 该模型天然具备证据可解释性，能够定位答案对应的文本与图像块，适用于学术文献智能阅读、企业文档知识问答、科研信息检索等多种场景，为长文档多模态智能化处理提供了可落地的高效技术方案，后续可通过扩展文档类型、优化全局查询能力进一步提升通用适配性。

• 学术层面，提出了端到端多模态稀疏采样的长文档理解新范式，构建了粗粒度跨模态检索-细粒度多模态推理的两级处理机制，突破了传统纯文本与纯视觉两类技术路线的局限，丰富了多模态文档理解的理论架构与实现路径。
• 技术层面，设计了可复用基座视觉编码器的轻量化稀疏采样器，实现了检索模块与生成模块的端到端联合优化，结合离线缓存策略实现了与文档长度解耦的高效推理；同时构建了带细粒度证据标注的中英双语长PDF问答数据集PaperPDF。
• 应用层面，模型在学术PDF理解场景实现了精度与效率的双重提升，综合性能超越主流商用文档理解产品，可直接落地于文献阅读助手、企业文档智能分析等实际场景，为不同领域的长文档智能化处理提供了高性价比的技术方案。