ARTICLE · 1208722
解决长文档问答难题:DocPilot 让 4B 模型干翻大模型级文档理解
关注上方“公众号”，了解视觉前沿！
小伙伴们好，我是阿旭。专注于人工智能、计算机视觉领域相关分享研究。【目标检测、图像分类、图像分割、目标跟踪等项目都可做，也可做不同模型对比实验；需要的可联系（备注来意）。】
《------往期经典推荐------》
《------正文------》
❝论文：https://arxiv.org/abs/2610.21327
代码：https://github.com/HKUSTDial/DocPilot
你有没有试过把一份几十页、图文混排的财报或论文丢给多模态大模型，问它一个需要"翻到第 5 页核对一个数字、再结合第 18 页的表格算一笔账"的问题？多数模型会在一次推理里漏掉稀疏证据，或者根本不会"翻页找证据"。长文档多模态问答（Long Document VQA）的难处就在这里：证据稀疏地散落在不同页面和不同模态里，还要跨页推理。
一、研究背景
多模态长文档问答要求模型在页面间与模态间寻找稀疏证据、理解异构内容并做跨模态推理。即便最强的 VLM，单次前向也常忽略稀疏证据、跨模态推理吃力。已有的文档智能体引入了多步交互，但很多仍依赖预定义工作流或粗粒度动作，推理的灵活性与颗粒度都受限。
二、技术方案
DocPilot 把"解长文档"变成一套可表达的智能体编排，并且能让小语言模型（SLM）学会这套能力。它的证据搜寻分成两层：页面级导航（决定去哪页找）与细粒度证据定位（在页内框出具体区域）；再叠加三类工具——局部视觉细看、基于代码的数值推理、跨模态推理，覆盖从"看见"到"算清"到"想通"的全过程。
为了把这套复杂能力迁移到 4B 级别的小模型，作者提出"课程式智能体训练"：先从单能力（只会翻页 / 只会定位 / 只会算数）学起，再过渡到自适应编排，监督信号来自"有数据支撑的推理轨迹"和"可执行的真实交互轨迹"。
三、实验结果
在 MMLongBench-Doc、DocBench、FinRAGBench-V、MADQA 四个基准上，DocPilot 配合前沿 VLM 骨干都取得明显增益；更关键的是 DocPilot-4B 用 40 亿参数就追平了体量大得多的模型。
四、应用场景
金融 / 法务长文档：研报、合同、招股书的多跳问答与数值核对； 科研 / 专利：跨页图表与正文联合问答； 企业知识库：把"翻很多页才能答"的问题交给智能体自动取证。
五、结论
DocPilot 的价值不在某个新模块，而在于把"长文档多模态推理"拆成可编排、可学习的动作，并用课程训练把能力下沉到 4B 小模型——这在成本与部署上都有现实意义。局限是仍依赖较强骨干做"视觉看"，小模型主要负责编排与推理。代码已开源（HKUSTDial/DocPilot）。
end
看到这里，如果你喜欢这篇文章的话，
点击下方【在看】【转发】就是对我最大支持！
如果觉得有用就点个“赞”呗
