上下文永远不够长?斯坦福用SQL破解长文档推理难题

作者：Harshit Joshi, Priyank Shethia, Jadelynn Dao, Monica S. Lam

机构：Computer Science Department, Stanford University

现实世界的文档问答面临巨大挑战。分析师需要在多个文档和每个文档的不同部分之间综合证据。然而，随着文档集合的增长，任何固定的 LLM 上下文窗口都可能被超出。一种常见的解决方案是将文档分解为块，并从块级输出组装答案，但这引入了聚合瓶颈。

SLIDERS是一个通过结构化推理对长文档集合进行问答的框架，将关键信息提取到关系数据库中，使系统能够通过 SQL 而非连接文本在持久的结构化状态上进行可扩展推理。

🏗️传统方法：将文档分块后用 LLM 拼接推理，面临聚合瓶颈

✨SLIDERS：提取到数据库，用 SQL 进行可扩展推理

图1：：长上下文和超长基准测试的准确率

图2：基于分块的方法重新生成了长上下文问题

不依赖 LLM 对拼接的分块输出进行推理，而是将关键信息提取到关系数据库中，将非结构化文本转换为持久的结构化状态。推理简化为查询：在数据库上执行 SQL 来聚合、比较和计算提取的证据。

独立提取的记录通常为同一底层事实提供重叠、部分或冲突的视图。数据协调利用来源、提取理由和元数据来检测和修复重复、不一致和不完整的记录。

图3：SLIDERS 概述，展示分块上下文化、模式归纳、结构化提取、数据对齐和问答过程

在分块之前用元数据增强每个文档，全局部分包含标题和文档级描述，局部部分捕获章节标题、表格和图片标题。将每个文档分割为多个块，同时保持语义和结构的一致性。

生成具有多个表的关系模式。表模式包含模式名称和一组字段，每个字段定义字段名称、语义描述、数据类型、度量单位、刻度和规范化规则。

在提取之前引入一个相关性门。对于每个块，模型首先确定文本是否包含与模式实体相关的证据；只有当这个门通过时，才执行提取，防止将假阳性注入到数据库中。

表1：用于数据协调的执行器智能体

文档在不同粒度级别上分发、重复和完善信息。协调通过将重叠、部分或冲突的记录对齐到一致的关系状态来应对这一挑战。按主键将行分组，在小的、语义一致的分区中协调重叠的证据。

对于每个记录分区，协调智能体使用来源、提取理由和文档级元数据来确定证据应该如何集成。智能体编写 SQL 程序以通过检查行内容、值分布和支持证据来确定需要去重、冲突解决或整合操作中的哪一个。

FinanceBench：单文档金融问答基准测试，包含 150 个关于上市公司的问题

Loong：多文档问答基准测试，涵盖金融（中英文）、法律（中文）和学术论文（英文）

Oolong：明确专注于聚合的长上下文推理基准测试，模型需先分类数据点再聚合

📊观察结果 1：SLIDERS 在所有长文档集问答任务上都优于所有基线方法

📋观察结果 2：出处跟踪增强了可审计性和可解释性

🔓观察结果 3：SLIDERS 也与开源 LLM 有效配合

表3：长文档问答基准测试的性能比较

表4：在验证集上的消融研究

引入两个超过当前前沿模型上下文窗口的文档集基准测试：WikiCeleb100（390 万词元）和 FinQ100（3600 万词元）。SLIDERS 在 WikiCeleb100 上达到 78.9% 的准确率，在 FinQ100 上达到 55.2% 的准确率。

表2：基准测试统计数据

图5：基准测试中准确率与词元长度的关系

表5：模式归纳模型的准确率

表6：50个问题的人工评估

平均每题成本为 0.76 美元。与 RLM 相比，SLIDERS 达到相等或更低的成本。对于 WikiCeleb100，GPT-4.1 将花费约 121.60 美元，而 SLIDERS 仅花费 13.10 美元。

调和代理运行效率非常高，平均每个主键组仅需 1.28 �迭代即可完成数据调和工作。对于大型金融语料库，主要引发必须解决的冲突，而多文档传记语料库更经常需要跨部分重叠证据的合并。

图6a：行减少分布

图6b：解决迭代次数

图6c：操作分解

图6d：调和前后每键行数

总体而言，调和不仅仅是删除重复行：它将嘈杂的局部提取转换为近规范的结构化表示，每主键约 1 行。

本文提出了 SLIDERS 框架，通过结构化推理实现对长文档集合的问答。核心创新在于将文档中的关键信息提取到关系数据库中，并利用 SQL 进行推理，将自然语言问答问题转化为结构化数据处理问题。

数据调和阶段充分利用来源信息、提取理由和元数据，能够有效检测和修复重复、不一致和不完整的记录，确保数据的准确性和完整性。

在三个标准的长上下文基准测试中，SLIDERS 优于所有基线方法，平均准确率比 GPT-4.1 高出6.6 个百分点。在规模分别为 3.9M 和 36M token 的两个新基准测试中，SLIDERS 比次优基线分别提高了约19 个百分点和约32 个百分点。

调和代理的运行效率非常高，平均每个主键组仅需 1.28 次迭代即可完成数据调和工作。平均每道题目的处理成本仅为 0.76 美元，低于 RLM 等基基线方法。

综上所述，SLIDERS 框架不仅在准确率上超越了现有的最先进方法，而且在效率和成本控制方面也展现出明显优势，为长文档问答任务提供了一个强有力的解决方案。