面对上亿 Token 文档,AI 如何给每条证据留出处

一句话摘要：LongHarness 用一套持续更新的记录把证据与结论分开保存，按结论里的缺口搜索材料；读到新证据后，智能体重新核对已有判断——像把物证和推理笔记分开，发现新线索就回头核对。（原论文题目见文末，点击阅读原文可直接跳转至原文链接；Published by Fudan University and Shanghai Artificial Intelligence Laboratory（复旦大学、上海人工智能实验室），arXiv 2026）

第一阶段：识别核心概念

论文的 Motivation 分析

在超大规模真实文档问答中，关键证据分散在大量文档中，语料规模可能达到上亿 Token（100M-Token Corpora），难以在单次模型调用的上下文窗口中完整处理。Codex、Claude Code、RLM 等 Agent Harness 可以通过多轮交互访问外部语料，但长期积累的证据与不断变化的结论常混在持续增长的交互历史（History）中。

在超长语料下，隐式状态管理可能带来两种会相互强化的问题：

• 无界探索（Unbounded Exploration）：检索不断扩展交互历史，却未必能填补直接影响答案的信息缺口，最终可能耗尽交互步数或 Token 预算。

• 证据状态漂移（Evidence-State Drift）：早期捕获的关键证据或后续发现的数据修正，在海量对话历史中被稀释或遗忘，导致模型在最终决策时依然采用过时、未修正甚至错误的证据。

论文主要贡献点分析

• 主要创新点：

◦ 新范式表述：将语料级超长上下文推理概括为证据生命周期管理（Evidence Lifecycle Management），把证据的收集、校验、维护与更新纳入推理过程。

◦ LongHarness 框架：提出与模型底座无关（Model-agnostic）的智能体架构，引入持久化解耦状态：证据银行（EvidenceBank）与结论状态（Conclusion State）。

◦ 证据-结论协同演化（Evidence–Conclusion Coevolution）：根据未决信息缺口（Unresolved Gaps）安排后续检索，再用新证据检查和修正已有推论。

◦ 可追溯的证据生命周期管理：证据条目使用不可变 ID，并关联已登记的来源片段；系统支持主动修正、替换与撤销，文档环境保留来源字符偏移。

• 关键技术与方法：

◦ 双向协同演化回路：逻辑推断与来源证据分开维护。缺口导向探索（）负责找证据，证据驱动推论修正（）负责更新结论。

◦ 状态化操作集：设计 Search、Read、Upsert、Revise、Compute、Final 等操作；控制器检查操作格式、来源引用是否已登记及预算约束，证据陈述是否忠实于来源仍由智能体判断。

• 显著性结果：

◦ 在约 1 亿 Token 的 OfficeQA Pro V1 上，LongHarness 搭配 GLM-5.3-Flash 实现 60.2% 的 Exact Match（完全匹配率），高于同底座直接推理的 15.8%；在语料扩展至 1,435 份文档、问题更强调跨来源组合的 OfficeQA Pro V2 上，分数从 4.4% 提升至 61.1%。

◦ 在完全相同的底座模型对比下，LongHarness 在 OfficeQA Pro V1 上超越 Claude Code 达 12.0 个百分点，在 V2 上超越 OpenAI Codex CLI 达 18.9 个百分点。

理解难点识别

• 证据与推论的解耦维护：如何将来源陈述与逻辑推断分开表示和更新，同时保留显式来源引用。

• 协同演化的双向推进机制：未解推论缺口如何转化为具体检索指令，新进入的证据如何触发依赖链的级联评估。

• 受控生命周期管理：证据条目如何在保持不可变 ID 的同时完成修正（Revise）、替代（Superseded）与撤回（Retracted），并让控制器拒绝引用非活动条目。

全文围绕两个概念展开：证据-结论协同演化（Evidence–Conclusion Coevolution）与状态化证据银行（EvidenceBank）。

概念依赖关系

底层是智能体与文档环境的搜索和阅读交互；支撑层是证据银行（EvidenceBank），用于持久保存带来源的陈述并管理其生命周期；逻辑层是结论状态（Conclusion State），记录当前结论与未解缺口；证据-结论协同演化（Coevolution）让缺口引导后续取证，也让新证据推动结论更新。

第二阶段：深入解释核心概念

设计生活化比喻：重案刑警的“物证白板”与“案情推理本”

设想一名刑警队长正在侦办一起涉案卷宗堆满几个仓库的特大金融犯罪案（对应 100M-Token 超大语料）。

如果刑警队长只带一支录音笔（对应 Agent 线性累加的交互历史），账本摘录和个人分析都会混在同一份记录里。记录越积越长，线索就越难找，查卷也容易失去方向（无界探索）；先前记下的金额即使被新证据纠正，旧值仍可能影响结案判断（证据状态漂移）。

LongHarness 为刑警队长配备了一面结构化物证白板（EvidenceBank）与一本案情推理本（Conclusion State）：

• 物证白板：张贴带有来源编号和位置标记的证据陈述，每一条都有固定 ID。若后续查明某条陈述需要修正，不直接改写旧条目，而是将其标记为“已替代”，再加入修正版。

• 案情推理本：只梳理逻辑链条，划分为“已证实事实”、“推测假说”与“待查谜团（缺口）”。

• 协同办案机制：队长根据推理本上的待查问题寻找卷宗，再用新证据更新推理本。对应到 LongHarness，证据库更新后，智能体会先看到更新结果，再在后续交互中调整结论状态。

建立比喻与实际技术的对应关系

• 成百上千箱卷宗 对应 外部文档环境 （100M-Token Corpora）。

• 录音笔的流水账录音 对应 线性交互历史 （Interaction History）。

• 物证白板 对应 证据银行 （EvidenceBank）。

• 红标签作废与张贴修正版 对应 证据生命周期管理（Evidence Lifecycle: Upsert / Revise / Supersede / Retract）。

• 案情推理本 对应 结论状态 （Conclusion State）。

• 根据待查问题定向调卷并修正案情 对应 证据-结论协同演化（Evidence–Conclusion Coevolution）。

深入技术细节

智能体策略与环境交互模型

策略生成动作与候选结论更新的原版公式为：

符号替换版本： 第  步的工具动作和候选结论更新 ，由大模型策略分布  根据以下信息生成：

• 用户提出的原始问题 

• 包含层级结构的文档导航图 

• 当前持久化状态集合 

• 当前剩余的交互与阅读预算 

文档环境状态与观察结果演进的原版公式为：

符号替换版本： 下一步的环境状态和返回给智能体的观察结果 ，由环境转移函数  根据以下信息生成：

• 当前环境状态 （包含已登记的来源片段、证据条目及其生命周期状态、资源计数）

• 智能体选定的操作动作 

证据-结论协同演化机制

双向演化过程的形式化表达原版公式为：

符号替换版本： 新激活的证据集合  智能体根据结论状态  中的未决缺口，在文档集  中检索并将相关片段写入证据库的过程 。

更新后的结论状态  智能体根据新激活的证据集合 ，重新检查既有结论和信息缺口的过程 。

技术实现的关键步骤：

• 第一步：缺口提炼与定向探测：从  的 unresolved 列表中挑出最可能影响答案的缺口，再搜索相关文档、阅读所需段落并登记来源引用。

• 第二步：原子化准入（Upsert）：控制器先确认来源引用已由 Read 操作登记，再给获准陈述分配不可变 ID，并将其标为 Active。陈述是否忠实于来源，仍由智能体判断。

• 第三步：版本更迭与作废（Revise）：面对冲突或勘误数据，调用更新指令，将历史条目标记为 Superseded 或 Retracted，禁止其参与下游计算。

• 第四步：结论回溯与重校：看到证据变动结果后，智能体再更新  中的 established、hypotheses 与 unresolved。

• 第五步：受控计算与提交：Compute 检查请求声明的证据 ID 是否有效，然后执行确定性数值表达式。智能体还要核对表达式中的数值是否与来源相符，最后通过 Final 提交答案和引用。

将技术细节与比喻相互映射

• 公式中的动作与状态交互 体现为队长对照白板和推理本，在排查工时限制下，决定是前往仓库取证，还是在白板上贴发票，亦或是在推理本上更新涉案定论。

• 双向协同演化公式 体现为队长根据推理本中的待查问题寻找账本（），再用白板上新取得的证据更新案情判断（）。

• 比喻的局限性：LongHarness 会登记 Read 返回的来源片段，并用字符偏移定位文本。Compute 能确定性地执行数值表达式，但控制器不会核对表达式中的数字是否与引用来源一致。

总结

刑警的白板和案情本说明了 LongHarness 的基本做法：证据与结论分开维护，由未决缺口引导检索，再通过生命周期操作更新证据状态。作者希望借此减少大规模语料中的无目的检索，并让后续判断依据当前有效的证据。

第三阶段：详细说明流程步骤

论文用 OfficeQA Pro V1 的一道题展示证据管理如何影响计算：求 1942 年 3 月至 1948 年 10 月共 80 个月财政支出的几何平均数。图 4 和附录 E 对比了 Codex 与 LongHarness 的运行轨迹。下面依照论文披露的过程说明。

1. 状态与环境初始化

• 环境初始化：

◦ 输入用户问题 、包含 697 份财政部文档、约 100M Token 的 V1 语料库 ，以及文档映射 。检索块以段落为基础；超长段落会被拆分为最多约 1,024 个估算 Token 的块，并保留来源字符偏移。

◦ 初始化持久状态容器：证据银行 ，结论状态 （内部包含 established: []、hypotheses: []、unresolved: []），历史序列 。

◦ 配置资源计数器：总交互轮数上限 200 步，检索调用上限 60 次，累积阅读 Token 预算 1,000,000。

• 输入装配输出：

◦ 系统指令、任务规格、、 和剩余预算组成初始上下文，交给大模型策略 。

2. 结论缺口定义与定向检索

• 处理输入：接收初始装配上下文。

• 执行逻辑：

◦ 智能体从结论状态中挑出可能影响答案的未解缺口，再用 Search 查找相关文档或段落。

• 输出传递：

◦ Search 返回排序后的候选位置和导航片段，供智能体继续查找来源；这些片段本身不能作为证据引用。

◦ 这一步没有修改证据，控制器将候选结论  合并到 。

◦ 检索结果记入 ，状态更新为 。

3. 边界阅读与溯源句柄注册

• 处理输入：接收  及检索返回的文档路径列表。

• 执行逻辑：

◦ 智能体选择候选位置执行 Read，查看原文。

• 输出传递：

◦ 环境把所选区间的完整纯文本返回给模型。

◦ 返回文本时，环境也登记来源引用并更新累计阅读预算。之后写入 EvidenceBank 的条目必须引用 Read 已登记的来源片段。

4. 证据原子化准入（Upsert）

• 处理输入：模型在读入文本中发现 1942 年 5 月的支出记录为 4400 百万美元。

• 执行逻辑：

◦ 图 4 中，LongHarness 记录 1942 年 5 月支出为 4,400 百万美元。智能体通过 Upsert 保存这条带来源引用的陈述，控制器检查来源是否已由 Read 登记。

◦ 检查通过后，证据银行为陈述分配唯一且不可变的 ID（如 ），并将状态设为 Active。

• 输出传递：

◦ 通过检查的陈述以不可变 ID 写入 EvidenceBank，状态为 Active；结果会返回给智能体。

◦ 由于本轮修改了证据，控制器不会同时合并不确定的结论更新。新状态为 ，其中 。

5. 结论状态基于证据的主动演化

• 处理输入：接收包含  成功准入反馈的状态 。

• 执行逻辑：

◦ EvidenceBank 更新后，智能体先查看结果，再在后续交互中修改相关结论和缺口。

• 输出传递：

◦ 控制器将  写入持久状态 。结论要由智能体在后续交互中调整，控制器不会自动改写依赖旧证据的内容。

6. 证据显式修正与作废（Revise）

• 处理输入：图 4 展示的 LongHarness 轨迹保留了 1942 年 5 月的 4,400 百万美元数值，并修订了另外两项：1943 年 7 月由 7,199 改为 7,499，1945 年 1 月由 8,112 改为 8,142。

• 执行逻辑：

◦ Revise 用新条目替换旧条目：旧 ID 标记为 Superseded，新 ID 设为 Active；如果撤回且没有替代项，旧条目则标为 Retracted。

• 输出传递：

◦ 变更结果会返回给智能体，由它在后续交互中更新受影响的结论。控制器不会自动重写依赖旧证据的结论。

7. 受控确定性计算（Compute）

• 处理输入：智能体汇总相关证据，并核对仍未解决的问题。

• 执行逻辑：

◦ LongHarness 用 Compute 执行确定性数值表达式，请求中还需列出支撑计算的有效证据 ID。

◦ 控制器检查这些证据 ID：

◦ 检查是否存在 Superseded 或 Retracted 条目（若存在则直接报错阻断）；

◦ 确认所有 ID 都处于激活状态。

◦ LongHarness 在这个案例中算得 4,962.46 百万美元。控制器会检查请求所列证据 ID 是否有效，却不会核对表达式中的每个数字是否与引用来源一致。

• 输出传递：

◦ 计算结果返回给智能体，并记入交互历史。

8. 终局提交与溯源校验（Final）

• 处理输入：智能体依据当前结论和证据准备提交答案。

• 执行逻辑：

◦ LongHarness 提交 4,962.46 百万美元的答案及有效证据引用。

◦ 控制器最后检查协议要求：

◦ 验证输出格式符合题目要求的精度与单位规范；

◦ 确认提交的来源引用能解析到有效证据及其来源文本。

• 输出传递：

◦ 在这个案例中，LongHarness 用 10 个策略动作得到参考答案 4,962.46 百万美元。

第四阶段：实验设计与验证分析

1. 主实验设计解读：核心论点的验证

• 核心主张：作者检验显式证据生命周期管理与证据-结论协同演化，能否在大规模语料问答中减少无界探索和证据状态漂移，并提升答案准确率。

• 基准数据集与合理性：

◦ OfficeQA Pro（V1 与 V2）：V1 包含 697 份美国财政部文档、约 100M Token；V2 扩展至 1,435 份文档，并包含更多需要组合不同来源数值的问题。题目不提供对应的黄金文档，系统需自行查找来源。

◦ AA-LCR-1.1 与 LongBench v2（Long 组）：覆盖给定长上下文中的多类推理任务，用于补充检验方法在不同评测设置下的表现。

• 评价指标与公正性：

◦ Exact Match (Ex.)：完全匹配率；答案数值和要求格式都与参考答案一致才计为正确。

◦ Accuracy within 5% (@5%)：结果与参考答案的相对误差不超过 5% 即计为正确，作为 Exact Match 之外的容差指标；该指标本身不判断错误发生在哪个推理阶段。

• 基线设置：

◦ 直接推理基线包括 Gemini-3.8-Flash、DeepSeek-V4、GPT-5.6、Kimi-K3 等模型。OfficeQA Pro 的直接推理先用 BM25 检索片段，再将片段放入 256K-token 上下文窗口；

◦ Harness 对比包括 Codex、Claude Code 与 RLM。各方法在对应对比中使用同一底座模型，论文报告 GLM-5.3-Flash 和 Qwen3.8-Flash 两组结果。

• 实验结果与支撑力：

◦ 表 1 中，直接推理基线在 OfficeQA Pro V1 上的最高分为 23.2%（Kimi-K3），V2 上的最高分为 5.6%（GPT-5.6-Sol）。在论文测试的设置中，BM25 预筛选和固定上下文窗口仍未能解出大部分题目。

◦ 在 GLM-5.3-Flash 这组对比中，LongHarness 的 V1 Exact Match 为 60.2%，V2 为 61.1%；Claude Code 分别为 48.1% 和 35.6%，Codex 分别为 46.6% 和 42.2%。这些数字只对应论文采用的基准、底座和实验设置。

◦ 换用 Qwen3.8-Flash 后，LongHarness 在 V1 和 V2 的 Exact Match 分别为 61.7% 和 51.1%；相对最强对照的领先幅度分别为 8.3 和 1.1 个百分点。在 AA-LCR 上，两种底座对应的分数为 84.0% 和 87.0%；在 LongBench v2 Long 子集上为 75.9% 和 76.9%。四个评测设置的平均 Exact Match 分别为 70.3% 和 69.2%。

◦ 主表里的 Harness 对比每种设置只运行一次；附录 D 另列出 GLM-5.3-Flash 在四个评测设置下的三次运行结果。

2. 消融实验分析：内部组件的贡献

作者在表 2 中基于 GLM-5.3-Flash、在 OfficeQA Pro 上比较了 5 种消融设置，以观察各设计机制对结果的影响：

• 移除持久状态（w/o Persistent States）：

◦ 剥离 EvidenceBank 与 Conclusion State，退化为仅依靠对话历史的通用智能体。

◦ V1 准确率下降 4.5 个百分点，V2 下降 7.8 个百分点。就这组实验而言，显式持久状态带来了额外收益。

• 移除协同演化回路（w/o Evidence–Conclusion Coevolution）：

◦ 保留 EvidenceBank，但移除 Conclusion State 及其对检索的主动反馈引导。

◦ V1 准确率下降 5.3 个百分点，V2 下降 9.4 个百分点。这一消融结果支持结论状态及其检索反馈在该设置中的作用。

• 天真证据累加（Naive Evidence Accumulation）：

◦ 证据银行仅支持 Append-only 追加写入，剥离 Revise 与作废功能。

◦ V1 下降 3.8 个百分点，V2 下降 10.0 个百分点（从 61.1% 降至 51.1%）。V2 的问题更强调跨来源组合；这组结果说明，可修订、可撤回的证据在该设置中有帮助。

• 移除显式缺口引导指令（w/o Explicit Conclusion-Guided Exploration）：

◦ 保留双状态结构，但在系统提示中去掉根据推论 gap 制定搜索策略的指令。

◦ V1 与 V2 分别下降 4.5 与 7.8 个百分点，显示显式缺口引导策略在该设置下有作用。

• 退化为非结构化工作笔记（Generic Working Notes）：

◦ 保留 EvidenceBank，但将结构化三元结论清单替换为自由编辑的自然语言草稿本。

◦ V1 准确率下降 6.8 个百分点，V2 下降 7.8 个百分点。在这项实验中，结构化结论状态优于同样记录结论、未解问题和证据引用的自由文本工作笔记。

3. 深度实验剖析：洞察方法的内在特性

• 三级证据流水线审计（Evidence Pipeline Audit）：

◦ 实验目的：判断各 Harness 的错误主要发生在哪一环：没有检索到证据、没有在最终决策中正确保留或调和证据，还是答案转换出错。

◦ 实验设计：作者使用 GPT-5.6-Luna、温度设为 0，审查错误轨迹中的证据检索、证据采纳和答案转换情况，并计算各阶段成功率：

◦ 实验结论：表 3 中，OfficeQA Pro V2 的 LongHarness 阶段成功率为 、、，分别比表中最强对照高 11.1、2.7 和 9.3 个百分点。、 以通过前一阶段的样本为条件计算；每个 Harness 在每个 split 上只运行一次，所以这些数字描述的是被分析的运行轨迹。

• 交互步数分布与资源消耗分析：

◦ 实验目的：比较 OfficeQA Pro V1 与更大、包含更多组合问题的 V2 中，各 Harness 的交互轮数分布如何变化。

◦ 实验设计：统计各 Harness 在 V1 与 V2 下的交互轮数核密度估计曲线及中位数变化（图 3）。

◦ 实验结论：从 V1 到 V2，Claude Code 的交互轮数中位数由 21 升至 116，Codex 由 19 升至 43，LongHarness 由 22 升至 30；Codex 在 V2 有 21.1% 的题目用尽了记录中的模型轮数预算。作者认为，持久证据和未解缺口可能减少重复查找，从而让 LongHarness 的轮数增幅较小；论文没有单独验证这一因果解释。

• 典型案例手术式对比（Case Study）：

◦ 实验目的：展示证据状态漂移如何影响真实运行中的最终答案。

◦ 实验设计（图 4 与附录 E）：比较 Codex 与 LongHarness 计算 80 个月财政支出几何平均数时的运行轨迹。

◦ 实验结论：Codex 在前 22 次命令调用中找到了相关表格，之后又向前回读了 103 次；计算时把 1942 年 5 月记为 4,100，得出 4,958.09。它后来发现修正值 4,400，却仍沿用旧计算结果。这个答案的相对误差约为 0.088%，因此没有通过 Exact Match，但通过了 5% 容差指标。LongHarness 则记录并核对 4,400，修订了 1943 年 7 月和 1945 年 1 月两项数据，在 10 个策略动作后得到参考答案 4,962.46。

本文题目：LongHarness: Advancing Agentic Reasoning over 100M-Token Corpora via Stateful Evidence Management