夜雨聆风学习资料网

ARTICLE · 1365626

LLM 在 PDF 抽取上为什么会幻觉:五类典型错误 + 让抽取"可验证"的解法

LLM 在 PDF 抽取上为什么会幻觉:五类典型错误 + 让抽取"可验证"的解法

LLM 在 PDF 抽取上为什么会幻觉:五类典型错误 + 让抽取"可验证"的解法

大多数团队会先做同一个实验:把 PDF 丢给多模态大模型(GPT/Gemini/Claude)+ 一个 JSON schema,让它抽字段。回传是合法 JSON,大部分值也对。 但有几个错得很难抓——因为看起来就像真值:保单号两位颠倒、从上一行搬来的数字、表单留空却给某字段填了个日期。这篇文章讲清这些错误从哪来、为什么提示词和结构化输出挡不住,以及当每个抽取的值都必须指回它在源文件里的位置时,会发生什么。

🎭 文档抽取里的幻觉长什么样

抽取的"幻觉"指:模型返回一个文档里没有依据、却被格式化成"能通过所有 schema 校验"的值。值得测的五类:

失败模式
你看到什么
怎么在测试里抓
填空(Filled blank)
页面明明空着,却给了一个像样的值
空字段在答案 key 里标 null
邻居值(Neighbor value)
从上一行或相邻列拿来的数字
表按行、按列逐格打分
串列(Merged columns)
两列文字被并进一个字段
测试集里加入多列布局
字符篡改(Altered chars)
ID 或日期里某位在格式化时被改
清理空白后按精确字符串比 ID

每一条输出都是合法 JSON、值也合理——schema 校验、类型检查、范围检查全过,错误一路滑到下游,直到人工或对账任务发现。

🧬 为什么通用大模型会犯这些错

语言模型按输入生成"最可能"的 token,在纯 JSON 响应里,"读对的值"和"像样的补全"看起来一模一样。以下条件让"像样的补全"更容易发生:

  • 非空字段
    :类型没有 null 选项时,合法响应必须给值,即便页面没有——schema 本身在推模型去填空;
  • 图片分辨率
    :页面图被缩放适配各家上限(Gemini 文档写明大页 3072×3072 上限),小字、密集单元格到模型时已降质;
  • 扫描件/照片
    :电子原生 PDF 连文件里嵌入的文本一起给到(Claude/Gemini 3);扫描件或手机照片通常没有嵌入文本,模型只能靠读图;
  • 隐式表结构
    :页面图与抽取文本都不显式标注"这个单元格属于哪一行哪一列",模型得每请求都去推断;
  • 无来源 JSON
    :结构化 JSON 里每个值不带"从页面哪块来"的指针,输出里没有任何东西把值和页面区域绑起来。

最后一条在生产里最要命:就算模型读对了值,纯 JSON 响应也让你无法确认它读对了——除非打开文档核对。

⚠️ 为什么提示词、结构化输出、citation 都只解决一部分

提示词和结构化输出改的是响应的"形状",而这些错误住在"内容"里。让模型对缺失字段返 null、把字段设成 nullable,能减少填空——但仍无法告诉你剩下那些值里哪些来自页面。

结构化输出控的是格式。OpenAI 文档直接区分:JSON mode 和 Structured Outputs 都产合法 JSON,只有后者保证遵循你的 schema。schema 只管键和类型,一个格式正确的编造发票号照过。

citation 有两种。你在提示词里让模型"每值加页码或引文",那是生成的文本,会以同样方式出错;而专门的 citations 功能不同——Anthropic 的 Citations 从源文档抽取被引文本、保证每条 citation 指向源里的真实位置。但用在 PDF 上有限制:Citations 只能给页范围+被引文本,和结构化输出不能同时用,且 API 不保证每个字段都有值和 citation。要做"字段级 JSON + 页上精确定位",还得在它之上再补。

🧲 有源抽取(grounded extraction)改变什么

有源抽取把"读文档"和"从文档里抽字段"拆开,并给每个抽取值挂一个指向源位置的结构化引用。流水线两段:

  • 先解析
    :文档变结构化块(文本、表格、表格单元格、图形),每块记录页码和页内位置。
  • 再抽取
    :把 schema 应用到这份解析结果上,每个值带上它出现在哪儿的引用。

因为引用是结构化偏移和坐标,可以在代码里校验。一个流水线能标出"没带引用的值",审阅者也能从值跳到页面的精确区域,而不是翻整份文档。

有源抽取有明确边界:它让值可验证,不消除抽取错误。抽取器仍可能选错块(比如上一行),那个错值仍指向页面上的真实文本;短值(单数字、重复日期)还可能匹配到好几处。它把这些错误变成"看得见、查得快",关键字段仍要靠审阅。

📊 哪些文档 AI 平台把每个值追溯到页

各平台返回的位置精度不同(对照各自官方文档):

  • LandingAI ADE
    :每块有页码 + 归一化边界框 + Markdown 区间;每值有 Markdown 区间(经 Ground API 映射到块);置信度按词(DPT-3 Verity 预览)、DPT-3 Pro 或 Extract 字段无置信度。
  • Amazon Textract
    :每块有含边界框和多边形的 geometry;每块带百分比置信度。
  • Azure AI Document Intelligence
    :每字段有边界区域(页码+多边形)+ 指向内容的字符跨度;每字段在响应里给置信度。
  • Google Document AI
    :每实体有指向文档文本的 text anchors + page anchors;每页面元素有边界多边形;每实体置信度。

挑"重准确与可追溯"的平台,查三件事:每个值是否都带位置;位置够不够精细到一眼可验;值在页面没有直接来源时输出怎么办。

📉 平台怎么"暴露不确定"而不是猜

两种方式:每项带置信度,或显式标"无来源"。Textract / Azure / Google 都返回置信度,可把低分路由到审阅。ADE 第二代在 Extract 上走第二条:字段在源里没值就返 null;值不是照抄文本来的(如计算出的总和)就带 null 源区间;schema 也能把 number/integer/enum 设 nullable,让"缺失"有合法表示。无论哪种信号,先在你自己文档上测,再路由审阅。

🛠️ ADE 怎么实现"有源"

解析输出是一棵树:顶层文档节点 → 每页一个节点 → 检测到的块。共九种块类型(文本、表、单元格、图、旁注、证明/证书、印章、签名、徽标、名片/卡片、条形码/二维码)。每块自带定位:

  • 页码
    :块所在页(从 1 计);
  • 区间
    :块在 Markdown 输出的起止位置,任何文本段都能映射回块;
  • 框
    :块边界框,坐标按页尺寸 0–1 归一,任何渲染分辨率都成立;
  • 原子定位
    :块内更细的位置,DPT-3 Pro 行级、DPT-3 Verity 词级。

表格默认以 HTML 返回,保住合并单元格,每个单元格块记录其行、列、行跨、列跨——直接回应上面的"隐式表结构"问题。

Extract API 把你的 JSON schema 应用到解析出的 Markdown,每个抽取值带回它在 Markdown 里的字符区间,值出现多次可带多个区间。Ground API 把每个抽出的字段连到包含它的解析块,这些块带着页码和边界框。置信度上两代解析模型不同:DPT-3 Pro 不给置信度、靠定位;DPT-3 Verity(预览、面向数字文本)给逐词置信度,可把可疑词送审。

🧪 可对任何抽取工具跑的五步测试

  • 挑难字段
    :挑密集表格中间的值、长文档深页的值。
  • 查有无定位
    :确认输出里每个值都有来源定位(页码+边界框,或解析文本里的位置)。
  • 验定位
    :渲染页面、画框或查文本位置,确认值真在那。
  • 测空字段
    :放一个页面留空的字段,看它返 null 还是一个无有效来源的值。
  • 测计算字段
    :问一个需要算术的值(如页面没印的总和),看它是否标"缺直接来源"。

一个有源工具五连过。 如果某工具定位过不了这些检查,或它的 citation 来自模型自己生成的答案——把它的引用当未验证、按需审。

🏗️ 什么时候自己搭 OCR + LLM 流水线

通用大模型足够用的场景:有人会读每条输出、且偶尔错值代价低(总结文档、答合同一次性问题、从干净单页 PDF 抽几个字段做内部用)。

一旦抽取要进"系统留档"、要无人值守跑、或要扛审计,账就算不过来——自建等于自己写解析、表格重建、来源定位跟踪、审阅路由。替代是那些把这几样直接放到输出里的文档 AI 平台(ADE、Textract、Azure、Google),用上面的五步测试在自己的文档上比一遍最公道。

本文由 LandingAI(ADE 厂商)团队撰写——文中的 ADE 有立场,其余平台按各自官方文档对照。


笔者锐评

这篇最戳政企文档处理的痛点:大模型抽 PDF 的"错"不是大错,而是"看起来完全对"的错——保单号两位颠倒、从上一行借来的值、留空却填了日期,JSON schema 校验全过、类型对、范围对,错就一直滑到下游,直到人手工或对账撞上。"schema 通过 ≠ 值可信",这句话值得写进任何文档抽取的验收口径。

最该抄的两条:① 五类幻觉的测试法(填空、邻居值、串列、篡改、计算字段)+ ② 五步验真测试(挑难字段→查定位→验定位→测空字段→测计算字段)——这套能直接拿来做抽取工具选型/验收的对照清单,比厂商自报准确率可信。③ "有源"是让抽取从"黑箱"变"可审计"的关键:每个值都带页面坐标,一个错值你能一秒跳到源位置看它对不对——这正是政务"系统记录 + 审计"场景的刚需。

冷静提醒:这篇由 Landing(ADE 厂商)作者主笔,对自家 ADE 有推荐倾向;"四家平台能定位值"是事实,但"哪个更准"要你自己拿文档跑五步测试。另外有源不消错误——只让错误"看得见、验得快",该审的重点字段还得审。别把"可定位"当成"不会错"。


求点赞 👍 求关注 ❤️ 求收藏 ⭐️你的支持是我更新的最大动力!

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料