夜雨聆风学习资料网

ARTICLE · 1004474

文档解析做不好,问答效果就会跟着变差?——拿一份243页银行年报,在ChatDOC里一步步实测

文档解析做不好,问答效果就会跟着变差?——拿一份243页银行年报,在ChatDOC里一步步实测
FIELD NOTES · 实测手记2026.09

知识库一问表格数字就翻车?拿 243 页银行年报在ChatDOC 里六问实测、逐题溯源——表格在入库前就坏了,附十秒自测法。

01

PART

问题:知识库答得时灵时不灵

THE PROBLEM

上个季度帮朋友搭了一套知识库问答,用的是最常见的方案:文档丢进去,切块、向量化、检索、生成,一条龙全有现成组件。演示的时候挺顺利,真用起来就不对劲了——

  • 问“2024 年营业收入多少”,答得又快又准;
  • 问“拨备覆盖率多少”,答案出来了,数字却是上一年的;
  • 问“关注类贷款迁徙率”,一本正经地回了一句“报告中未披露该指标”。

翻原文,指标明明就在第 10 页的表里躺着。

时灵时不灵比全挂更难受。全挂说明方案错了,推倒重来就是;时灵时不灵,你不知道该怀疑检索、怀疑模型,还是怀疑自己文档没传对。排查到最后,问题出在最不起眼的一环:文档解析。

这篇文章就只聊这一环,而且不空谈原理——我拿一份 243 页的真年报,先把最要命的一张表拆开给你看坑在哪,然后带你打开 ChatDOC,把同一套坑题一步步实测一遍。

02

PART

先把这份年报拆开:知识库看到的,和你看到的不一样

ANATOMY · 解剖一张跨页表

上一节说问题出在解析。解析到底在解什么?不用讲原理,拿这份年报第 9~10 页的一张表,当场解剖。

这张表叫「补充财务指标」,从第 9 页页尾跨到第 10 页,五个列头:监管指标、监管标准、2024年12月31日、2023年12月31日、2022年12月31日,二十来行监管数据。用眼睛看,它是一张排得整整齐齐的表,拨备覆盖率 389.35、关注类贷款迁徙率 52.60,扫一眼就能对上号。

但知识库拿到的不是这张表,是文本。不是这张表,是文本。PDF 抽成纯文本之后,这一带长这样:

...PDF TEXT

四、补充财务指标

监管指标 监管标准 2024 年 12 月31 日 2023 年 12 月31 日 2022 年 12 月31 日

资本充足率(%) ≥10.75 15.32 15.01 15.18

一级资本充足率(%) ≥8.75 11.03 11.01 10.71

核心一级资本充足率(%) ≥7.75 9.84 9.64 9.75

流动性比率(本外币)(%) ≥25 94.09 84.28 73.21

流动性覆盖率(%) ≥100 190.00 244.48 179.11

存贷款比例(本外币)(%) 不适用 79.48 78.98 79.79

不良贷款比率(%) ≤5 0.76 0.76 0.75

            宁波银行股份有限公司2024 年年度报告

10

拨备覆盖率(%) ≥150 389.35 461.04 504.90

贷款拨备率(%) 不适用 2.97 3.50 3.79

正常类贷款迁徙率(%) 不适用 3.17 2.10 1.65

关注类贷款迁徙率(%) 不适用 52.60 59.62 54.95

次级类贷款迁徙率(%) 不适用 82.79 85.82 84.15

对着这段东西,坑一个一个指给你看。

 表先被跨页斩成了两半 

表头“监管指标 监管标准 2024年12月31日…”留在第 9 页末尾,从“拨备覆盖率”往后的数据在第 10 页,中间还横着页眉和页码。人翻页是无感的,可是在文本流里,这就是一处永久性骨折——除非解析专门把它接回来。

 更要命的是列名和数据分了家 

单看这一行:关注类贷款迁徙率(%) 不适用 52.60 59.62 54.95 三个年份的数并排躺着,而“哪列是 2024 年”这个信息只在表头里,表头在上一页、还隔着一行页眉。模型拿到这行,取 52.60 还是 59.62,只能靠猜。猜错了,就是第一节那个“答案出来了,数字却是上一年的”;运气再差一点,检索压根没对上号,就回你一句“报告中未披露该指标”。

 页眉是埋在正文里的检索污染源 

表格正中间插着“宁波银行股份有限公司2024 年年度报告”,这句话带着“宁波银行”“2024”“年度报告”——几乎任何提问里都会出现的词。混着它入库,无关的块也容易被捞上来。

 切块在外面还补一刀 

知识库不会整篇存文档,要切块,500 字符一块是常见的默认值。这张表二十来行,正好挨几刀:有的块是半张表,有的块是表尾接下一段正文,切点落在行中间时,还会出现开头就是一串裸数字的块——指标名留在上一个块里。

同一张表,解析做对了应该是什么样——表头跟着数据走、跨页的两半接上、页眉页脚剥掉——这个不空口说,第四节实测里看它做没做到。

那自己写解析规则行不行?剔页眉、按表格行还原、跨页拼接,每一条都不难写。难的是坑的类型数不完:折成两行的长指标名、没有表头特征的表、扫描件噪声,每一种都得单独写逻辑去哄。解析这件事,做到 80 分不难,难的是每一分都要拿真实文档喂出来。

所以这次我不自己造轮子了,直接测专业选手 挑的是庖丁科技的 ChatDOC(庖丁解文)。选它有个硬理由:这家公司是做文档解析起家的,他们基于多模态大模型的解析模型 OCRFlux 已经开源,是这个方向的全球先行者,累计下载量超过 50 万次,连 DeepSeek 的 OCR 报告都拿它做对比引用——解析这道题,他们天天在做。

下面进入实操。每一步都给了截图,你手里有任何长 PDF 都可以跟着做。

03

PART

实测准备(三步)

SETUP · 三步开考

STEP 1下载测试文档

浏览器打开巨潮资讯网(www.cninfo.com.cn),搜“宁波银行 2024 年年度报告”,下载 PDF,243 页。

你也可以用自己手里的任何长文档。我特意选银行年报,是因为它集齐了知识库问答最容易翻车的所有元素:长、表格密、跨页表多、无框线表多。拿重灾区当考场,成绩才有说服力。

STEP 2打开 ChatDOC

官网 https://paodingjiewen.com ,点右上角“立即使用”(或直接访问 chatdoc.site/chatdoc/),手机号注册登录。

STEP 3上传年报,等解析

把 PDF 直接拖进上传框。243 页的文档,解析大概一两分钟,完成后界面左侧是文档、右侧是对话框,直接开问。

  • 你可以自己先选一个问题向它提问。
6

考卷:六道题

先放考卷 · 逐题核对

QUIZ

问题不是我随手编的,每道都冲着一个“文档结构考点”去。先放考卷,标准答案来自我逐页核对过的原文:

#
提问(原样输入)
考点
标准答案
Q1
宁波银行2024年营业收入是多少
基线·正文事实
66,631 百万元
Q2
2024年末拨备覆盖率是多少
跨页·无框线指标表
389.35%
Q3
制造业贷款的不良贷款率是多少
无框线·行业分布表
0.31%
Q4
五级分类中关注类贷款金额是多少
无框线·五级分类表
15,203 百万元
Q5
关注类贷款迁徙率是多少
无框线·迁徙率行
52.60%
Q6
2024年第四季度营业收入是多少
多列·分季度表
15,878 百万元

其中 Q2、Q5 考的就是第二节解剖的那张补充财务指标表——一个在跨页的下半截,一个在三个年份并排的行里。

04

PART

六问逐题实测

THE TEST · 逐题核对

Q1

营业收入(基线题)

基线 · 正文事实

BASELINE

输入框原样输入:“宁波银行2024年营业收入是多少”。答 66,631 百万元即过。这题朴素解析也能答对——基线题的意义就是先确认及格线在哪,顺便熟悉一下问答界面。

注意

这里的换算是完全对等的,并且它还会标出具体所在的位置来让你验证!

Q2

拨备覆盖率(跨页无框线表)

跨页 · 无框线指标表

CROSS-PAGE

输入:“2024年末拨备覆盖率是多少”,标准答案 389.35%。

重点看两处:

 数值是不是 2024 列 

这张表三个年份并排:2024 年 389.35,2023 年 461.04,2022 年 504.90。答成 461.04 不是错数,是串列——上一节已经把这种错的成因拆给你看了。

 溯源能不能落到那张跨页表上 

点开回答的引用/角标,看跳转的位置对不对。朴素解析就是在这里把表头和数据切散的。

Q5

关注类贷款迁徙率(本文挂王)

无框线 · 迁徙率行

KEY TEST

输入:“关注类贷款迁徙率是多少”,标准答案 52.60%。

就是第二节那张三个年份并排的表。答案之外,多做一步:在回答里点“52.60%”这个数(或点回答的引用角标),看它跳回原文的位置。理想情况是直接高亮到补充财务指标表里“关注类贷款迁徙率”那一行——而且你能用肉眼核对,它取的是 2024 列的 52.60,不是 2023 列的 59.62。

这一步是整场实测的核心动作 不光看它答没答对,还要看敢不敢让你当场验。

Q3

制造业不良率,加试一道

无框线 · 行业分布表

BONUS

输入:“制造业贷款的不良贷款率是多少”,标准答案 0.31%。

这题考的是一张 20 行的贷款行业分布表。答完顺手加试一道:“教育行业的不良贷款率是多少”(标准答案 5.33%,全表最高)。

为什么要加试?这张表二十来行,如果解析只把半张表喂了进去,问制造业可能碰巧对——那一行恰好被捞到;换个教育行业就露馅。加试题专测一件事:它是真把整张表读进去了,还是碰巧捞到了半张。

Q4/6

快速过

五级分类表 · 分季度多列表

QUICK
  • Q4 输入:“五级分类中关注类贷款金额是多少”(15,203 百万元),考无框线五级分类表;
  • Q6 输入:“2024年第四季度营业收入是多少”(15,878 百万元),考分季度多列表——答成 17,509 就是串到了第一季度列。

05

PART

划词溯源:答对只是及格,眼见为实才是可信

TRACEABILITY · 眼见为实

跑题的时候你可能已经注意到了:上面几乎每一步都在重复同一个动作——点回答里的数字,看它跳回原文哪里。这个动作值得单独拎出来讲。

专业文档问答真正的障碍,从来不是“答不出”,而是“看起来对,但不敢信”。不敢信就得回原文核,而回原文核的成本,取决于溯源做到多细:

 文档级溯源 

告诉你“出自这份年报”。243 页,等于没说;

 段落级溯源 

定位到某一段。表格场景经常不够用——数据在表里,段落边界对不上表格边界;

 细粒度划词溯源 

回答里的任意一个数值都可以点,点了直达原文表格里对应的那一行,高亮给你看。

对做投研、信审、合规的人来说,这个能力比回答速度快慢重要得多。数字错了能当场发现,比对了快但错得隐蔽,值钱得多。

///

END

结语

CONCLUSION

回到标题的问题:文档解析做不好,问答效果就会跟着变差吗?

会,而且是以最阴险的方式——不是全挂,是时好时坏。挂的那几问,根子不在检索和模型,而在切块的刀正好落在哪一行。解析是整条链路里最不起眼的一环,却决定了下游所有环节工作的原料质量。

三种做法,按场景选:

 临时演示、文档简单 

PDF 直接丢,能用,但别对稳定性抱期待——表格一密、年份列一并排,答对答错全看运气;

 文档复杂、想自己掌控 

照结构化解析的思路做预处理(剔页眉、表格还原、按行切块),注意本文列的那几类坑,预算好持续养规则的时间;

 专业文档、要稳定可靠 

把解析和问答交给专门做这件事的工具,自己的精力留给业务侧。

实测用的 243 页年报在巨潮资讯网可下载;文中出现的每张表、每个数,都出自这份公开年报,你可以自己下载来对。

解析是整条链路里最不起眼的一环,却决定了下游所有环节工作的原料质量。

测试文档:宁波银行股份有限公司 2024 年年度报告(巨潮资讯网可下载)

产品体验:ChatDOC 庖丁解文 paodingjiewen.com

相关学习资料