夜雨聆风学习资料网

ARTICLE · 1399685

读 PDF,该先装快的那一个还是准的那一个

读 PDF,该先装快的那一个还是准的那一个

QUOTE

同一份文件,一个 0.65 秒,一个30.74 秒。差的不只是速度。

做 agent 常要先读 PDF。论文、报表、合同进来,第一步都是把文字取出来。

这一步选错库,后面全是补救。速度慢,批量任务拖成小时。表格散了,数字对不上。

今天只测两个最常见的 Python 库。PyMuPDF 和 pdfplumber,同一台机器,同一份文件。

版本都取当天能装到的最新版。PyMuPDF 是 2.1,pdfplumber 是 0.11.11,Python 是 3.12。

两份文件各跑三遍,取中位数。只用最基础的取文本与找表格写法,不调参数。

本文看点

01

同一场景

02

两方结果

03

适用人群

01

SCENE

同一场景,测什么

第一份是 361 页的英文论文,1.6MB,纯文字版面,带少量表格。

第二份是 4 页的中文表格文件,WPS 生成,整页几乎全是表格。

安装都是一行命令。pip install pymupdf,pip install pdfplumber,各装各的,不冲突。

测法很简单。全文取文本,计时,数字符数。再找表格,看默认设置能认出几个。

表格文件另看总行数。行数越少,表格结构保得越完整,碎成单字的情况越少。

扫描件不在这次范围里。两个库都不自带万能识别,扫描件要另加识别步骤。

02

RESULT

两方结果与代价

361 页那份,差距拉得很大。PyMuPDF 中位 0.65 秒,pdfplumber 中位 30.74 秒。

换算下来,差距约 47 倍。批量跑一百份,一边一分钟出头,一边接近一小时。

表格文件上,差距还在。PyMuPDF 中位 0.05 秒,pdfplumber 中位 1.76 秒,约 35 倍。

0.65 秒

PyMuPDF · 361 页耗时中位

30.74 秒

pdfplumber · 同文件耗时中位

项目
PyMuPDF
pdfplumber
361 页耗时中位
0.65 秒
30.74 秒
361 页取出字数
834492 字
838698 字
表格文件耗时中位
0.05 秒
1.76 秒
表格文件取出总行数
1607 行
355 行

字数上,两边接近。361 页那份,PyMuPDF 取出 834492 字,pdfplumber 取出 838698 字。

差 4206 字,不到百分之一。但 pdfplumber 的样本里出现未解码的字符占位,个别字会丢。

表格文件里,行数差得很开。PyMuPDF 取出 1607 行,pdfplumber 取出 355 行。

PyMuPDF 的行碎了。表头被拆成单字,读起来是字,不成句。pdfplumber 的行保住了表头结构。

找表格的结果要分开看。表格文件第一页,两边都认出 1 张表,都是 13 行 18 列。

1

速度差来自引擎。PyMuPDF 底层是 C 写的 MuPDF,pdfplumber 走纯 Python 的 pdfminer,路径本就不同。

2

表格要看默认设置。论文前 5 页,PyMuPDF 认出 4 张,pdfplumber 认出 0 张,调参后可能不同。

3

字数差很小,结构差很大。两边字数差不到百分之一,行数却差了 4 倍多,表格文件上尤其明显。

论文前 5 页,PyMuPDF 认出 4 张表,pdfplumber 默认设置下认出 0 张。

结论要留余地。它的表格策略可以调,默认设置对无框线表格不敏感,调参后可能不同。

代价也要算进去。PyMuPDF 快,代价在许可证上。pdfplumber 慢,代价在时间上。

03

AUDIENCE

适用人群

只跑全文取文本,选 PyMuPDF。批量入库、全文检索、喂给模型做摘要,速度就是成本。

只要表格数字,选 pdfplumber。报表、发票、目录表,先在表格页上用它,别的页再换快的。

两个都用的做法也常见。先用快的跑全文,再用慢的只跑含表格的页,各取所长。

闭源产品要先看许可证。PyMuPDF 是 AGPL 第三版,对外服务或闭源发行要评估商业许可。

pdfplumber 是 MIT 许可证,商用限制少。内部工具不对外,这一条可以先放一边。

先拿自己的文件跑一遍,再定装哪一个。

∞

THE END

推荐与动作

「我的判断是,先定你要的是全文还是表格,再定装哪一个。」

全文优先,装 PyMuPDF。表格优先,装 pdfplumber。两个都要,先快后慢分开跑。

动作只有一个。拿自己最常见的那份 PDF,各跑一遍,计时,对一行表格,再定。

别只看星数定。两个库都过万星,星数分不出胜负,自己的文件才能分。

END

如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料