乐于分享
好东西不私藏

3款强大的开源知识库文档解析工具效果对比

3款强大的开源知识库文档解析工具效果对比

最近刚好在做企业级知识库系统构建,顺带测试了几款强大的开源文档解析工具,目标初步限定为paddleocr,minerU,和LiteParse。
先看总体对比:
表格中为官方介绍,但是有一些不太准确,比如PaddleOCR 也是支持 office文档的。
MinerU 解析文档的速度可能完全达不到200页每分钟,实际上在一般的显卡电脑上一个10多页的扫描 pdf 可能耗时10多分钟。
paddleOCR也一样。
如果就速度比较的话,LiteParse的确是快,但是质量就不保证了,因为对于OCR 扫描文档,如果不开启ocr功能的话,可能一个字都识别不了。
MinerU 和 paddleOCR 特别消耗显存,它们适合单文档精雕细琢的处理。
但是 MinerU 和 paddleOCR 在识别质量上也有区别。
下面通过几个例子来对比测试。
识别截图
用LiteParse解析不到1秒,但是结果是这样的:
解析的标题头丢失了,这样解析后的数据就废了。
再来看看MinerU 花费 55秒的结果:
干干净净而且还保留了表格的样式。
再来看看PaddleOCR 花费 20 秒的结果:
处理Excel报表数据
比如这样的excel报表,包含了多个sheet:
用MinerU 20秒 解析的结果:
完美对应,并且支持多个sheet 的解析。
用PaddleOCR 2秒出结果:
多个sheet 之间的分割,比MinerU更友好一些。
用LiteParse 耗时5.5秒,解析的表头没有对应上:
而且这次LiteParse的速度完全没有跟上Paddle,属于速度翻车异常。
pdf解析
比如下面的30页pdf文档:
用LiteParse 0.2秒解析30页pdf文档:
LiteParse 速度倒是很快,可惜格式错乱。
再看MinerU解析的效果:
用PaddleOCR 2秒出结果:
word文档解析
对这样一篇word 文档:
用MinerU,20秒出结果:
PaddleOCR 2秒出结果:
相比起来 MinerU格式排版要好一些。
而3秒出结果的LiteParse 表现也不错:
最后我们来测试下知识库的检索效果:
最后做一个小结:总体而言,对纯文字类型的文档,如果不太在意格式和排版,LiteParse 无论是速度还是资源占用都完胜其他系统。
如果综合考虑速度与格式、排版、质量,而不是扫描文档,使用PaddleOCR是最佳选择。
如果是扫描文档,优先MinerU,其次是PaddleOCR。因为后者占用资源可能会导致系统崩溃。
最后,如果你不知道怎么选,这个系统已经将多种解析工具整合为智能解析工具,它会根据文档内容类型,自动路由最合适的解析工具:
关于本系统的详细介绍可以参看:

https://my.feishu.cn/wiki/WkDQwyqgeiZ5yfk2CKnclbDBn8f