最近刚好在做企业级知识库系统构建,顺带测试了几款强大的开源文档解析工具,目标初步限定为paddleocr,minerU,和LiteParse。
表格中为官方介绍,但是有一些不太准确,比如PaddleOCR 也是支持 office文档的。
MinerU 解析文档的速度可能完全达不到200页每分钟,实际上在一般的显卡电脑上一个10多页的扫描 pdf 可能耗时10多分钟。
如果就速度比较的话,LiteParse的确是快,但是质量就不保证了,因为对于OCR 扫描文档,如果不开启ocr功能的话,可能一个字都识别不了。
MinerU 和 paddleOCR 特别消耗显存,它们适合单文档精雕细琢的处理。
但是 MinerU 和 paddleOCR 在识别质量上也有区别。
用LiteParse解析不到1秒,但是结果是这样的:
再来看看PaddleOCR 花费 20 秒的结果:
多个sheet 之间的分割,比MinerU更友好一些。
用LiteParse 耗时5.5秒,解析的表头没有对应上:
而且这次LiteParse的速度完全没有跟上Paddle,属于速度翻车异常。
用LiteParse 0.2秒解析30页pdf文档:
最后做一个小结:总体而言,对纯文字类型的文档,如果不太在意格式和排版,LiteParse 无论是速度还是资源占用都完胜其他系统。
如果综合考虑速度与格式、排版、质量,而不是扫描文档,使用PaddleOCR是最佳选择。
如果是扫描文档,优先MinerU,其次是PaddleOCR。因为后者占用资源可能会导致系统崩溃。
最后,如果你不知道怎么选,这个系统已经将多种解析工具整合为智能解析工具,它会根据文档内容类型,自动路由最合适的解析工具:
https://my.feishu.cn/wiki/WkDQwyqgeiZ5yfk2CKnclbDBn8f