我们只需要做一步操作就可以,那就是文档解析,将文档解析成AI更容易理解的文档即可。
今天分享一个受众比较多的开源项目——MinerU。
MinerU 是什么?
MinerU 是一个面向 LLM、RAG 和 Agent 场景的开源文档解析引擎。
它可以将 PDF、Word、PPT、Excel、图片等各种文档,转换成 Markdown、JSON、HTML、LaTeX 等更加适合 AI 和程序处理的结构化数据。
MinerU 有哪些核心能力?
mineru从最开始单一的PDF转Markdown,到现在作为一个支持AI工作的开源文档引擎,还是有不少核心能力的。
- 复杂版面解析
它可以识别标题、正文、图片、表格等常见内容,并且尽可能的保障了内容的呈现顺序,对于论文、技术文档、研究报告等复杂 PDF效果显著。
- 数学公式识别
PDF 中的数学公式可以转换成 LaTeX。这样对于公式内容,AI理解更清晰,处理起来就更好。
- 表格识别
复杂表格可以转换成结构化内容,例如 HTML 等格式。对于论文、财报、产品规格书等文档非常实用。
- OCR
有了OCR功能,文档中图片内容也可以很方便的转换成文字,用于AI处理。
- 多语言支持
目前MinerU已经支持了109种语言,所以对内容的支持力度更强了。
MinerU支持哪些转换?
MinerU现在更新到3.x版本了,从早期PDF到Markdown的转换工具,已经覆盖支持:
PDF DOCX PPTX XLSX 图片 网页 …
以上多种格式文档了,所以使用MinerU来做AI文档解析支持个人认为还是非常不错的。
项目地址
https://github.com/opendatalab/MinerU
官方在线应用
https://mineru.net/OpenSourceTools/Extractor?source=github
Demo体验地址
https://www.modelscope.cn/studios/OpenDataLab/MinerU
https://huggingface.co/spaces/opendatalab/MinerU
最后
以前都在讨论哪一个模型更强,但是随着AI的发展,其实大家不难发现常见的各大AI模型,对于大多数人来说不存在太明显的差距,所以我们更应该关注如何让AI模型发挥得更好,而不是换模型。
而本次分享的工具就是能够让AI发挥得更好的工具之一,有兴趣的可以进一步了解了解。
当然如果各位还有更多更好的工具,也欢迎大家随时留言、私信交流学习~
往期精彩内容
夜雨聆风