你搭了个知识库,兴冲冲往里导文档——Word报错、PDF乱码、PPT只剩文字。折腾了三小时,最后手动复制粘贴。知识库还没用上,先被"入"给劝退了。
文档格式转换,是每个做知识库、做RAG的人都绕不过的坎。
市面上的转换工具要么收费、要么格式丢一半、要么慢到怀疑人生。直到我发现了这个1153 Star的Rust工具。
6种格式一键转Markdown
用的是纯Rust引擎,比Python方案快一个数量级
它支持Word、PDF、PowerPoint、EPUB、HTML和富文本6种格式,全转成标准Markdown。Rust引擎单线程处理,一个200页的PDF转完不到8秒。用Python的同类库要等两分钟。
最实用的是:它保留了原文档的结构——标题层级、表格、列表、图片引用,全都不丢。这是RAG系统最需要的。
安装一行命令:cargo install md-converter。用法极其简单——md-converter input.docx output.md。支持批量处理整个目录。
如果你在做知识库或RAG系统:→ 用它做文档预处理,输入质量决定检索质量→ 批量转完再用Chroma或Milvus建索引→ 比手动复制粘贴省至少80%的时间
总结文档转换看着不起眼,但做知识库的人都知道——当你有几百份格式不统一的文档要索引,这个工具就是救命稻草。Rust引擎的极致性能,让"批量处理"不是一个按钮,而是一个命令。
夜雨聆风