乐于分享
好东西不私藏

性能狂飙250倍!爆款开源文档解析器anydoc

性能狂飙250倍!爆款开源文档解析器anydoc

性能狂飙250倍!爆款开源文档解析器anydoc

开源工具 anydoc,专治文档转 Markdown 又慢又脏的痛点。

做 RAG 或大模型数据清洗,第一步就是把各种文档转成 Markdown。以前这活儿特折磨人:要么用 LibreOffice 太吃内存,要么用 Python 库一遇高并发就卡死。

anydoc 是 Firecrawl 团队用 Rust 重写的解析器。它原生支持 14 种格式,号称能把解析时间压到毫秒级。

快在架构:不管输入啥格式,先统一翻译成内部结构,再统一输出 Markdown。表格和缩进优化一次就行。它不认文件后缀,直接读文件头判断类型,不怕传错格式。

质量在线:官方拿 100 份复杂文档做了测试。anydoc 中位数只要 4.4 毫秒,比 LibreOffice 快了 250 倍。而且输出质量评分也最高。

生产好用:遇到加密或损坏文件不会拖垮整个任务。它还自带防“解压炸弹”机制。实际用起来,九成普通文档几毫秒就能搞定。只有遇到扫描版 PDF,才需要降级去调昂贵的 OCR 大模型。

目前它支持 Node.js、Python 和 WASM,能直接当 Agent 技能加载。不过文章里的性能数据都是官方自己测的,真要上生产还得看实际表现。

名称已清空
微信扫一扫赞赏作者
喜欢作者其它金额
作品
暂无作品
喜欢作者
其它金额
最低赞赏 ¥0
其它金额
赞赏金额
¥
最低赞赏 ¥0
1
2
3
4
5
6
7
8
9
0
.
原文性能狂飙250倍!Rust爆款开源文档解析器anydoc问世
广东,1小时前,