乐于分享
好东西不私藏

解析PDF慢?LlamaIndex用Rust重写了速度提升100倍,100页文档1秒提完

解析PDF慢?LlamaIndex用Rust重写了速度提升100倍,100页文档1秒提完

2026年5月 · AI基础设施 · GitHub开源

LlamaIndex开源 · Rust核心 · 本地运行 · 多格式支持


🦀 Rust重写⚡ 100倍提速🔒 本地隐私🌐 WASM边缘端

📖 阅读时长约 6 分钟

💡 太长不看版(TL;DR)

LiteParse v2.0 是 LlamaIndex 于 2026 年 5 月发布的开源文档解析库,核心完全用 Rust 重写。小文档解析速度提升 100 倍,大文档也有近 3 倍 提速。支持 PDF、DOCX、XLSX、PPTX 等格式,输出保留版面布局的结构化文本,专为 RAG(检索增强生成)和 AI Agent 管道设计。提供 Python(pip)、JavaScript(npm)、Rust(cargo)三端原生包,还可编译为 WebAssembly 在浏览器和边缘节点本地运行。

😤 做 RAG 最头疼的是什么?

不是没有大模型,也不是向量数据库不够快——而是文档解析这一步卡住了整个管道。

PDF 一多,解析速度慢得像乌龟;复杂排版一上来,文字顺序乱成一团;想上云又担心数据隐私。解析质量差 → 检索不准 → 大模型答非所问,整个 RAG 链路功亏一篑。

2026 年 5 月 28 日,LlamaIndex 宣布将 LiteParse 彻底用 Rust 重写并发布 v2.0。小文档解析速度提升 100 倍,大文档也有近 3 倍 提速。更重要的是:完全本地运行,数据不出本机。

100x 小文档提速    3x 大文档提速    4 种格式支持    3 端原生包


🎯 一、LiteParse v2 是什么?

LiteParse 是 LlamaIndex 推出的开源文档解析库,专为 RAG 管道和 AI Agent 设计。v2.0 版本的核心变化只有一句话:彻底用 Rust 重写了。

为什么要用 Rust 重写?原因很直接:

① 速度:Python 解析器再怎么优化,也打不过 Rust

LiteParse v1 基于 Python,解析大批量 PDF 时 CPU 占用高、速度慢。v2 用 Rust 重写核心解析器后,小文档提速 100 倍,大文档(100+ 页)也有近 3 倍提升。100 页的 PDF,1 秒完成文本提取。

② 布局感知:不只提取文字,还保留版面结构

Parser 将文本按文档布局进行二维空间投影,输出保留位置信息与版面相对关系的结构化文本。对于 RAG 来说,这意味着:检索时不仅能匹配关键词,还能理解"这段文字在表格里"、"这段是页眉"——检索精度显著提升。

③ 本地优先:不依赖云服务,数据隐私有保障

所有解析在本地完成,无需上传文档到第三方服务器。对于企业内网、医疗、金融等数据合规要求高的场景,这一点至关重要。


⚡ 二、核心功能亮点
功能说明
📄 多格式支持
PDF、DOCX、XLSX、PPTX 等 Office 文档格式全覆盖
🎯 布局感知解析
二维空间投影,保留文本位置与版面相对关系,输出结构化结果
⚡ Rust 极致性能
小文档提速100倍,大文档近3倍提速,100页PDF约1秒完成
🔒 完全本地运行
不依赖云服务,文档不上传,满足数据合规和隐私要求
🌐 WASM 边缘端运行
可编译为 WebAssembly,在浏览器端和边缘计算节点本地运行
🔌 三端原生包
Python(pip)/ JavaScript(npm)/ Rust(cargo)开箱即用
🖼️ OCR 可选集成
WASM 环境下 OCR 通过外部回调注入;本地环境支持 Tesseract 等引擎

📦 三、本地部署指南(3种方式)

LiteParse v2 提供 Python / JavaScript / Rust 三端原生包,选择你熟悉的语言接入即可。下面逐一说明。

方式 1:Python(pip 安装,推荐 RAG 开发者)

# 安装 LiteParse v2

pip install liteparse

# 基础用法示例

from liteparse import LiteParse

parser = LiteParse()

result = parser.parse("document.pdf")

print(result.structured_text)

Python 包最适合已在使用 LlamaIndex 构建 RAG 管道的开发者,直接 pip install 即可接入现有项目,无需改动架构。

方式 2:JavaScript / TypeScript(npm 安装)

# 安装

npm install liteparse

// TypeScript 用法示例

import { LiteParse } from 'liteparse';

const parser = new LiteParse();

const result = await parser.parse('document.pdf');

console.log(result.structuredText);

前端项目和 Node.js 服务直接用 npm 安装,支持 TypeScript 类型提示,适合 Web 应用和边缘函数场景。

方式 3:Rust(cargo 安装,追求极致性能)

// Cargo.toml 添加依赖

[dependencies]

liteparse = "2.0"

// main.rs 用法示例

use liteparse::LiteParse;

fn main() {

let parser = LiteParse::new();

let result = parser.parse("document.pdf").unwrap();

println!("{}", result.structured_text());

}

Rust 原生调用没有 FFI 开销,是性能要求极高的生产环境(如批量处理百万级文档)的首选方案。

方式 4:WebAssembly(浏览器 / 边缘端运行)

LiteParse v2 可编译为 WebAssembly 格式,直接在浏览器端或边缘计算节点(如 Cloudflare Workers)本地运行,无需后端服务器。注意:WASM 环境下的 OCR 功能需通过外部回调注入实现(因 WASM 沙箱限制无法直接调用系统 OCR 引擎)。


🔍 四、LiteParse vs LlamaParse,该怎么选?

LlamaIndex 旗下其实有两个解析工具,容易搞混,这里帮你理清:

对比项LiteParse v2LlamaParse
运行方式✅ 完全本地
☁️ 云服务 API
数据隐私✅ 文档不出本机
⚠️ 需上传到云端
解析速度⚡ Rust 极致性能
⏱️ 受网络延迟影响
使用成本🆓 开源免费
💰 按页计费
适合场景
内网 / 合规 / 批量处理
快速原型 / 非敏感文档
复杂表格/图表
基础支持
✅ 云端 AI 增强,效果更好

简单总结:合规和批量场景用 LiteParse v2(本地、免费、快),复杂文档解析效果要求极高用 LlamaParse(云端 AI 增强)。两者可以叠加使用,不冲突。


👥 五、它适合谁?
人群痛点能做什么
🤖 RAG 应用开发者
文档解析慢,成为整个管道瓶颈
pip 安装,直接替换现有解析器,提速3-100倍
🏥 企业内网 / 合规场景
数据不能出内网,无法使用云端解析 API
完全本地运行,满足金融/医疗/政府合规要求
🌐 前端 / Web 应用
想在浏览器端本地解析文档,不想走后端
WASM 版本直接在浏览器运行,无需服务器
⚡ 高性能批量处理
百万级文档需要解析,性能要求极高
Rust 原生调用,无 FFI 开销,批量处理首选

📦 项目信息

GitHub:github.com/run-llama/liteparse · 开源 MIT 协议发布时间:2026 年 5 月 28 日 · Rust 核心重写 v2.0支持语言:Python · JavaScript/TypeScript · Rust · WebAssembly支持格式:PDF · DOCX · XLSX · PPTX


💭 六、我的观点
1
Rust 化是 AI 基础设施的必然方向
AI 应用的上层是 Python,但性能敏感的基础设施层正在被 Rust 全面渗透。从 PyTorch 底层、到向量数据库(Qdrant 用 Rust 写的),再到今天的文档解析器——Rust 成为 AI 基础设施的默认选择,这个趋势已经很清晰了。如果你在做 AI 基础设施相关的技术选型,Rust 是值得提前布局的技能点。
2
本地解析器 + 云端增强,才是最佳实践
LiteParse v2 和 LlamaParse 不是二选一,而是互补关系。我的建议:日常批量解析、内网合规场景用 LiteParse v2(本地、免费、快);遇到特别复杂的表格、图表混排文档,再切到 LlamaParse 的云端 AI 增强。一个本地打底,一个云端补强,两条管道同时接入,根据文档复杂度动态路由。
3
WASM 版本被严重低估了
很多人只关注 Python 包,忽略了 WASM 版本。在浏览器端直接解析文档意味着:用户上传 PDF 后,解析在本地完成,只有结构化文本传到服务器——带宽占用大幅降低,隐私风险也更低。对于面向 C 端的 AI 应用来说,这个特性可能是决定性的。
4
100 倍提速的数字,要理性看待
官方说"小文档 100 倍提速"——注意限定词是"小文档"。对于几百页的大 PDF,提速大约是 3 倍左右,依然显著,但没有 100 倍那么夸张。另外,解析速度提升了,但 RAG 的整体延迟还受嵌入模型、向量检索、LLM 推理的影响。LiteParse v2 解决了其中一环,不要期待装上它整个 RAG 系统就快 100 倍。

🚀 试试 LiteParse v2,让你的 RAG 管道飞起来

Rust 核心 · 本地运行 · 三端原生包 · WASM 浏览器端小文档提速 100 倍 · 大文档提速 3 倍

📦 pip install liteparse🌐 GitHub 开源地址📖 LlamaIndex 文档

LiteParse v2 · Rust-Powered Document Parser

LlamaIndex · github.com/run-llama/liteparse · Released 2026-05-28

— 本文由 AI博主/科技观察员 撰写 · 2026-06-02 —

相关学习资料