RAG 企业级落地 · 第 02 讲|文档解析:信息保全

• 优点：速度极快（每秒数百页）、文字零识别错误、零模型成本。
• 缺点：对扫描版 PDF 完全无效（里面只有图片）；阅读顺序依赖坐标启发式，双栏文档容易串栏；表格只能拿到一堆带坐标的文本碎片，结构后处理困难。

• 优点：模型小、推理快、私有化部署成熟，文字识别精度在清晰扫描件上已经很高。
• 缺点：只能识别"哪里有什么字"，无法确定结构信息。拿到的是一堆文本行和坐标，标题、段落、表格、页眉的区分依赖后处理规则。

• OCR：在渲染后的页面图上检测文本框并识别字符，输出 bbox、文本、置信度。解决扫描版、截图、拍照件的文字获取。
• 版面识别（Layout Recognition）：把每一页切成语义区域——正文、标题、图、表格、页眉、页脚、参考文献、公式等十来个类别。这一步直接服务于两个目标：恢复阅读顺序，以及把页眉页脚这类噪声区域剔除掉。
• 表格结构识别（TSR, Table Structure Recognition）：在检测到的表格区域上识别行、列、表头、跨行跨列单元格，把表格重建成结构清晰的文本。

• 优点：成本极低、速度快、每一步可解释可调试、模板即领域先验。
• 缺点：规则覆盖不到的版式就失效——非标扫描件、复杂混排、手写体，传统路线的保全度断崖式下跌；模板需要人工选择，选错模板效果全错。

• 优点：每个环节可替换、可单独评测、可定位错误（表格错了换表格模型，不用动全局）；区域级任务并行，吞吐高。
• 缺点：误差级联——版面检测错一个框，后面的识别和拼装全跟着错；组件多，工程维护成本高。

• 优点：管线极简，一个模型维护所有能力；对区域间的语义关系（比如"这个表是上面那段话的实验结果"）有天然的全页理解；新版式泛化好，不需要为每种版式写规则。
• 缺点：黑盒——错了不知道错在哪，没法只修一个环节；整页推理延迟高于区域级管线；偶尔会出现幻觉，解析出原文没有的内容，对保全度要求极高的场景（合同、票据）需要额外校验。

1. 根据业务判断场景的并发和成本：
1. 并发不高，成本可以支持：首要考虑管线文档解析大模型
2. 并发高或成本要很低：根据特定的领域，开发尽可能泛化的规则，配合传统OCR模型。
3. 无论使用哪一种，最后一定要保留兜底的手段，规则硬兜底。
2. 基于大模型的方法也无法泛化，且规则无法识别：
1. 首先考虑传统小模型，比如经典的模糊问题，使用超分模型可以解决，
2. 依然添加规则兜底。
3. 文档解析管线搭建后，结合服务推理加速：
1. 首要进行服务层优化：动态批处理，异步，并发等手段，根据具体场景，寻求吞吐和并发的平衡点。
2. 其次进行模型层优化：对于传统模型，一般使用onnx-runtime（注意显存管理）；对于基于大模型的管线或者端到端模型，一般vllm这些框架都会有对应的加速优化手段。
3. 工程建议：每个模型的接口单独做成微服务，最后的管线纯做服务层优化，不考虑模型显存的管理。这样的区分能够实现最方便且效果最好的优化。最后管线的服务也可以轻松进行多实例管理和负载均衡，每个模型接口只需要考虑自己内部的动态批处理和持续批处理即可。传统模型可以使用triton或者Ray框架，生成模型使用vllm或sglang即可。

2. grep + 代码领域

代码仓库的最优"解析"往往就是不解：关键词明确（函数名、类名有意义）、大模型对代码领域有完整先验，直接用 grep / 符号索引做关键词检索，配合 agent 按需读文件，效果常常好于把代码切块向量化。

3. 原始视频 / 原始图片保留

视频切分关键帧 + 字幕 ASR 是常规做法，但当画面本身是信息主体（监控、教程演示）时，保留原始片段 + 多模态嵌入直接检索，比转成文字描述的保全度高一个量级。