ARTICLE · 1391595
RAG 第二课:同一份文档切了三遍,块数从 22 掉到 2
上一章结尾我说,检索决定上限。这周跑第二章跑到一个数字,才明白这句话说轻了。
同一份游戏角色词条文本,固定大小切,出来 14 块。换成递归切,22 块。再换成语义切,只剩 2 块。
同一份文档,最多和最少差了一个数量级。不是参数调了调,是切分逻辑整个换了。
第二章讲的就是这件事的前因后果:文档怎么读进来,长文怎么切小块。这两步做不好,后面检索再花哨也白搭。
一、检索的上限,在建库那一刻就锁死了
第一章那个闭环,文档是现成读进来的,切块也是调个参数就完事。第二章往回追了一步:那些材料,到底是怎么从一堆 PDF、Word、Markdown 变成向量库里的块的?
答案分两段:数据加载,文本分块。
课程给这件事起了个名字,叫 Garbage In Garbage Out,垃圾进,垃圾出。检索再准,喂进去的材料本身是糊的,结果也是糊的。
换句话说,检索的上限不在检索那一步,在索引构建阶段就被加载和分块的质量定死了。第一章我说"效果上限由检索决定",这章得补一句:检索的上限,由前面这两步决定。
二、加载器干的不只是"读文件"
文档加载器听起来是个简单活:把文件读成文本呗。真不是。
它在数据管道里干三件事。第一,解析格式,把 PDF、Word、Markdown 提出纯文本。第二,抽元数据,来源、页码、作者这些关键信息得留下来,后面做精确引用全靠它。第三,统一结构,把乱七八糟的输入整理成同一种数据结构,方便后面切分、向量化、入库。
这三件事合起来,就是传统数据工程里的 ETL:抽取、转换、加载。区别只在于对象从数据库记录换成了非结构化文档。
元数据这一条我上次吃了亏。第一章我为了绕开 unstructured 在国内的下载问题换成 TextLoader,页码、来源全丢了,做不了精确引用。这次算是把认知补上了。
三、九种加载器,记住三个判断维度就行
课程列了九种加载器。我第一反应是这得背多久,后来发现完全不用背,按场景对号入座。
捡几个我记得住的说说。纯文本用 TextLoader,批量混合格式用 DirectoryLoader,网页抓引用 FireCrawlLoader。PDF 这块花样最多:PyMuPDF4LLM 出 Markdown 带表格识别,适合科研文献和技术手册;Marker 上 GPU 加速,出 Markdown;LlamaParse 和 Docling 走商业 API,法律合同、学术论文这类精度要求高的场景才值得上;MinerU 集成 LayoutLMv3 加 YOLOv8,学术文献和财务报表这种版式复杂的活它拿手。还有个 Unstructured,格式通吃,上手最快。
我的结论很简单:通用场景 Unstructured 先上,PDF 复杂版式再考虑 MinerU、PaddleOCR 这类模型工具。选型就看三件事,格式有多复杂、精度要求多高、接不接受商业 API。别一上来就挑最贵的。
这张表我建议别硬背。真遇到一份文档,先问自己它是什么格式、版式乱不乱、能不能接受把数据送到第三方。三个问题答完,选项基本就剩一两个了。课程列全是为了让你知道有这些工具,不是让你全装一遍。我这次就只用了 Unstructured 一个,其余的看过原理就够。
四、Unstructured:一套接口通吃,还认得"标题"
这章我直接用原始 unstructured 库,没再用第一章那种 LangChain 封装。封装省事,但灵活性差,换成原始库能拿到更多控制。
它有两个好处。一个是格式通吃,PDF、Word、Excel、HTML、Markdown 走同一套 API,不用给每种格式写一套代码。另一个是结构识别,它能认出标题、段落、表格、列表,还把元数据留住。
具体认出些什么?Title 标题、NarrativeText 正文、ListItem 列表项、Table 表格、Image 和 FigureCaption 图像图注、Header 和 Footer 页眉页脚、PageNumber 页码。这些元素带语义标签,后面分块能直接按标签来,这点纯文本切分做不到。
入口用 partition,它是自动路由:传个 PDF 进去,内部自动分发到 partition_pdf。filename 传本地路径,file 传文件对象,url 传远程地址,三选一。想跳过格式自动检测就指定 content_type。要更细的控制,比如 OCR 语言、图像提取、表格结构推理,直接用 partition_pdf,性能也更好。
五、为什么非切不可:512 token 那道墙
一整篇文档直接塞进去不行吗?两个硬限制卡着。
嵌入模型这边有严格的输入长度上限。课程用的 bge-base-zh-v1.5 是 512 token,超了就截断,后面的内容等于没读。所以块的大小必须卡在上下文窗口以内。
LLM 那边窗口虽然大得多,但检索到的所有块、加上问题、加上 Prompt,全得塞进去。单个块过大,挤占的是可参考的信息广度。你送进去一块一万字的原文,别的候选片段就没地方放了。
所以切块不是可选项,是必选项。
六、块不是越大越好:鲁班七号那个例子
就算嵌入模型能吃 8192 token,也别切 8000 的块。三个理由。
第一,嵌入是有损的。Transformer 把整块所有 token 池化成一个向量。块越长,里面的语义点越多,这一个向量就越笼统,关键细节被平均掉,检索精度跟着往下掉。这跟我第一章测出来的现象一模一样:答案块放在 4000 字的大块里,信号被稀释,排名掉到第 4。
第二,Lost in the Middle。LLM 处理长上下文时,对开头和结尾记得牢,中间那段容易忽略。块又大又杂,关键信息埋在中间,模型就容易答偏,甚至幻觉。
第三,主题稀释。一个块塞了好几个主题,语义不聚焦,查询来了匹配不上。课程举了个王者荣耀的例子,讲鲁班七号,把技能、出装、故事混在一块,问"怎么出装"反而召回不了。拆成三个主题块之后,出装块得分极高,一下就命中了。
核心原则就一句:一个块只聚焦一个主题。检索的信噪比是靠这个提上去的。
这三条其实指向同一个矛盾:块要大到装得下一个完整语义,又要小到别把无关的东西拖进来。跟第一章那个 chunk_size 实验是一回事,只是这次换了角度——上次是调参数看召回,这次是从原理上搞清楚为什么大块会稀释信号。两头对上了,印象才深。
七、四种切法,各有各的脾气
课程讲了四种分块策略,我把原理和取舍摊开说。
固定大小,用 CharacterTextSplitter。按段落分隔符切,再按 chunk_size 合并,带 overlap。优点是简单、快、开销小。缺点是可能在语义边界上切断,超长段落只警告不拆分。这里有个坑:LangChain 的"固定大小"名不副实,它会优先保持段落完整,只有超长才强制切,准确说是"段落感知的自适应分块"。
递归字符,用 RecursiveCharacterTextSplitter。按分隔符层级递归切,先段、再句、再词、最后字符。它在语义完整和块大小之间找平衡,超长文本处理得更好。但本质上还是按字符切,只是更聪明了,并不真的懂语义。
语义分块,用 SemanticChunker。先把句子嵌入,算相邻句子的余弦距离,用统计方法找突变点,在断点处切开再合并。主题内聚,语义最连贯。代价是慢,要跑嵌入,块大小也不均匀,还依赖嵌入模型。它找断点有五步:按句号问号感叹号分句;带上下文嵌入,用 buffer_size 把每句和前后 N 句组合起来再嵌入,让向量带上上下文;算余弦距离;统计找断点,默认用第 95 百分位,还有标准差、四分位距、梯度几种;最后按断点切合并。
文档结构,用 MarkdownHeaderTextSplitter。按标题层级分组,把标题路径注入元数据。宏观结构留住了,还有精确的"地址"。缺点是单个章节可能太长,得配合递归分块再切一遍。这是处理结构化文档的理想方案:先用它按标题切成带元数据的大块,再用 RecursiveCharacterTextSplitter 二次细切,小块继承标题元数据。

四种怎么选,说说我自己的判断:文档没什么结构、图省事就固定大小;长文本想稳一点用递归,它基本是通用首选;主题界限清晰、又不在乎慢,上语义;Markdown 这类有标题层级的,走结构分块,再配递归二次细切,效果最扎实。
除了 LangChain 这套,别的框架也有思路。Unstructured 是先分区再分块,元素带语义标签,by_title 遇到 Title 强制开新块,跨章节不混,算是先理解后分割。LlamaIndex 里一切皆节点,它那个 SentenceWindowNodeParser 我觉得最巧:切成单句检索,精确;元数据里存前后 N 句的窗口,命中之后把带上下文的完整文本给 LLM。检索要准,生成要全,一句节点加一个窗口就把两头都顾上了。它还留了个 LangchainNodeParser,能把任何 LangChain 的 splitter 包成 LlamaIndex 解析器,两套生态不用二选一。
八、同一份文档,三种切法差了一个数量级
概念和取舍说完了,上数字。
我拿 data/C2/txt/蜂医.txt 做实验,4536 字节,一个游戏角色词条,Markdown 结构加中英混合。同一份文本,三种切法:
固定大小 200/10,切出 14 块。但里面混进 3 个超长块,201、277、296 字符。这就是前面说的"超长段落只警告仍保留",撞上了软限制。
递归字符 200/10,切出 22 块。有个细节特别有意思:第 3 块只有 12 个字符,一个"。"被高优先级分隔符单独切出来了。这是递归按句号、逗号切分的直接证据,也说明它为了控制块大小,真能切到这么碎。
语义分块 percentile,只切了 2 块,一块 566 字符加剩下的。块大小差异大得离谱。语义分块按主题切,不保证均匀,它觉得这篇词条大部分内容语义连续,只有极少数地方有主题跳跃。
14、22、2。同一份文档,最少的只有最多的十分之一不到。
顺带把 rag.pdf 也过了一遍 Unstructured,得到 279 个元素、7500 字符。元素分布能看出它的识别能力:Title 184 个,UncategorizedText 41 个,Header 22 个,Footer 15 个,NarrativeText 14 个,ListItem 3 个。
这组数字给我的冲击是:分块策略直接改变了检索的基本单位。你用固定切,检索单位是那 14 块;换成语义切,单位变成 2 块。同一个问题,检索的表现会完全不一样。没有银弹,选哪种得看文档结构和查询模式,而且必须拿实验验证。
九、三种解析策略,两个翻车
PDF 解析那块我踩了坑,记一下。
partition_pdf 处理同一份 PDF,可以用三种策略。fast 走纯文本层,靠 PDF 里已有的文字坐标和字体信息还原结构,最快,文本型 PDF 够用了,但对扫描件没辙。hi_res 先用 ONNX layout 检测模型识别页面版式区域,标题、正文、表格、图片分清楚,再按区域提取,精度最高,但要下载模型、跑推理,慢且吃资源。ocr_only 不管有没有文本层,把每页当图片做 OCR,扫描件的唯一选择,但必须有 Tesseract 引擎,最慢还可能有识别误差。
我写了个脚本对同一份 PDF 分别跑这三种,每个策略都捕获异常,如实打印。结果:
fast,成功。279 元素、7500 字符,跟 partition 默认结果一致。
hi_res,失败。ProxyError 502 Bad Gateway,卡在联网下载 layout 检测模型,本机代理挂了。
ocr_only,失败。PDFInfoNotInstalledError: poppler,Windows 没装 poppler,这个还不是 pip 能装的,得装系统级工具。
环境这块还有个坑值得单独说。我本机 Python 3.13,unstructured 0.27 的 python-magic 在 Windows 上直接段错误,原因是 libmagic DLL 崩了。改装 python-magic-bin,自带 DLL,才解决。另外 Python 3.13 下老版 unstructured 因为 pins numpy<2 装不上,只能上 0.27 再手动补 PDF 依赖。我把 pdf2image、pikepdf、pi-heif、unstructured-inference、onnx、ml_dtypes、matplotlib、opencv-python-headless 一项项补完,hi_res 还是卡在下载模型,ocr_only 还是卡在 poppler。这两个是环境硬限制,不是代码问题。真要跑通得配好模型下载源或者手动放权重,再在 Windows 装上 poppler 和 Tesseract 中文语言包。
吐槽归吐槽,原理上的差异是清楚的。文本型 PDF,fast 已经够用;复杂版式和表格图片混排,hi_res 才有优势;扫描件只能 ocr_only。而且三者识别出的元素类型不一样,hi_res 通常能认出更多 Table、FigureCaption,fast 会把它们压成 UncategorizedText。
跑完这一圈,第一章那句"检索决定上限"有了新的分量。上限不只在检索那一步,它早在索引阶段就被数据加载和分块定死了。加载决定材料干不干净,分块决定检索的基本单位有多大。这两步做对了,后面的检索优化才有意义;做错了,调再花的检索策略也是拿错材料硬编。
下一章准备往检索策略本身走,看看查询重写、重排这些"高级 RAG"的手段,怎么把第一章那堵墙拆掉。有进展再写。















































































