爱学习I RAG 答不准,先改文档切分

爱学习

RAG 答不准，先改文档切分

别急着换模型——你花在换模型上的时间，可能不如花在切分上值。

# 文档切分# 检索质量# RAG 优化# AI 应用

爱学习，搞懂一个算一个。

01文档进屋，先被「读」一遍

RAG 的第一步不是切，是把文档变成干净的文字。这一步最容易被当成「格式转换」，找个库跑一下就算完，可它恰恰是整条链里最脏的一段。最常见的三种翻车：

02切多碎才算对

检索的最小单位不是文档，是块（chunk）。模型看不见你的数据库，提问时它只能看到被捞出来的那几块。块切得对不对，决定它看到的是完整一句话，还是半截话。

这里有个默认值陷阱。主流切分器的默认参数是 1000 字符、重叠 200 字符，这套默认值是为英文调的。1000 个字符放进中文，往往是三四个不相干的主题挤在一起：每块都沾一点，检索时又什么都不像。

03四种切法，怎么选

— 四种切法对比：固定长度、递归切分、结构化切分、语义切分

四种切法各有各的适用面，代价图里都标了。其中两种值得单独说：通用文档和结构化文档，各有各的最优解。

递归切分

按段落、句子、字逐级往下切，通用文档首选。

结构化切分

按标题、章节、表格切，适合手册、合同、API 文档。剩下两种——固定长度和语义切分——各有各的适用面。

04比调参数更管用的：把上下文补回去

切得再准，有个问题躲不掉：一块被单独拎出来的时候，常常看不懂。

比如某一块里写着「限额已上调至 1 万元」，可它没说清是哪个产品、哪类限额。人看得出缺了什么，向量看不出来——它的坐标从一开始就偏了。

— 补上下文前后对照：同一块内容，补一句位置说明，向量才看得懂

解法就是把切掉的东西补回去。Anthropic 2024 年的一组实验结论很干脆：给每块补一句它在原文里的位置说明，再去做向量，检索失败率降 35%；再加上关键词检索 BM25，降 49%；再叠一层重排 rerank，降 67%，把失败率从 5.7% 压到 1.9%。

−35%补上下文−49%＋ BM25−67%＋ rerank

这个动作还很便宜：每块加 50 到 100 字的上下文说明，一次性预处理，成本大约每百万 token 一美元出头。

父子切分

小块负责检索，命中后把大块交给模型。

适度重叠

相邻块留 10% 到 20% 的重叠区。都是用一点冗余，换一次不丢信息。

05今天就能做的一件事

别急着换模型。拿最常被问的那份文档，做一件事：

同一个问题集，只动切分，测两轮。这一下午的收益，通常比换一个更贵的模型大。

解析定型了文字，切分定型了检索的最小单位。这两步糊弄过去，后面换多少模型，都只是往一个被压死的上限上靠。

素材来源：MDPI《Bioengineering》12(11):1194，Comparative Evaluation of Advanced Chunking for Retrieval-Augmented Generation in LLMs for Clinical Decision Support（2025）；Anthropic《Introducing Contextual Retrieval》（2024）；LangChain 官方文档 RecursiveCharacterTextSplitter 参数说明。具体数据与结论以原始文献为准。