ARTICLE · 1378086
文档分块:为什么PDF不能整本塞给AI?
大模型小白科普 · NO.15
文档分块:为什么PDF不能整本塞给AI?
RAG 系统中最易被忽视、却对效果影响最大的环节——把"整本书"拆成"方便查找的段落"
既然 RAG 是让 AI 查资料,那我直接把整个 PDF 文档扔给它不就行了?为什么要搞什么"分块"?答案是:不行,因为 AI 的"内存"有限,而且"信息太多"反而会让它"看不过来"。今天我们就来聊聊,什么是文档分块(Chunking),以及它为什么至关重要。
💡 概念卡片|文档分块(Chunking)
就是把一份长文档拆分成多个"小块"的过程。比如一本 100 页的产品手册,可以:
● 按章节拆:第一章、第二章、第三章……● 按段落拆:每 3-5 个段落一块● 按固定长度拆:每 500 字一块每一块,就是一个 "Chunk"。
●AI 的上下文窗口有限:前面讲过,AI 一次能处理的内容有限。比如某模型只能处理 4000 个 Token(约 3000 字),一份 100 页的 PDF 可能有 10 万字,根本塞不进去。
●无关信息会干扰 AI:即使能处理超长文本,塞入大量无关内容,AI 反而会被"带偏"。比如问"退货政策",AI 同时看到产品介绍、物流说明、售后流程,可能无法准确找到退货政策那部分。
●检索效率更高:整本存储,用户提问时只能"整本返回",既慢又浪费;分块后,系统只需返回最相关的几个块,效率大大提升。
分块 = 给文档做"索引标签"
想象你在一家大型图书馆工作,有人问:"这本书里有没有提到'恐龙灭绝的原因'?"如果图书馆把整本书当成一个"块",你只能把整本书抱给他自己翻——效率极低。
但如果提前把书拆成章节、甚至拆成段落,你只需把"白垩纪末期"那一章递给他,甚至只递"陨石撞击假说"那一页。分块就是让检索更精准的"索引标签"。
分块不是随便切的,不同的切法会影响 RAG 效果。常见策略有:
●固定长度分块:每 500 字或 1000 字切一块,不管内容是否完整。优点:简单、统一;缺点:可能切断句子或段落,语义不完整。
●按段落分块:以自然段落为单位。优点:语义相对完整;缺点:段落长短不一,有的太长有的太短。
●按标题/章节分块:根据标题层级(如"第一章""第一节")切分。优点:结构清晰、语义完整;缺点:需要文档本身有良好结构。
●递归字符分块:先按段落分,太长再按句子分,还太长再按固定长度分。这是目前最常用的策略之一。
●语义分块:利用模型判断哪里语义发生变化,在变化处切分。优点:最符合语义边界;缺点:计算成本高、速度慢。
●块太小(比如 50 字):语义不完整,检索时可能漏掉关键信息。
●块太大(比如 2000 字):包含太多无关信息,降低检索精度,也浪费 Token。
●经验值:一般在 200~500 字之间,或者 300~800 个 Token 之间。
●实用建议:先按 500 字左右分块,测试效果,再根据结果调整。
💡 案例|员工"报销流程"问答
知识库有一份《费用报销管理制度》共 20 页,含适用范围、报销标准、审批流程、常见问题等。
整本塞给 AI:员工问"打车费能报销吗?"——AI 看到 20 页完整文档自己找,容易遗漏或混淆。
按章节分块:文档拆成"报销标准""审批流程""常见问题"等块;检索到"报销标准"块,其中明确"市内交通费:凭发票实报实销,上限 100 元/天";AI 回答:"打车费可以报销,凭发票实报实销,每天上限 100 元。"——精准、快速、不跑题。
Q:误区1:分块越大越好?
A:不对。块太大,检索精度下降;块太小,语义不完整。需要找到一个平衡点。
Q:误区2:分块一次搞定,不用管了?
A:不对。分块策略需要根据实际效果持续优化。换了文档类型、换了 Embedding 模型,都可能需要重新调整。
一 句 话 总 结
文档分块,就是把"整本书"拆成"方便查找的段落"。它是 RAG 系统中最容易被忽视、但对效果影响最大的环节之一。分块策略的好坏,直接决定了检索的精准度。
看懂了吗?点个「在看」,下期我们接着聊……
— 大模型小白科普 · 每周一更 · 零基础也能看懂 AI —















































































