夜雨聆风学习资料网

ARTICLE · 1378086

文档分块:为什么PDF不能整本塞给AI?

文档分块:为什么PDF不能整本塞给AI?

大模型小白科普 · NO.15

文档分块:为什么PDF不能整本塞给AI?

RAG 系统中最易被忽视、却对效果影响最大的环节——把"整本书"拆成"方便查找的段落"

既然 RAG 是让 AI 查资料,那我直接把整个 PDF 文档扔给它不就行了?为什么要搞什么"分块"?答案是:不行,因为 AI 的"内存"有限,而且"信息太多"反而会让它"看不过来"。今天我们就来聊聊,什么是文档分块(Chunking),以及它为什么至关重要。

一
什么是文档分块?

💡 概念卡片|文档分块(Chunking)

就是把一份长文档拆分成多个"小块"的过程。比如一本 100 页的产品手册,可以:

●  按章节拆:第一章、第二章、第三章……●  按段落拆:每 3-5 个段落一块●  按固定长度拆:每 500 字一块每一块,就是一个 "Chunk"。

二
为什么需要分块?

●AI 的上下文窗口有限:前面讲过,AI 一次能处理的内容有限。比如某模型只能处理 4000 个 Token(约 3000 字),一份 100 页的 PDF 可能有 10 万字,根本塞不进去。

●无关信息会干扰 AI:即使能处理超长文本,塞入大量无关内容,AI 反而会被"带偏"。比如问"退货政策",AI 同时看到产品介绍、物流说明、售后流程,可能无法准确找到退货政策那部分。

●检索效率更高:整本存储,用户提问时只能"整本返回",既慢又浪费;分块后,系统只需返回最相关的几个块,效率大大提升。

三
一个超好懂的类比
📚

分块 = 给文档做"索引标签"

想象你在一家大型图书馆工作,有人问:"这本书里有没有提到'恐龙灭绝的原因'?"如果图书馆把整本书当成一个"块",你只能把整本书抱给他自己翻——效率极低。

但如果提前把书拆成章节、甚至拆成段落,你只需把"白垩纪末期"那一章递给他,甚至只递"陨石撞击假说"那一页。分块就是让检索更精准的"索引标签"。

四
分块有哪些策略?

分块不是随便切的,不同的切法会影响 RAG 效果。常见策略有:

●固定长度分块:每 500 字或 1000 字切一块,不管内容是否完整。优点:简单、统一;缺点:可能切断句子或段落,语义不完整。

●按段落分块:以自然段落为单位。优点:语义相对完整;缺点:段落长短不一,有的太长有的太短。

●按标题/章节分块:根据标题层级(如"第一章""第一节")切分。优点:结构清晰、语义完整;缺点:需要文档本身有良好结构。

●递归字符分块:先按段落分,太长再按句子分,还太长再按固定长度分。这是目前最常用的策略之一。

●语义分块:利用模型判断哪里语义发生变化,在变化处切分。优点:最符合语义边界;缺点:计算成本高、速度慢。

五
分块大小怎么定?

●块太小(比如 50 字):语义不完整,检索时可能漏掉关键信息。

●块太大(比如 2000 字):包含太多无关信息,降低检索精度,也浪费 Token。

●经验值:一般在 200~500 字之间,或者 300~800 个 Token 之间。

●实用建议:先按 500 字左右分块,测试效果,再根据结果调整。

六
一个真实案例

💡 案例|员工"报销流程"问答

知识库有一份《费用报销管理制度》共 20 页,含适用范围、报销标准、审批流程、常见问题等。

整本塞给 AI:员工问"打车费能报销吗?"——AI 看到 20 页完整文档自己找,容易遗漏或混淆。

按章节分块:文档拆成"报销标准""审批流程""常见问题"等块;检索到"报销标准"块,其中明确"市内交通费:凭发票实报实销,上限 100 元/天";AI 回答:"打车费可以报销,凭发票实报实销,每天上限 100 元。"——精准、快速、不跑题。

Q:误区1:分块越大越好?

A:不对。块太大,检索精度下降;块太小,语义不完整。需要找到一个平衡点。

Q:误区2:分块一次搞定,不用管了?

A:不对。分块策略需要根据实际效果持续优化。换了文档类型、换了 Embedding 模型,都可能需要重新调整。

一 句 话 总 结

文档分块,就是把"整本书"拆成"方便查找的段落"。它是 RAG 系统中最容易被忽视、但对效果影响最大的环节之一。分块策略的好坏,直接决定了检索的精准度。

看懂了吗?点个「在看」,下期我们接着聊……

👍 赞🔖 在看💬 留言

— 大模型小白科普 · 每周一更 · 零基础也能看懂 AI —

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料