【跟着包哥学AI|Day 42】文档分块:切得好坏决定AI答得准不准
今天的词:文档分块。
为什么要”切”文档?
第七天我们学过上下文窗口——AI一次能看的内容有限。一份30页的文件有几万个Token,全塞给AI既浪费又不精准。
所以知识库系统会把你的文档切成一小段一小段,用户提问时只挑最相关的几段给AI看。这个”切”的过程就是分块。
切得好 vs 切得差
切太大的问题:一段里混了好几个话题。用户问”请假怎么办”,系统找到的那段里既有请假又有考勤又有奖惩——AI读完抓不住重点,回答就散了。
切太小的问题:一段只有一两句话,缺少上下文。比如”迟到三次记一次旷课”单独拿出来,AI不知道是一周三次还是一学期三次。
切得好的标准:每段是一个完整的知识点,有上下文,不混杂。
实操建议
-
Dify默认分块大小约500字,大部分场景够用 -
如果你的文档结构清晰(每个小标题下就是一个知识点),效果会特别好 -
没有标题结构的文档,建议上传前手动整理一下格式 -
表格类内容分块效果较差,建议转成文字描述
一句话总结
文档分块 = 把长文档切成小段给AI看。切得好(每段一个完整知识点)=回答准;切不好=AI找不到或找错。
今日练习
登录Dify,点进你的知识库,看看你的文档被系统切成了什么样。检查有没有”一段混了多个话题”或”一段太短没上下文”的情况。
跟着包哥学AI · Day 42 · 明天见
夜雨聆风