乐于分享
好东西不私藏

【跟着包哥学AI|Day 42】文档分块:切得好坏决定AI答得准不准

【跟着包哥学AI|Day 42】文档分块:切得好坏决定AI答得准不准

今天的词:文档分块

为什么要”切”文档?

第七天我们学过上下文窗口——AI一次能看的内容有限。一份30页的文件有几万个Token,全塞给AI既浪费又不精准。

所以知识库系统会把你的文档切成一小段一小段,用户提问时只挑最相关的几段给AI看。这个”切”的过程就是分块。

切得好 vs 切得差

切太大的问题:一段里混了好几个话题。用户问”请假怎么办”,系统找到的那段里既有请假又有考勤又有奖惩——AI读完抓不住重点,回答就散了。

切太小的问题:一段只有一两句话,缺少上下文。比如”迟到三次记一次旷课”单独拿出来,AI不知道是一周三次还是一学期三次。

切得好的标准:每段是一个完整的知识点,有上下文,不混杂。

实操建议

  • Dify默认分块大小约500字,大部分场景够用
  • 如果你的文档结构清晰(每个小标题下就是一个知识点),效果会特别好
  • 没有标题结构的文档,建议上传前手动整理一下格式
  • 表格类内容分块效果较差,建议转成文字描述

一句话总结

文档分块 = 把长文档切成小段给AI看。切得好(每段一个完整知识点)=回答准;切不好=AI找不到或找错。

今日练习

登录Dify,点进你的知识库,看看你的文档被系统切成了什么样。检查有没有”一段混了多个话题”或”一段太短没上下文”的情况。


跟着包哥学AI · Day 42 · 明天见