夜雨聆风学习资料网

ARTICLE · 1255933

RAG 为什么要给文档分块?4 种切法怎么选

RAG 为什么要给文档分块?4 种切法怎么选

RAG 为什么要给文档分块?4 种切法怎么选

给 RAG 喂产品手册,用户只问怎么恢复密码,系统需要精准检索出那一段。可要是把整本手册直接塞进去,模型可能根本抓不住重点。

给文档分块主要原因有二:一是模型有字数上限,塞不下只能截断。二是不同主题混在一起,向量信息会被冲淡。

固定长度切分最好上手,按字数依次切开,相邻两块再重复一小段防断句。缺点是硬切容易把一句话拆成两半,适合先跑通个基础版本。

按文档结构切更贴合作者原意,顺着标题、段落或换行来切。前提是原文排版规整。

按语义切最聪明也最费钱。它先算出每句话的向量,对比相邻句子的距离。话题转远了就切一刀。问题是处理成本高。

真实项目中通常得组合着用:先按标题划大边界,再用长度卡死上限。

原文RAG 为什么要给文档分块?4 种切法怎么选(上篇)
作者提示: 个人观点,仅供参考
上海,6小时前,

相关学习资料