ARTICLE · 1255933
RAG 为什么要给文档分块?4 种切法怎么选
RAG 为什么要给文档分块?4 种切法怎么选
RAG 为什么要给文档分块?4 种切法怎么选
给 RAG 喂产品手册,用户只问怎么恢复密码,系统需要精准检索出那一段。可要是把整本手册直接塞进去,模型可能根本抓不住重点。
给文档分块主要原因有二:一是模型有字数上限,塞不下只能截断。二是不同主题混在一起,向量信息会被冲淡。
固定长度切分最好上手,按字数依次切开,相邻两块再重复一小段防断句。缺点是硬切容易把一句话拆成两半,适合先跑通个基础版本。
按文档结构切更贴合作者原意,顺着标题、段落或换行来切。前提是原文排版规整。
按语义切最聪明也最费钱。它先算出每句话的向量,对比相邻句子的距离。话题转远了就切一刀。问题是处理成本高。
真实项目中通常得组合着用:先按标题划大边界,再用长度卡死上限。
原文RAG 为什么要给文档分块?4 种切法怎么选(上篇)
作者提示: 个人观点,仅供参考
上海,6小时前,















































































