夜雨聆风学习资料网

ARTICLE · 988443

一文讲透 RAG:从文档分块到检索生成的完整

一文讲透 RAG:从文档分块到检索生成的完整

一文讲透 RAG:从文档分块到检索生成的完整

RAG 不是把文档塞给大模型,而是先建一条知识流水线。

说白了,就是让 AI 回答前先去资料库里翻。翻到相关的内容再开口,免得瞎编。

整条链路分五个工位:

解析:把 PDF、扫描件转成干净文字。表格别乱,页眉别混进正文。
分块:长文切成小段。建议每段 300 到 500 字,相邻段留点重叠。这样关键句就不会被劈成两半。
向量化:把文字变成坐标,意思相近的挨得近。中文场景别硬用英文模型,容易跑偏。
检索:用户一提问,就去库里捞最相关的段落。光靠向量不够,最好加上关键词混合搜。先召回 20 个候选,挑出最准的 3 到 5 个。
生成:让模型看着资料答。提示词里必须写明“不知道就直说”。还得带上资料出处方便查证。

三个常见误区也得避开:

RAG 的核心是“找对资料”,不是单纯塞资料。
向量数据库只是个组件,不等于整套 RAG。
上线只是开始,文档更新了还得重新处理。

作者拿三千份产品文档做了个问答机器人。一开始纯向量检索,覆盖率只有 65%。后来换成混合检索,直接飙到了 92%。

一句话记住:RAG 做得好不好,七分在检索,三分在生成。

原文一文讲透 RAG:从文档分块到检索生成的完整链路
作者提示: 个人观点,仅供参考
湖北,3小时前,

相关学习资料