夜雨聆风学习资料网

ARTICLE · 1261776

RAG 文档分块多大合适?看懂 Chunk Size 与

RAG 文档分块多大合适?看懂 Chunk Size 与

RAG 文档分块多大合适?看懂 Chunk Size 与

Chunk Size 负责一块最多装多少,Overlap 负责下一块重复上一块末尾多少。比如每块 512 tokens、重叠 128 tokens,第二块就会从第 385 个 token 接上。这样上一块的适用条件,就有机会跟着操作步骤一起被搜出来。微软建议先从 512 tokens、25% overlap 试起,结构清楚的少叠点,连续叙事得多叠点。

*用字符切和用 token 切是两套口径。*Azure AI Search 的 Text Split skill 默认按字符算,所以文档建议从 2000 字符、重叠 500 字符开始。同样一句中文,25 个字符能拆成 21 个 token;翻成英文变成 105 个字符,却只有 17 个 token。配置时先看清它按什么单位算,最终还得用目标模型对应的分词器卡一下最长块。

原文RAG 文档分块多大合适?看懂 Chunk Size 与 Overlap(中篇)
上海,2小时前,

相关学习资料