夜雨聆风学习资料网

ARTICLE · 1361178

一篇文档几百个向量,RAG 的索引怎么瘦身?

一篇文档几百个向量,RAG 的索引怎么瘦身?

假设要做一个工具资料库。用户搜“录音转文字”,资料的标题却是“语音转写操作说明”。只围绕相同用词查找,就可能漏掉含义相关的内容。

知识库问答常用RAG:先检索资料,再交给大模型组织回答。要让它答得有依据,首先得找到原文。眼前这一步需要解决的问题是:用户和资料换了一种说法,系统还能不能把它们联系起来?

一、从找相关资料,到区分具体要求

一种常见办法,是让模型把问题和文段转换成可以比较的数字表示,这组数字叫作向量,模型通过训练学习文字之间的语义联系。采用单向量表示时,一个文段对应一条向量,问题也对应一条。

文档可以提前处理好:为每个文段计算向量,存入检索索引。收到问题后,系统再计算问题的向量,寻找与它相近的文段向量,返回对应原文。这样,“录音转文字”和“语音转写”即使用词不同,也有机会因为模型学到的语义联系而被匹配到。

每个文段只保留一条向量,存储和相似度比较都比较简洁;文档向量还能在多次查询中复用。因此,帮助中心搜索、常规知识库问答,以及从大量资料中先筛出一批可能相关的文段,都可以采用这条路线。

接下来,用户提出一个更具体的要求:“可以离线使用、支持中文的录音转写工具。”下面两段资料都与转写相关:

A:支持中文语音转写,音频需上传到云端处理。

B:支持普通话转写,音频在本机处理,断网可用。

就这两项要求而言,B真正提供了相应依据。找到“录音转写”这个主题还不够,检索需要进一步比较语言支持、处理位置、联网要求等细节。如果实际测试中,不满足条件的资料仍挤在前面,就要检查系统是否保留并利用了这些区别。

单向量模型也可以学习这些区别,但一段文字中的信息最终要通过同一条固定长度的向量参与比较,文段涉及的内容越多,就越需要检查它能否兼顾当前问题在意的细节。

针对这类细节比较,可以使用另一种表示方式:多向量。以ColBERT为例,它把文字分成词或更小的片段,称为token,结合上下文为这些片段计算向量,并保留多条用于匹配。问题也会得到一组向量。

比较时,问题的每条向量分别在当前文档中寻找最匹配的向量,再把这些最佳匹配的分数相加,得到文档总分。这种常用打分方式叫MaxSim。它让查询中的不同部分,有机会匹配文档不同位置的内容,而不必把整段对整段的比较全部交给一对向量。

示意:每行横条代表一条向量,内部细线仅提示它包含一组数字。问题和文段分别编码;下方连线展示各问题向量选出的最佳匹配,条数和连接并非真实模型输出。

在产品说明、专业技术文档等资料中,很多内容可能与问题同主题,区别却藏在具体要求里。多向量希望利用这些局部线索,把更符合问题的资料排到前面。它也可以对已经找到的一批候选资料重新评分,用于后续排序。

二、更多向量带来的存储与计算负担

这种多向量方式,从“一段一条”变成“一段多条”,首先增加的是需要保存的向量数量。同样1000个文段,单向量通常保存1000条;假设多向量编码后每段保留200条,就需要保存20万条。这里的200只用于举例,实际条数会随文本和模型的处理方式变化。

每条向量都包含一组需要保存的数字。在每条向量包含的数字个数和保存方式不变时,条数越多,这部分存储量就越大。向量存到磁盘上会占用容量,加载到内存参与检索时也会占用内存。资料库越大、每个文段保留的向量越多,需要容纳的数据也就越多。

评分时,比较对象也从一对向量变成了两组向量。单向量通常只比较一条问题向量和一条文段向量;多向量则要让问题的每条向量在文段的多条向量中寻找最佳匹配,再汇总结果。即使候选文段数量相同,也会涉及更多局部匹配,带来额外的评分计算。

很显然,理论更好,但是实际工程可能差异很大,不仅提高了成本,同时会影响用户的体验。

三、用Token Pooling合并相近的文档向量

如何解决上述问题?可以采用基于Ward 凝聚层次聚类的 Token Pooling,将同一文档内的多条 token 向量合并为较少的代表向量。

实现时,先计算向量之间的余弦距离,衡量它们的方向差异。参与聚类的每条向量起初各自构成一个簇,也就是一个分组;再按 Ward 链接准则逐步合并,形成层次聚类树,并根据设定的保留条数确定最终分组。

每个簇的均值向量称为质心。该实现用质心生成代表,再做L2 归一化,即将向量缩放到单位长度。代表向量的维度保持不变,减少的是每篇文档保留的向量条数。下图用人工构造的向量示意分组与代表的关系。

合并可以放在文档向量生成之后、写入检索索引之前。收到新问题后,系统用问题向量与合并后的文档向量比较,返回对应原文。

Python工具库 Sentence Transformers 提供了 HierarchicalTokenPooling 模块。设置 pool_factor=4,可让文档大致保留原来四分之一的向量;也可以设置每篇文档最多保留的条数。该模块默认只合并文档向量,查询向量保持不变。

下面是一组已经运行的小对照:使用Sentence Transformers 6.3.0和Tom Aarsen公开的、训练时考虑过向量合并的模型,输入4篇构造的英文帮助文档,再分别提出对应问题。整个对照保持模型、文档和问题不变,只调整文档向量的保留量。

文档内容
不合并
大约保留一半
大约保留四分之一
密码重置
27
14
7
VPN连接
27
14
7
费用报销
26
13
7
年假申请
30
15
8
合计
110
56
29

四、减少向量之后,检查结果与开销

上表说明保存的向量变少了,是否适合使用,还需要看同一批问题的检索结果。均值向量与原来的各条向量并不完全相同,某些查询的最佳匹配分数会变化,文档顺序也可能随之改变。

这组输入中,4个问题的首位结果仍是对应文档,部分后续名次发生了变化。因为这些资料主题分明,它适合用来观察合并行为;真实知识库里的相近问法、条件差异和中文资料,需要另行检查。

比如“离线中文转写”这个问题,合并后满足条件的原文还排在前面吗?有没有被“支持中文但必须联网”的资料挤走?如果一次返回5篇,就应固定这个数量,比较必要原文合并前后能否进入这5篇。

资源也要用同一口径比较。每条向量包含的数字数量和存储精度不变时,条数减少就能节省这部分数值存储。但实际索引还包含其他数据和索引结构,需要另测整体大小。原始文档向量仍要先完整生成,合并也会增加工作,查询耗时应在实际检索系统里测量。

如果压缩后开始漏掉必要资料,首先可以少合并一些。研究中还有进一步的办法:训练时同时检查合并前后能不能把相关文档排在前面,让模型提前适应压缩。Tom Aarsen在13个检索数据集上的对照显示,这种训练能减轻相同向量数量下的排序损失;它是继续优化的选择,不是第一次试用pooling的前提。

实际选择时,单向量已能找准资料,就保留它的效率优势;细节匹配确实需要更多表示,再评估多向量;采用多向量后,若数量成为负担,再尝试合并,并用同一组问题检查资料是否仍能找齐。

往期推荐阅读

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料