ARTICLE · 1302048
换了向量模型后旧文档在新索引里搜不到
换了向量模型后旧文档在新索引里搜不到
知识库换了向量模型,新文档能搜到,旧文档一条也搜不出来。
重建索引没用,向量也一条没少。看着矛盾,其实是两件事混在一起了。
向量不是内容自带的属性,是模型给的一段读数。同一段文字交给两个模型,得到两组数字,中间没有换算公式。换模型就是换尺子,旧向量没坏,只是不再回答新查询。
索引存的也不是内容关系,而是旧读数之间的距离。它按旧距离建图、沿边找近邻。查询向量换了尺子,图上每一步“更近”都不再指向真正相关的文档。
最麻烦的是新旧文档混在同一个集合里。两套尺度被放到同一根轴上排序,名次已经失去意义。关键词检索只能兜住字面命中,兜不住“按意思找”。
出路就两条:全量重嵌,把旧文档用新模型重新算一遍;或者新旧各建一套索引,查询时分别查再合并。前者吃算力,后者存储和查询都翻倍。
设计阶段就能堵住:把模型版本写进索引标识,换版本就换集合,从一开始就不留混排这个坑。
原文换了向量模型后旧文档在新索引里搜不到
北京,3小时前,















































































