ARTICLE · 1385915
文档改了,AI 却还在用旧答案——知识库交出去之后,这坑才刚开始
🏢 企业 AI 应用服务设计 | 个体层:交出去之后,接手人第一次改文档,看库知不知道
搭过知识库的人都干过这件事:发现文章里一个数字写错了,改掉、保存,再问 AI,它照旧把旧数字念给你听。
这不是模型笨,也不是检索坏了——这期我把它在机器上做了一遍。
长期用的第一堵墙,不是检索准不准,是文档改了,库知不知道。
写在前面:本篇是 28→29→30→31 的第四步,仍在个体层。28 期说命中率会骗人,29 期说评测集也会骗人,30 期把尺子交出去,这期是交出去之后接手人第一次改文档。边界先说清:接手人由本人扮演,是交接演练加本机实测,不是真实的多人团队交接;小规模层还没演练,不写。实验只改一个数字以隔离"内容过期"这一件事,脚本与逐条结果归档在 `_work\31-本地知识库\`。
搭过知识库的人都干过这件事:发现文章里一个数字写错了,改掉,保存,再问 AI,它照旧把旧数字念给你听。
钉死一句话:长期用的第一堵墙,不是检索准不准,是文档改了,库知不知道。
先说能拿走三样:一张指标对照表、一份逐块定位清单、一套事实探针两步法,都在第七节,带我这期的真实结果,合上就能用。
主线不绕:28 期说命中率会骗人,29 期说评测集也会骗人,30 期把尺子交出去,31 期是交出去之后接手人第一次改文档——个体层最后一课,还没到多人团队那一步。
沿用那台 GTX 1650 4G、12 篇文章、150 块切片。改动只有一处:4G 老卡那篇里,张量数从 291 改成 292。
选它是因为它干净:在源文档里只出现 2 处(一张表、一行事实清单),三个字符换三个字符,切片边界不会因字数变化而漂移。这样就能把"内容过期"单独拎出来,不掺进切片重排的干扰。
改完用 28 期同款脚本重建索引,得到 v2;没改的那份是 v1,代表接手人接手时的快照。
比结果之前,我先确认一件事:用现在的源文档按同款脚本重建,跟手头那份 v1 索引是不是同一把尺。
结果逐块一致——块数都是 150,词表都是 22804,150 个块的文本一个字不差。这条很重要:后面看到的任何差异,都只来自那一个数字的改动,不是脚本偷偷变了。
改完重建,先看平时拿来判"库还好不好"的那几项:
看什么 v1(改前) v2(改后)
切片块数 150 150
词表大小 22804 22804
原始问 top-1 73.3%(11/15) 73.3%(11/15)
换说法 top-1 86.7%(13/15) 86.7%(13/15)
top-1 命中块编号 — 零变化
答案块里的数字 291 292
四行指标一动不动,没有一项报警。可把原始问第 15 题「模型文件名叫 q4 就一定是 Q4 吗」的 top-1 答案块调出来看,文字真的变了:v1 读数是 291,v2 读数是 292。用户要是还拿旧索引提供服务,看到的就一直是错的那个数。
命中率量的是"有没有找对文档",不是"文档里的话还是不是新的"。 这两件事被我混了好几期,这次被拆开。
到这你大概会想:那我问一句"有多少个张量",看它答 291 还是 292,不就验出来了?
我照这个思路写了 4 个探针,只有 1 个打到存这个数字的块,另外 3 个全打偏:
探针问题 top-1 落点 读到数字吗
GGUF 文件拆出来有多少个张量 块 141 这块没存这个数
那个 GGUF 权重里能拆出多少个 tensor 块 147 这块没存这个数
GTX 1650 的驱动和 CUDA 版本 块 136 这块没存这个数
模型文件名叫 q4 就一定是 Q4 吗 块 140 读到 291→292
原因不神秘:问题命中哪个块,取决于问法和块里的词怎么重合,跟"这个数字在哪一块"是两件事。「有多少个张量」这种问法命中了另一段话,那段话根本没写张量数。
靠随口问一句验证数字更新,四分之三的概率问不到点子上。 这招我原以为很顺手,实测才发现是个陷阱。
切片建库时,每个数字已经被烘进某一个块的文字里,再压成一个向量。源文档是活的,索引是那一刻的快照。你把源头改了,快照不会自己跑过去改。
所以正确的问法不是"检索准不准",而是"我手上这份索引,是哪一版源文档做的"。两个版本号对不上就该重建,跟检索结果好不好看没关系。
讲清边界:这不是 bug,是静态索引的正常行为。缺的是交付时没把"改完文档要重建、重建完怎么验"写进给接手人的清单。
一、指标对照表。 就是第四节那张。记住那几项会骗人的指标——块数、词表、top-1、命中块编号,文档改动后它们都可以一动不动。别拿它们当"没过期"的证据。
二、逐块定位清单。 改动后按这四步走,括号里是这期的真实结果:
步骤 做什么 这期结果
1 给改前改后的源文档各存一个指纹 前 16 位不同,能看出改过
2 逐块比对文字,列出变了的块号 块 140、149,共 2 块
3 跑一遍评测集,看命中率 73.3%/86.7% 都没动,别信
4 找出 top-1 落在这些块上的问题 原始问第 6、15 题
第 4 步是关键:命中率不管内容,你得自己把"哪些问题的答案块变了"挑出来。
三、事实探针两步法。 别像我一样上来就问:
1. 先在索引里定位存这个数字的块(逐块搜字符串,拿到块号);
2. 再构造一个能命中那个块的问法——先用块里的原句试,问中之后换成自然问法。
第 2 步要是问不中,就老实承认"这个问题我验不了",别拿打偏的探针当"没问题"的证据。
三件如实说:① 我只改了一个文档里的一个数字,真实场景文档天天改、多个文档同时改,位置会复杂得多;② 接手人是我自己扮演的,不是真的第二个人交接,多人分工那层还没演练;③ 换说法那 15 问的 top-1 恰好都没落在改动块上,答案一个没变——这是运气,不是这套库抗造,换个问法集结果可能就不一样。
回到主线:28 期说命中率会骗人,29 期说评测集也骗人,30 期把尺子交出去,31 期接手人第一次改文档——文档改了,库不知道。个体层到这儿走完:能用、能判、能交接、能维护。下一步才是小规模层,那需要真的多人演练,不是我一个人分饰两角。脚本和逐条结果都在 `_work\31-本地知识库\`。
脚本和逐条结果都在 `_work\31-本地知识库\`,照着跑一遍就能复现"指标不报警、答案已过期"
关联阅读:28 期讲命中率、29 期讲评测集、30 期讲交接、这期讲维护,四期连着看
这篇如果帮你省了半小时,帮我做一件小事
① 点个「在看」——推荐流里多一次曝光,我就能多跑一次实测
② 把「文叔的SI日记」设为星标(右上角 → 星标),下次更新直接出现在列表顶部
③ 转给那个正好需要的人
关注文叔的 SI 日记,每日了解最新科技发展信息
标签:















































































