夜雨聆风学习资料网

ARTICLE · 1368739

AI 打工实录03|2213 个文档块喂进知识库后,检索到底准不准

AI 打工实录03|2213 个文档块喂进知识库后,检索到底准不准

实录第三篇,讲一个大家都动过念头的事:给公司搭个知识库问答。

场景不新鲜:制度文件、操作手册、历史方案散在几十个文件夹里,新人问个问题,老员工翻半天。上 AI 之后,理想状态是「直接问,它去库里找答案」。

我们真搭了一套:213 个文档块,检索加问答,跑了一个多月。结论先放这:能用,但和演示视频里的「能用」,是两个意思。

先说结论

知识库检索的准头,三分靠模型,七分靠喂进去的东西长什么样。

213 个块里,最好用的是那几十块「一步一动作」的操作类文档;最难用的是表格和截图。检索不是玄学,是文档质量的一面镜子。

01 搭的过程:顺利得让人膨胀

选型没折腾:现成的开源 RAG 框架,向量检索加关键词检索双路,中文分词器一挂。

切块、入库、建索引,一个下午的事。213 个块进库,测试问题打进去,秒出答案,还标着出处。

试了五个问题:

「报销单谁审批」,答对了,出处是那本财务制度第 4 页。「客户资料怎么导出」,答对了,操作手册一步步列得清楚。「年假怎么算」,答对了。「合同章怎么借」,答对了。「系统登录不上怎么办」,这条开始露馅:它返回的三块内容里,两块是无关的旧版手册。

四个对,一个歪。我当时的记录原话是:「效果不错。」

现在回看,那五个问题挑得太客气了,全是文档里明晃晃写了标题的内容。

02 真实用户登场,体面碎了

上线第一周,同事们非常给面子,问题密度远超预期。然后投诉也来了,我整理了一下,失败集中在三类。

第一类:表格题。 有人问「XX 客户的账期是多少天」。答案确实在库里,一张客户信息表的某一格。但切块的时候,那张 40 行的表格被拦腰切成四块,每块都带着表头丢着行,检索命中了,答案拼不出来。表格是 RAG 的天敌,这个坑每个搭知识库的人都要踩一遍。

第二类:截图题。 操作手册里大量「照着这个界面点」的步骤,信息在截图里,文字只写了「如图所示」。AI 检索到了这一页,但它看不见图。回答永远是「请参照文档中的图示操作」,等于没说。

第三类:跨文档题。 「客户投诉处理的完整流程」,答案散在三个文件里:一份制度、一份话术模板、一份旧邮件。检索每次只捞回最像的那块,拼不出完整链条。它擅长「哪里写了」,不擅长「加起来是什么」。

03 修理:四个动作,没有一个是算法

翻车一周后开始修。有意思的是,四个动作全是文档侧的笨功夫,跟模型和算法没半毛钱关系。

① 表格拆行入库。 把大表格拆成「一行一块」,每块自带表头语义:「客户 A:账期 30 天,结算方式电汇」。表格从最烂的块类型,变成最准的块类型。

② 截图补文字。 立了个规矩:新文档里每张截图必须配一句「图中要点」说明。存量文档没空补,就在检索答案里自动附文档链接,让人点进去看图。承认 AI 看不见,比假装它看得见有用。

③ 高频问题写成人工答案卡。 投诉处理流程这类跨文档问题,干脆人工写一份合并版答案,单独入库,标记最高优先级。检索命中这张卡就直接用。二十几张卡,覆盖了八成高频问题。

④ 旧文档清出库。 那本旧版操作手册就是开头「登录不上」翻车的元凶,新版发布后旧版一直躺在库里。清出去之后,这类错误肉眼可见地少了。知识库最大的敌人不是 AI 不准,是过期内容。

04 一个月后的账本

修理前后的对比,用同一批 20 个真实问题测:

修理前:答准 11 个,半对 4 个,答歪 5 个。

修理后:答准 16 个,半对 3 个,答歪 1 个。

没换模型,没调参数,全在文档侧动手。那 16 个答准的问题里,12 个落在操作类和表格类(拆行入库后的功劳)。

时间账:新人问基础问题的频率降了大半,老员工被打断少了;维护成本变成每月一次「清旧补卡」,半小时。

05 一个反直觉体会:知识库是面镜子

跑完这一轮,我最大的体会跟技术无关:

文档写得清楚的公司,知识库效果立竿见影;文档乱的公司,知识库只会把乱放大。

它检索不出「没写下来的东西」,也分不清「哪份是现行的」。那些口口相传的隐性经验、新旧并存的文档、靠截图说话的手册,知识库统统照单全收,然后原样还你一份糊涂。

所以「要不要上知识库」的真实问题是:「我们愿意为它整理文档吗」。愿意,它是资产放大器;不愿意,它是个体面的摆设。

06 适合谁,不适合谁

适合:操作手册、制度问答、客户基础信息这类「答案确实写在文档里」的场景;文档本身维护勤的团队。

不适合:指望它回答「老板的想法」这类没写下来的问题;文档常年新旧混放的库;以及答案需要跨十几份文件推理的重度场景。最后这类,目前更好的解法还是人工加全文搜索,AI 辅助而不是 AI 回答。

下次怎么改

1.上线前先做「块体检」:随机抽 20 个块,看拆得是否完整、表格是否断行、截图是否裸奔。二十分钟的抽查,省掉上线后一周的投诉。

2.旧文档下架要做成制度:新版发布当天,旧版必须出库。这条写进文档发布流程,比任何检索优化都值钱。

3.给答案分等级:答案卡(人工合并版)> 现行文档 > 其他。检索结果按等级排,用户看到的第一个答案,永远是人最信得过的那个。

写在最后

三篇实录,一个共同的形状越来越清楚:AI 交付的效果,上限由模型给,下限由你喂给它的东西决定。而把喂进去的东西整理干净,恰好全是 AI 帮不了你的活。

评论区继续征集:你们公司的文档,敢直接扔进知识库吗?有没有那种「十个截图配一句如图所示」的手册?聊聊,下期实录的素材又是你们的。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料