夜雨聆风学习资料网

ARTICLE · 1350333

别把文档向量库,当成企业知识库

别把文档向量库,当成企业知识库

· 数猎 - 让数据创造价值

很多企业做知识库,开局都差不多。

导几万份文档,接一套向量检索,能问答、能溯源,上线剪彩,项目验收。

结果呢?

问某个型号去年出了几次故障,答不出准确数字;问备件关联,只给几段描述;问旧协议还算不算数,它把两年前就作废的版本摆出来,还说得理直气壮。

所有人的归因都很统一。模型不够好、检索不够准、文档还不够全。

DataHunter 见过太多项目卡在这一步,说句真话。

你做的根本不是知识库。你只是做了一个带向量检索的文档仓库。

下面把常被混为一谈的五个概念拆开讲清,再给一套能直接拿去自查的标准。

大部分企业做知识库,做到第二层就停了,而且自己不知道停在哪一层。

如果你也正为“文档导了一屋子,问起来还是答不准”发愁,我们把这五个概念和判断标准整理成了一份《企业知识库五条判断标准》,扫码回复「知识库」直接拿走。

扫描下方二维码立即免费领取

01  五个概念各管一层,不能混为一谈

文档库、向量检索、知识库、知识图谱、语义层。

这五个词,开会的时候谁都会点头。散会之后,各做各的。

五个都对,没有谁比谁高级。它们是五层,一层解决一个问题。混着用的后果,就是开头那三幕。

讲的时候按用户能感觉到的远近讲,最先碰到的是文档,最深处是口径。

但建设顺序正好反过来。越往下越基础,越往上越靠近用户。

文档库,是仓库。

管的是东西还在不在。原件存进去,按目录、按标签找得到。

这一层谁都会做,而且必须做。没有它,后面几层全是没有源头的空谈。

向量检索,是索引卡。

管的是哪几段话最接近你的问题。你问账期怎么算,它把最像的五段捞出来。

这一层是这五年最大的进步。成本低、见效快,一套检索就把死档案变成了活的入口。没有它,很多企业连门都进不去。

知识库,是那个馆员。

管的是哪一版对、哪个说法作废了。它给出的每一句话,背后得挂着四样东西。

属于哪个业务对象、按什么规则算出来、谁签字认过、什么时候被替换掉。

仓库和索引卡都买得到。馆员只能自己养。

顺着这个比方往下说一层。一个好的馆员,不会每次都跑去书库翻。

常用的记在脑子里,脱口就答。偏门的翻关系图,哪本参照了哪本,顺藤摸瓜。再查不到,才回原始文档一段一段读。

知识库也是这个理,三条路依次走。先查最常用的那批;没查到,翻关系;还没有,回原文兜底。

好处不是答案更准,是不会空手回来。前一条走不通就接下一条。

再说一条知识该长什么样。平时存文档存的是一段话,知识库里存一条知识得带七样。

说的是谁、哪个属性、值多少、对什么条件适用、出自哪条、权威到哪一级、现在还作不作数。

前四样多数人会填。后三样最容易被跳过,差别要等出事那天。

知识图谱,是族谱。

管的是谁和谁有关系。这个型号配哪些备件,这台设备属于哪条产线,这个客户归哪个集团。

检索擅长找像的,图谱擅长找连着的。这是两件不同的事,做惯了检索的人容易忽略这一点。

语义层,是度量衡。

管的是一个词只有一个算法。销售额含不含税、算不算取消单、从哪天开始算。

没有这一层,同一个销售额在市场部是一个数,在财务部是另一个数。

五个词混着用,做出来的是五件半成品。

再回头看这五层的依赖,就顺了。

最下面的语义层没定,上面的知识库口径就是散的。知识库里的对象没统一,再往上的图谱画出来就是一堆断头的线。

所以五层不是平铺的清单,是叠起来的。底下那一层空的,上面堆多高都会塌。

这也解释了为什么很多项目从导文档开始,最后一定要推倒重来。起点选错了。

02  向量检索再准,也不等于知识库

把最常见的两种状态摆在一起。左边是很多企业现在的样子,右边是能拿去回答业务问题的样子。

维度

纯文档向量库

真正的企业知识库

存什么

文件切出来的段落

原文、条目、口径三类分开存

怎么找

按相似度取最像的几段

先定位到对象,再取它的属性

一个词几种说法

不知道,全存着

只有一个,其余记成别名

答得出关系吗

答不出,只能拼段落

能,沿着关系往下走

旧版怎么处置

和新版平权,写得长先出来

标为被取代,可查不可答

出错了查得到

一个文档名

第几版、哪一条、谁改的

 中间三行是分界。存什么、怎么找、一个词几种说法,这三行决定了后面三行答不答得出来。

能搜到、能返回文档,靠工具就够。答得出关系、分得清版本、追得到人,靠的是治理。

这里补一句公道话。向量检索这一层被低估过一阵子,现在又被高估了。

早年效果差,人说它没用。这几年太好用,人以为它什么都能干。

它解决的是找到,不是用对。

常用问题走最快的那条,关联问题走图谱,长尾回原文兜底,前一条走不通自动接下一条

我们做Kexis 的时候,这三类是分开存的。原文还归原文,结构化条目单独一份,指标口径单独一份,互相挂着编号。切碎了混在一个池子里,检索再准也补不回来。

03  多数翻车,栽在验收标准选错了

这一节讲的四个坑,看上去各是各的。其实一个根子,验收标准选错了。

验收看的是导入量、召回率、有没有上线。这三样当场都能演示。

而能不能回答业务问题,要等三个月才知道。

于是大家验收了能演示的那部分,留下了不能演示的那部分。

下面四个坑,都是这套标准下的必然产物。

第一个坑,把丢文档当成建库。

文档不是知识,这话谁都懂,做的时候还是会滑回去。因为丢文档最快、最好验收、汇报时最好看。

量不是没用,没有量覆盖率上不去。但量只解决有没有,不解决能不能用。

第二个坑,把召回准当成答案对。

召回率高,只说明找到了相关段落。可那段话可能是旧版本,可能是别的部门的说法,可能只对某个型号适用。

找对了段落,和找对了那句话,是两件事。有测算说知识类问答的错误七成出在检索这一步,这句话反过来同样成立。就算检索不出错,把对的五段话交给模型,它照样可能拼出一个错的答案。

第三个坑,一次性入库,以为一劳永逸。

行业里有一组数字,看着挺扎心。

一份调查里,知识管理工具导入之后还在持续更新的企业只有 4.5%,剩下 95.5% 处在形骸化状态,排第一的原因是信息不更新、一直是旧的,占 34.9%。

另据 Atlassian 的统计,企业 wiki 页面里有 47.2% 在十八个月内无人维护。

这两组数放在一起,结论很冷。九成以上的知识库,从上线那天起就在慢慢变旧,而没有人收到过任何提醒。

知识库不是被用坏的,是被导入那一刻骗了的。

第四个坑,把概念当同义词用。

这个最常见,也最贵。几个词混一次,架构就要重画一次。

知识图谱不是图数据库。图数据库是个存储,图谱是你对业务关系的理解。

本体不是分类法。分类法管东西放哪个抽屉,本体管哪些东西之间允许有关系。

语义层不是元数据目录。元数据说这张表叫什么,语义层说这个指标怎么算、对谁适用。

一家做工业设备的公司就栽在这儿。

启动会上定了三件事,导三万份文档,整理一本口径手册,画一张关系图。

半年后三个都做了一半。复盘时才发现,项目组三个人对「知识库」的理解,从头到尾不一样。

做数据的理解成文档检索,业务理解成能问答,架构师理解成知识图谱。

三套东西各做一半,谁也没做完。

还有一个更细的混淆,只在真做的时候才暴露。

同一个文件被新版本替代,多数系统的做法是留两个文件躺在库里。

听起来没问题,实际会出事。业务问一句这个数怎么算的,系统翻出旧版,答案理直气壮。

规范做法是两份都留,旧的那份标成被取代,可查不可答。

一个词用错,三年白做。

04  答不上三条,你的库只是搜索工具

不用问厂商,也不用看演示。拿这五条对着自家那套过一遍,一条一条打勾。

第一,随便挑一个数,能不能点回原文那一句。

注意是那一句,不是文档名。只能返回到文档,等于没做。

第二,同一个词,库里是不是只有一个说法。

如果有两个,就看它答的时候怎么处理。是反问、是并列呈现,还是自己挑一个。自己挑的,就是隐患。

第三,三年前那份制度,现在还能不能被答出来。

能答出来,但没有标注失效,这就是一颗定时炸弹。

第四,问这个型号配哪些备件,它答得出关系,还是只给几段话。

只给段落,说明还在第一层和第二层。

第五,明天新进来一份文档,谁复核、什么时候生效。

说不出人名的,这一条就是空的。

一条答案点开,能一路回溯到原文页码和段落高亮。证据不足的回答会显式告警,不把猜的包装成查到的

五条里答不出三条以上,那不是知识库,是搜索。

这话不客气,但比我讲十遍概念有用。

这五条我们落成过一组配置。四类条目分开建,指标口径、术语黑话、表关联、通用知识,每一条不是一段话,是一组字段。字段齐了,上面五问才答得出来。

05  建库顺序搞反,做得越多返工越多

多数企业的顺序是先导文档,再做结构化,最后才想起口径。

这个顺序,正是开头那三幕的来源。

第一步,先把口径定死。

挑一个业务天天问的指标,把怎么算、算不算什么、从哪天算这三样写清楚。

写进系统,不是写进文档。文档是给人读的,系统才是给机器执行的。这一条做不到,后面全白做。

第二步,把身份统一。

一个客户一个编码,一个型号一个编码。各系统保留自己的写法,全部挂到同一个身份上。

这件事最容易被拖,因为它不出现在任何一份汇报材料里。可它是后面所有关系的前提。

第三步,才轮到文档。

这时候导进来的每一份,都能挂到某个对象上,也知道自己属于哪一类,是制度、是方案、还是技术协议。

前两步没做完就导文档,导多少都是散页。

第四步,接上运营。

每个月进多少、退多少、谁复核、什么时候到期。这一步不做,前三条跑完就开始变旧。

运营这件事,最好别设计成一次专项运动。专项运动的问题是它一定会结束,结束之后就没人管了。

更省力的做法是让库自己动起来。被反复用的往上升,进到直答那一批。被点踩、或者很久没人碰的往下降,降到某个线以下的,自动进人工复核队列,派给对应的知识负责人。

被反复用的往上升,进到直答那一批;被点踩的往下降;跌破阈值的进人工复核队列,派给对应的知识负责人

升级、降级、强制复核,三个动作在跑,库就是活的。不靠治理专项,靠使用本身。

顺序对了,第一件成本最高,第二件开始就是复用。顺序反了,每一件都要重来。

一家金融客户按这个顺序走,六周沉淀了三千多条核心知识,指标口径、术语、表关联都在里面。快不是因为工具快,是前两步做完了,第三步才有地方挂。

写在最后

很多人总觉得,知识库的差距在存量、在检索精度、在大模型能力。

都不是。

文档堆得再多,检索再准,只要每一句话背后没有对象、没有规则、没有时效,它就永远只是一堆材料,不是知识。

真正的企业知识库,从来不是比谁存得多。是比谁能给每一句话做担保。担保它的口径、担保它的时效、担保它的出处。

存多少文档,决定了你上线那天的排场。有多少可信可用的知识,才决定了业务敢不敢真的用它做决策。

一排排文档躺在库里,那是仓库。知道每一句话算不算数,那才叫知识库。

如果你也遇上了这种情况,钱花了、系统也上了,业务还是绕开它自己找人问,可以用这份《企业知识库五条判断标准》对着自家过一遍。这五条不是坐下来想出来的,是从一堆做了一半的项目里一条条反推出来的。扫码二维码回复「知识库」即可领取

企业 AI 决策能力建设伙伴 以AI Agent 智能体技术为核心引擎

构建数据感知 、智能分析 、自主决策的全链路能力体系

       助力企业实现从经验决策到 AI 驱动决策的本质升级

数据分析平台-Data Analytics
数据大屏展示-Data Max
数据中台-Data Formula
         数据分析决策智能体—DataNeo
知识库—Kexis
官方微信公众号

北京数猎天下科技有限公司

网址:www.datahunter.cn

邮箱:marketing@datahunter.cn

欢迎致电:400-1024-262

END

#知识库#知识治理#RAG#AI落地#企业知识库#数据治理#Kexis

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料