ARTICLE · 1149640
给知识库出份期末考试卷
看过前面的内容,大概清楚了怎么从零攒一个知识库、怎么把文件制度理顺,但怎么知道它到底有没有用。我见过太多项目，上线那天界面挺漂亮，点两下也能出答案，老板看着满意，顾问拿着交付单走人。三个月后我再去问，没人用了。问题就出在-建完没人验收。好不好用，全凭当时那点好印象。项目验收这事办法只有一个：给它出一份卷子，用厂里的真题考它。
为什么非得考试
说白了，知识库最会骗人的地方，是"看起来能用"。
你随手问一句"我们厂有多少台设备"，它答得又快又顺，你心里一暖，觉得成了。可这个问题随便一个人都知道答案，考不出东西。
真正要命的是这句话：能答出来的，不一定答得对；答得对的，不一定有依据。
前一种最坑。AI 这东西有个毛病—不会的时候它不说不会，编一个像模像样的答案给你。你在现场问它"304 不锈钢能不能替代 316"，它张口就来一段，头头是道。业务员信了，报出去的价就是错的，一单几千块就没了。
后一种更隐蔽。答案对，但你不知道它从哪抄来的。这次对，下次换个问法可能就错，你摸不清它的边界在哪。
所以我不先问"它能答什么"，先问——我们平时最怕答错的是什么？从这个问题出发出卷子，一考一个准。
这坑我踩过。早些年一个项目，验收会开得挺热闹，客户当场问了十几个问题全答上了。两个月后业务员抱怨不准。回头一查，那十几个问题全是顾问自己编的，跟车间里天天被问的完全不是一回事。
出题就三条
出题不难，难的是别自欺欺人。我就认三条：
▪︎ 真实业务问题。不是"介绍一下我们的产品"，是那种下周一早上就会有人问的题——"上批客诉那批活，当时用的什么材料？"
▪︎ 有标准答案。答不上对错的题不能进卷子。"这批活该怎么报价"本身就是吵不清的事，考它没意义。
▪︎ 覆盖高频场景。报价、工艺参数、图纸版本、客诉追溯、设备点检，日常问得最多的几类，每类都得有题。
三条里最容易被忽略的是第二条。不少企业一上来就出"你觉得这事该怎么处理"，这种题 AI 答得再漂亮也没法判分。出题是为了判对错，不是为了显得高深。
题目从哪来
不用另造，全在厂里现成躺着。三个地方，一抓一大把：
▪︎ 老师傅工位旁边。车间一有事就有人跑去问老师傅：这批料能不能替代、这个件该给多少转速、这批活为什么老超差。老师傅一天被问八回的问题，就是知识库最该答上来的。
▪︎ 业务员的报价记录和微信。"这个材质这个尺寸大概多少钱""交期能不能压到十天"——业务员最常问的，就是客户最关心、你也最容易答错的地方。
▪︎ 客诉单和返工单。每张客诉单背后都串着一串"为什么"：这批为什么裂、那个批次为什么尺寸不对。能把客诉来龙去脉讲清楚的系统，才叫真有用。
题目分三档：基础题查得到事实，比如图纸公差、材料牌号，答不对说明知识压根没进去；进阶题要串两处信息，比如"这个零件用哪种装夹"，得同时看工艺卡和设备情况；陷阱题最能看出真假——
故意问一个资料里没有的东西，或者拿已经作废的旧版本图纸去问它。这档考的不是它会不会，是它该不该。
怎么判分
三个数，比什么召回率、准确率都直观：
▪︎ 命中率。基础题答对多少。这个数太低，说明知识根本没进来，后面不用看了。
▪︎ 引用准确率。不看答案对不对，看它引用的那份文件对不对。答案对、引的却是张作废图纸，等于没对——下次换个场景就翻车。
▪︎ 拒答率。我最看重的一个。陷阱题问出去，它该说"资料里没有"的时候，说没说。一个什么都能答的系统，比一个偶尔说"不知道"的系统危险得多。在车间，一个错的答案比十个"不知道"贵得多。
命中率治"有没有料"，引用准确率治"料对不对"，拒答率治"命保不保"。只看第一个数，最容易自我感动。
不及格，先别急着换系统
考砸了很正常。我出的第一份卷子，自己人做的系统都没及格。
但不及格不等于要换供应商、换平台。绝大多数情况下，问题就三层，从下往上查：
▪︎ 源文档。文件里混着作废稿、版本残留，那不管怎么检索都是错的。这层不干净，上面做多少优化都白搭。
▪︎ 切片。一份工艺卡被切得七零八落，检索回来半句话没法用。这层的坑最隐蔽，得看你们文件长什么样，才知道该从哪切。
▪︎ 检索。上面两层都干净了还答不准，才轮到调检索、换模型。
顺序不能反。我见过不少项目一上来就调检索，钱花了不少，根子还留在源文档上没动过。
这三层各自怎么判断、该动哪里，得看厂里文件的实际情况，没法隔着屏幕给答案。
考完之后
卷子及格了，是不是就能上线了？
还不行。
真正的考验是让人用起来。一个四十五岁、干了二十年的老师傅，凭什么愿意配合你，把脑子里的经验一条条说出来？这事比技术难多了。大家有什么好的办法与建议,调动一线人员积极性呢?
THE END