乐于分享
好东西不私藏

花了几十万上AI客服,准确率不到60%,这笔账该算在谁头上

花了几十万上AI客服,准确率不到60%,这笔账该算在谁头上

这几年教育行业上AI客服的机构越来越多,但效果参差不齐。我做企业知识管理这块,接触过不少教培行业的客户和同行,听到最多的反馈就是:钱花了,系统上了,AI客服答出来的内容跟家长问的对不上。

不是模型不行。现在主流的大模型底座能力都够用,GPT-5、DeepSeek、Qwen,哪个拿出来都能打。但一到教培场景里,准确率就是上不去。

我做了8年企业知识管理和RAG落地,今天说一句得罪人的大实话:教培机构的AI客服答不对,问题九成不在AI模型身上,而在你们企业自己的知识库建设上。

甚至更扎心一点,你那不是知识库,那就是个”电子垃圾堆”。


一、你的知识库,就是个过期弹药仓库

很多机构上线AI客服的逻辑特别简单粗暴。IT部门把服务器搭好,然后让大家把电脑里的文档、网盘里的PDF、聊天记录里的FAQ,一股脑全扔进去。觉得只要文档够多,AI就能自学成才。

结果就是,AI学废了。

前阵子一家做素质教育的机构找我吐槽。一个家长在系统里问:”暑假还能上学科类培训吗?”AI信心满满地回了一句:”可以的家长,我们的暑期冲刺班完全合规,现在报名还有优惠。”

这话放在三年前没毛病。但当地”双减”细则两个月前刚更新过,明确暑假禁止一切学科类补课。AI为什么这么回?因为在它的知识库里,那份过期的《暑期招生话术V2.0》文档,权重比新下发的政策文件高得多。 AI不懂政策,它只认文档里的文字。

这就是典型的知识版本管理缺失。 教培行业的知识是有”保质期”的。政策在变,价格在变,排课在变。你的AI拿着去年的地图,怎么找得到今年的路?


二、知识散落一地,AI捡不起来

还有更让人哭笑不得的。

家长问:”我上周刚买的课,现在想退费,怎么算?”AI客服热情洋溢地回复了一大段,内容是新课程介绍、满减优惠说明、还有转介绍福利。家长肺都气炸了,我是来要钱的,你还想掏我口袋?

为什么会这样?因为退费这个问题背后,知识是碎片的、断裂的。

一个家长看似简单的问题,背后牵动的是六个维度的信息:课程大纲在教研老师的飞书文档里,校区地址和排课表在教务系统后台里,价格优惠在销售总监的Excel表里,退费规则在法务网盘的合同模板里,最新合规政策在行政专员的电脑桌面上。

你把这些散落在各个角落的”散装知识”扔给AI,它只能像个新来的实习生,在一堆废纸里翻找,看到”课程”俩字就抄上去,看到”优惠”俩字也抄上去, 拼凑出一段看起来通顺、实际上牛头不对马嘴的废话。


三、AI活在”离线”世界,拿不到真实数据

教培机构的知识耦合度太高了。你买个手机,参数是固定的,价格是透明的。但你问一个关于孩子画画的问题,AI需要知道:孩子多大?零基础还是有基础?想上素描还是创意画?家附近哪个校区有名额?这个老师的资质是什么?现在报名能不能用那张快到期的优惠券?

AI手里没有这串钥匙,它就开不了这把锁。

更头疼的是动态数据的问题。双十一的时候,一家机构搞了三天大促,价格降了不少。活动结束第二天,运营忘了通知IT下线活动文档。结果AI客服继续按优惠价给家长报价。家长拿着截图来报名,机构前台一脸懵。认还是不认?认了亏本,不认家长说你欺诈。

教培行业的投诉,退费问题占了七成多。 而绝大多数退费纠纷,根源就在于信息不对称和承诺不一致。排课系统里有几节课消耗了?CRM里销售当初答应了什么?支付系统里实际付款是多少?这些实时数据AI拿不到,它就注定只能是一个读稿机器。


四、答对率是乘法题,短板决定一切

我们内部看一个机构的AI客服能不能用,不看它回答得多花哨,就看一个指标:答对率。

而这个答对率,其实是一个乘法公式:

答对率 ≈ 意图识别 × 知识命中 × 版本正确 × 地区适配 × 动态数据可用 × 权限合法

这六个环节里,只要有一个掉链子,最终结果就是零。 很多机构只盯着”意图识别”去调模型参数,后面五个环节全是坑,地基建在沼泽上,上层建筑再漂亮也得塌。


那怎么解决?

别总想着一步到位上什么高大上的智能体。先把最基础的事情做对。

第一,收口高频高损失场景。 别啥都想让AI答。先把退费、价格、排课、师资这四个投诉重灾区的问题整理出来,做成结构化的知识卡片。每张卡片写清楚:适用哪个城市、哪个校区、哪个年龄段,前置条件是什么,核心回答是什么,什么情况必须转人工。一问一答,清清爽爽,别让AI瞎发挥。

第二,给知识加上”保质期”。 给每一条知识打上生效时间和失效时间,建立严格的版本更新机制。谁更新,谁审批,谁上线,得有流程。过期的文档,该归档归档,该下线下线。余位、开班状态这类动态字段,缓存不能超过几分钟。涉及退款金额、跨校区转班这类高风险问题,AI只能解释规则,不直接做最终承诺。

第三,接上线头,让AI能查真实数据。 把AI的接口跟排课系统、CRM系统、合同管理系统连上。让AI能去查真实的余课、真实的老师状态、真实的合同条款。知识库不能只是一个文档库,它得跟业务系统连起来,形成一张能被机器正确调用的知识网络。

做完这三步,我见过的案例是:准确率从40%拉到了89%,月均投诉从30多起掉到了个位数。


模型决定上限,知识决定下限

模型能力决定你的AI上限能有多高,但知识工程的扎实程度,决定了你的AI下限能有多低。 而用户的体验,往往就是败在那个最低的下限上。

你用GPT-4也好,用DeepSeek也好,用Qwen也好,如果喂给它的知识是过时的、碎片化的、没有关联关系的,它输出的答案照样是错的。而且这种错比没有还糟糕,因为它”看起来很专业”,家长信了,结果发现是错的,信任直接崩盘。

头部机构通过精细化知识库建设,AI客服准确率能做到92%以上;中小机构如果知识库还是散装状态,准确率往往不到60%。差距不在模型,在知识工程。

下次如果你的AI客服又答非所问了,别急着去调参,也别急着骂供应商。先打开你的知识库看一眼,那里面塞的到底是弹药,还是一堆过期变质的粮草。


我长期从事企业知识管理与非结构化数据管理实践,对RAG、知识图谱、智能搜索等AI应用场景有深入研究。如果你的机构也在为AI客服”答不对”发愁,欢迎交流。