ARTICLE · 1236636

AI 问答机器人的测评集该怎么写?上线前先备一套“考卷”

发布时间：2026-10-23 20:05:16 最近访问：2026-10-23 18:50:09

很多团队验收机器人的方式是：产品经理随手问五六个问题，"感觉答得还行"就上线了。换了模型、改了知识库、调了话术之后，再凭感觉问一遍——至于到底变好还是变坏，没人说得清。

问题出在缺一套测评集（test set / evaluation set）：一份事先准备好的测试问题清单，每条都带着标准答案，每次改动后原样跑一遍、对比分数。这篇讲怎么把这套"考卷"搭起来。

Q1：为什么必须先有测评集？

核心判断：没有测评集，调优就是凭感觉；测评集是每次改动后跑回归、防止"改 A 坏 B"的基准。

机器人的效果不是一次性调出来的：知识库要持续更新、模型会升级、话术要改、检索参数要调。每一次改动都是一次"手术"——动了这里，不知道会不会伤到那里。没有基准集，就只能等客户投诉了才发现问题；有了基准集，改完先跑一遍，分数掉了立刻回滚，分数涨了再推广。

它的作用其实就三件：

回归基准：每次改动前后各跑一遍，分数可对比；
验收标尺：上线、续约、换供应商，都用同一套题量，不靠"我觉得"；
迭代档案：分数随时间留痕，哪次改动带来提升一目了然。

没有测评集的迭代，是在黑屋子里擦桌子——很努力，但不知道擦干净没有。

Q2：测评集的问题从哪来？

核心判断：测评集要收集"客户嘴里的话"，而不是"手册里的标准句"。

历史真实会话/通话记录（最真实，优先挖）：把近三个月的会话记录、通话转写导出，按出现频次排序，高频问题优先入集。客户怎么问，就怎么收；
工单、投诉、历史 FAQ：工单里反复出现的问题，往往就是机器人最该接住的；投诉里暴露的错答、拒答失败，是必收录的"错题"；
人工按业务场景补全：开户、交易、产品介绍、售后、投诉等场景逐一覆盖，把真实记录里没出现但业务上必然会问的题补上；
相似问/口语变体：同一个意思，客户会有多种说法，见 Q4。

一个常见错误是拿知识库的标准问句直接当测试题——那是"出题人自己的话"，线上客户根本不这么问，测出来的高分没有意义。

客户怎么问，题就怎么出；拿手册原句测出来的高分，是假的。

Q3：每条用例怎么构造？字段有哪些？

一条合格的测试用例，至少包含六个字段：

字段	写什么	示例
测试问题（含口语变体）	客户原话式问法，可附 2—3 个变体	"密码忘了在哪改？"
期望命中的标准知识	对应知识库哪一条、正确口径是什么	指向"交易密码重置"条目，含重置路径与时限
业务线/场景标签	开户/交易/产品/售后/投诉，便于分场景统计	交易·密码管理
难度	易/中/难（单一事实/需组合/需澄清）	中
期望动作	直接答 / 拒答 / 转人工	直接答
备注	易错点、版本注意、易混问题	与"登录密码"区分，勿引旧版路径

公开的 RAG 评测方法同样要求每条题携带：问题、金标知识块、参考答案和一句评分规则（rubric）。字段不用追求复杂，关键是每条题都能对照打分，而不是"看着差不多"。

Q4：问题要覆盖哪些类型？

核心判断：只收"能答对的题"是自欺欺人——测评集必须故意收那些"该拒答、该转人工、容易答错"的题。

建议覆盖七类：

正常高频问：客户最常问、机器人必须接住的；
长尾问：出现频次低但偶尔会来的专业问题；
边界问（超范围）：问的东西知识库没有，正确动作是说明无法回答并引导；
敏感/投诉/退款类：正确动作是转人工，机器人不得自行承诺；
应拒答类：如预测行情、收益保证、超授权范围的问题，必须拒答；
精确编号类：订单号、产品型号、代码编号，考验关键词精确召回；
同一标准问的多种口语变体：错别字、缺字、主谓宾残缺、冗长、精简、倒装。

以"修改交易密码"这一标准问为例，变体应该长这样：

类型	问法示例
标准问	如何修改交易密码？
口语精简	密码怎么改啊
倒装/残缺	改密码，在哪改来着？
同义替换	交易密码想换一个，从哪个入口进
混淆变体（易混意图）	我想改登录密码，不是交易密码
边界问（同领域不同意图）	密码输错三次锁住了怎么办
超范围（应拒答）	你们这只基金明天会不会涨？

只收"能答对的题"是自欺欺人；该拒答、该转人工的题，才是测评集的试金石。

Q5：数量和配比怎么定？

核心判断：起步不用追求大全，50—100 条真实高频问题就能跑起来，关键是持续扩充。

起步规模：行业通行做法是先用 50—100 条代表性真实问题做评估集跑分；更轻量的起步方案是先做 30 条（含单题、跨文档、无答案、冲突题各若干），够第一轮验收即可；

配比原则：正常问题为主力（70%—80%），拒答/转人工/边界类合计占 10%—20%，其余为长尾与精确编号题；

按业务量加权：哪类业务来话多，哪类题在集子里占比就高，不要平均分配；

持续扩充：每轮新发现的错答、新上线的产品，都补进测评集，让它跟着业务长大。

Q6：怎么打分？看哪些指标？

核心判断：召回率回答"找没找到"，准确率回答"找得对不对、是不是最新版"——两个都要看，只看一个会被骗。

指标	看什么	参考门槛（行业经验区间，非强制标准）
命中率/召回率	期望知识有没有被检索出来	70% 入门、90%+ 优秀[2]
答案准确率	召回的内容答对没有、是不是最新版本	与命中率分开统计
拒答正确率	该拒答的题有没有硬答	拒答率合理区间 15%—25%[3]
转人工识别率	投诉/敏感题有没有正确转人工	高敏感场景要求接近全转
口径一致性	同一问题多次问、不同渠道问，答案是否一致	无新旧版本并存冲突

特别提醒：召回≠答对。检索出了旧版政策、答了个"沾边但过期"的答案，召回率是满的，客户拿到的却是错的。所以准确率必须单独看，还要核对引用的是不是当前版本。

旧版答案也算"召回成功"，所以版本核对必须写进打分表。

Q7：四个最常见的坑

核心判断：测评集本身写错了，比没有测评集更危险——它会给你虚假的安全感。

全是书面标准问，没有口语变体：线上客户怎么说，测评集就怎么收；用手册原句测，高分是假的；

只测"能答"，不测"该拒答/该转人"：机器人敢对投诉和收益预测硬答，是最危险的失败；

一套测评集用到底不更新：新产品、新政策、新高频问题不补进去，老题满分也覆盖不了线上新问题；

只看召回率，不看答案对错和版本新旧：错的、旧的答案也算"召回成功"，容易被高分掩盖。

据行业观察，约四成 AI 客服问题属于知识库类问题（过期条目、新政策没索引、矛盾条目共存）——这些恰恰要靠测评集在上线前和迭代中反复暴露。

测评集本身写错了，比没有测评集更危险——它给你的是虚假的安全感。

👉立即启动

导出 50 条高频问题：从近三个月真实会话里按频次导出，客户原话照抄；
补三个字段：每条写上期望命中的知识、期望动作（直接答/拒答/转人工）、场景标签；
跑第一版基线：改任何东西之前先跑一遍、记下分数，这就是以后每次回归的起点。