一、评测目标

建立可量化、可复现的AI客服回答质量评估体系，当前阶段目标是将答案准确率提升至95%以上，为后续工单拦截率和业务价值验证提供数据基础。

二、核心指标定义

注意："AI主动说没有答案并转人工"不算答错，不计入准确率的分母，属于诚实兜底。

三、评测方法一：人工标注评测集（基线评测用）

3.1 样本抽取

• 样本来源：近30天真实用户工单（取工单标题作为用户问题）

• 样本量：首次评测抽取 300条，确保统计显著性

• 抽样规则：

  • 随机抽取，避免只挑简单/困难问题

  • 覆盖各服务目录（按工单量占比分层抽样）

  • 排除重复/无效问题（如纯表情、测试工单）

3.2 标准答案制作

• 责任人：帮助台资深工程师（每服务目录1人）

• 产出：每条问题对应一份"标准答案 + 操作步骤"

• 质量控制：由业务负责人抽检10%，确保标准答案本身准确

3.3 打分标准（每条问题四选一）

3.4 执行流程

1. 运营同学导出300条工单标题 → 整理成评测表格

2. 调用AI客服接口批量获取答案（模拟真实用户提问）

3. 2名标注员独立打分 → 不一致的由业务负责人仲裁

4. 统计各等级数量 → 计算准确率 → 输出评测报告

3.5 评测频率

• 首次：立即执行，拿到基线数据

• 常规：每两周一次（每次100条），跟踪优化效果

• 知识库重大更新后：加测一次

四、评测方法二：badcase反向分析（日常运营用）

4.1 badcase定义

所有“AI返回了答案，但用户仍然提交工单转人工”的案例。

4.2 每日分析流程

1. 系统自动拉出前一天的badcase清单

2. 按以下四类归因（每条标一个主因）：

1. 每日同步badcase Top10给知识库维护同学

2. 每周汇总归因占比变化，判断优化方向是否有效

4.3 准确率下限估算

答案准确率下限 ≈ 1 - (A类+B类 badcase数) ÷ AI返回答案总数

这是保守估计，因为D类（用户未看）不算答案错误。真实准确率 = 下限 + D类占比。

五、评测方法三：工程师采纳埋点（持续采集用）

5.1 埋点设计

在帮助台工程师处理工单的界面，AI答案区域增加两个按钮：

• 采纳：答案正确，可以直接用

• 不采纳：答案有问题（需选择原因：匹配错误/内容不全/表述不清）

5.2 数据应用

• 工程师采纳率作为准确率的实时代理指标

• 不采纳的工单自动进入badcase池，触发QA优化任务

• 按月统计各服务目录的采纳率排名，找到薄弱模块

六、用户回访验证（定性补充）

6.1 回访抽样

• 每天从"AI给了答案但用户仍转人工"的工单中抽 5-10条

• 优先抽D类（疑似用户未看）和C类（表达问题）边界模糊的

6.2 回访话术

“您好，我是IT帮助台的同学。看到您之前通过AI客服咨询了XX问题，后来又提交了工单，想了解一下是AI给出的答案没能帮到您吗？具体是哪方面的问题呢——是找不到相关内容、还是答案看不懂、或者操作了没解决？”

6.3 回访产出

• 每周汇总回访发现，更新归因分类

• 发现"答案正确但用户不信任"的比例，为前端交互优化提供依据

七、结果输出与迭代

7.1 周报模板

• 本周核心数据：覆盖率、答案准确率、拦截成功率、工程师采纳率

• badcase归因分布（饼图）

• 本周新增/优化QA数量

• 下周优化重点（针对占比最高的归因类别）

7.2 迭代闭环

评测发现问题 → 定位归因 → 针对性优化（补QA/去重/改文案）
    ↑                                            ↓
    └────  两周后复评测效  ←─────────────────────┘