夜雨聆风
从本系列第一期到第十二期，我们已经构建了一个完整的 AI 评测框架——从数据质量、指标工程，到 RAG 全链路、多轮对话稳定性，再到用户长期适应。
但有一个问题我们一直没有直面：当评测规模扩大 100 倍，你能靠人手扛下来吗？
先算一道题：
3 个 AI 系统 × 2 个版本 × 12 个评测维度 = 72 个评测点但这只是开始：每周新数据重新评测 → ×4 = 288每次上线/更新前后评测 → ×10 = 2880覆盖新行业新场景 → ×3 = 8640
按每个评测点 2 小时人工计算，这是 1.7 万小时。20 人的团队，一年也做不完。
这就是本期要解决的问题：不是"怎样评测"，而是"怎样用一个平台，把评测这件事变得可持续"。
一、三个困境：为什么必须走向平台
困境1：不可扩展
前12期的每个维度各自有脚本、数据集、报告格式。任何一个变更都需要人工介入，规模一扩大就崩。
困境2：数据孤岛
指标工程的数据 → 存在 Excel评测观测的数据 → 存在 Grafana实验系统的数据 → 存在内部系统错误归因的数据 → 存在 Google Sheet
需要出一份综合质量报告，得从 4 个地方手工汇表。
困境3：反应滞后
如果评测是"每月一次"的手工工作，我们在第 31 天才发现用户满意度下降了——这时已经有 20% 的用户流失了。
问题的本质： 我们把前12期的评测体系当成了分散的、一次性的手工流程，而不是一套可运维、可自动化、可持续运行的系统。
二、解法：评测平台的四层架构
层1：数据层——标准化多源采集
把线上日志、离线评测集、用户反馈统一归一成同一种格式。
{ "timestamp": "2026-06-21T10:30:00Z", "system_id": "rag-system-v2", "dimension": "RAG全链路评测", "metric_name": "recall@10", "metric_value": 0.92, "metadata": { "data_source": "offline_eval", "sample_size": 5000, "eval_trigger": "weekly_scheduled" }}
层2：指标层——动态聚合各评测维度
把各维度指标聚合为"系统综合质量评分"，支持场景级权重调整：
评测维度 | 代表指标 | 建议权重 |
数据质量 | 数据完整率、一致性评分 | 20% |
指标工程 | Recall@K、精准率、延迟 | 30% |
版本稳定性 | 版本间回退率、错误分类变化 | 20% |
链路质量 | RAG召回率、多轮一致性 | 20% |
用户满意度 | NPS、满意度趋势 | 10% |
金融场景可以把"指标工程"权重提升到 40%，在平台层面配置，不需要改代码。
层3：执行层——DAG 工作流编排
触发器（定时 / 新数据到达 / 系统更新） │ ├─ 并行：拉取线上日志 ├─ 并行：准备离线评测集 ├─ 并行：加载用户反馈 │ ├─ 并行：数据质量评测 ├─ 并行：指标计算 ├─ 并行：版本对比 ├─ 并行：错误分类 │ ├─ 聚合：计算综合评分 │ └─ 输出：报告 + 告警 + 决策流
执行层的关键是可观测性：每一步的时长、成功状态、失败原因都被记录。
层4：呈现层——决策支持可视化
✓ 实时概览：综合评分 + 各维度雷达图 + 趋势曲线✓ 深度分析：跨场景/时间对标，根因诊断✓ 告警与决策：关键指标下降自动告警，新版本上线自动对比报告
三、从 0 到 1：分阶段建设路径
不要一次性建四层。MVP 路径：
第1-2周（1名工程师）✓ 覆盖数据质量、指标工程三个模块，统一写入 PostgreSQL✓ SQL 脚本聚合评分，cron 定时运行✓ Grafana 搭建 3 个基础图表第3-4周（1.5名工程师）✓ 扩展到执行引擎、评测观测、实验系统✓ Grafana 补充到 10 个图表✓ 接入 1 个真实生产系统第5-8周（2名工程师）✓ 覆盖全部 12 个评测维度✓ 引入 Prefect 工作流引擎✓ 开发告警系统，覆盖 3-5 个系统
关键原则： 先跑通一个系统的完整链路，再横向扩展。
四、规模化之后的真实收益
效率： 同样 3 个系统 12 个维度，自动化 5-10 分钟 vs 人工 2-3 小时 → 提升 20-40 倍
覆盖面： 月度评测 → 小时级持续监测；3-4 个关键维度 → 全部 12 个维度
响应速度： 发现问题 30 天 → 几小时；做出反应几周 → 几天
知识积累： 所有数据统一存储，原来靠经验回答的问题，现在可以自动分析：
✓ "最常见的失败类型是什么？"（错误归因分析数据）✓ "用户满意度的衰减规律？"（满意度追踪趋势数据）✓ "哪个模型在哪类场景表现更好？"（下期多模型对标数据）
总结
本系列前12期解决"怎样科学地评测"。本期解决"怎样让评测可持续、可扩展、可自动化"。
四个核心转变：手工 → 自动化 / 数据孤岛 → 集成存储 / 事后报告 → 实时监控 / 人工判断 → 数据驱动
下期预告
有了这套基础设施，下期要做的"跨模型对标"才变得现实——可以同时对 10+ 个模型运行全部 12 个评测维度。
下期：《AI 评测体系建设（十四）：跨模型对标——同一场景下的模型评测与选型决策》
✓ 公平对标的前提条件是什么✓ 成本-性能权衡的决策框架✓ 为什么选错模型的代价远大于预估
