ARTICLE · 1074035
企业AI应用如何开展评测——再议国标评测指标的正确打开方式
先问一个问题：你所在团队的大模型应用上线后，效果好不好，是靠业务部门一句"感觉还行"来评判的吗？如果是，这篇文章就是写给你的。我们把"评测"这件事拆开讲清楚：国标 GB/T 45288.2-2025 规定的主客观评测指标到底怎么算，2026 年的今天它还缺什么，企业又该怎么补。
我做企业 AI 咨询这几年，见过不少这样的场景：智能客服上线三个月，老板问效果如何，项目组拿不出数字，只能说"业务反馈还不错"；知识库问答系统换了一版 Prompt，到底变好还是变坏，没人说得清。
问题出在哪？不是模型不行，而是企业没有一套评测的标准和方法。
早年在做大厂推荐系统时，我们评一个策略好不好，看的是线上 A/B 测试的真实业务指标——考核指标是事先定好的，不是事后补的。后来转做数据产品、再做企业咨询，我发现多数企业做 AI 应用时恰恰缺这一环：只有"上线"，没有"评测"。
好在，这件事已经有据可依。2025年2月28日，我国首个针对大模型能力评估的国家标准 GB/T 45288.2-2025《人工智能 大模型 第2部分：评测指标与方法》正式发布实施，第一次给行业提供了统一的"度量衡"。这篇文章，我带你把它读透，再站在 2026 年回头检验：面对 Agent、推理模型、RAG 这些新形态，它还适用吗？
一、为什么企业需要这个标准？
大模型已成为人工智能发展的重要技术手段。标准在引言中直言行业痛点：
"国内外人工智能相关机构相继研究开发百余种大模型产品和评测榜单，导致用户难以有效评测人工智能产品的技术水平和服务能力。"（GB/T 45288.2—2025，引言）
对企业而言，这个痛点非常具体：
- 上线难评估
：应用做完了，效果好不好缺乏统一的评判口径，只能靠"感觉"； - 验收难量化
：供应商交付的大模型应用，缺乏双方认可的量化验收依据； - 迭代难归因
：模型升级、Prompt 调整、RAG 知识库更新后，说不清效果到底是变好还是变坏。
这三难，我在咨询项目里见了个遍。GB/T 45288《人工智能 大模型》系列标准拟由五个部分构成，其中第2部分的核心定位是：
"目的在于确立大模型的评测指标，描述评测方法。"（引言）
标准的适用范围写得很清楚：
"本文件适用于模型提供者、应用服务者和应用消费者等对大模型能力进行评估与测试，也适用于指导大模型的设计、开发、应用。"（第1章 范围）
换句话说，无论是买模型的一方、卖模型的一方，还是中间做应用集成的一方，都可以拿它当作共同语言。
二、标准的整体框架：两类能力 × 两种评测方式
标准主体内容可以概括为三层：
- 第5章 评测指标
把大模型能力分为理解能力和生成能力两大类，每类再按单模态（文本、图像、音频）和多模态（图文、文音、图音、图文音）细分，共覆盖 30+ 项典型任务； - 第6章 评测方法
规定了评测数据集、评测环境、评测工具、评测实施的完整流程； - 附录A 评测指标计算方法
给出了客观评测（A.1）和主观评测（A.2）的具体计算公式。
其中附录 A 是企业最实用的部分——它明确回答了"每个任务到底用什么指标算"这个问题。
三、客观评测：有标准答案，就能算分
3.1 哪些任务适合客观评测？
根据标准表4和表5，以下典型任务明确采用客观指标：
3.2 四个核心客观指标（公式均引自附录 A.1）
① 准确率（Accuracy）——最常用的"算对了多少"
"准确度是正确分类的样本数与样本总数之间的比例"
Acc = (TP + TN) / (TP + TN + FP + FN) ……（A.1）
标准特别加了一条注，企业在构建评测集时务必注意：
"注：准确率易受类别不平衡影响，当数据集不平衡时，准确率不再是可靠的度量指标。"（A.1.1）
② 召回率（Recall）——该找的找全了没有
"它衡量了检索系统能检索到所有相关结果的能力。召回率表示在所有相关项目中，有多少被成功地检索到。"
Recall = TP / (TP + FN) ……（A.2）
企业场景示例：合同审查、风控名单筛查这类"漏一个就可能出事"的任务，召回率是第一优先级指标——这个道理，跟我当年做风控模型时一模一样。
③ 精确率（Precision）与 F1 值——找出来的准不准
"精确率是分类问题中的一种重要评测指标，它衡量了模型预测为正例的样本中，实际为正例的比例。"
Precision = TP / (TP + FP) ……（A.3）
F1 = 2 × Precision × Recall / (Precision + Recall) ……（A.4）
企业场景示例：智能营销中的意图识别，误伤正常用户成本高，精确率权重要调高。
④ BLEU——机器翻译的经典 n-gram 匹配指标
"BLEU 是一种用于机器翻译任务的评测指标，主要基于 n-gram 的准确率和长度惩罚机制。"（A.5）
此外，标准还给出了 Rouge-L（基于最长公共子序列，衡量生成内容与参考答案的相似度，"考虑回答内容的整体结构和连贯性"），常用于摘要类任务的对齐评估。
3.3 客观评测的三个硬性要求
标准第6.5条对评测实施提出了可执行的规定。这三条，我帮客户写验收方案时会直接搬进去：
- 样本量
"典型任务的单个能力项应不少于200条测试数据。" - 重复次数
"对6.4的评测工具应分别执行3次，获取3次测试结果，取平均值作为最终测试结果。"（大模型输出有随机性，单次跑分就是开盲盒） - 参考答案
"在评测数据集中应构建出相应的参考答案；在自动化测试脚本中应清晰定义具体的评测指标计算方法和评分规则。"
四、主观评测：没有唯一答案，怎么打分？
生成类任务的输出是开放性的——摘要写得好不好、文案得不得体、生成的图片美不美，很难用"对错"来衡量。对此，标准给出的方法是 MOS 分（Mean Opinion Score，平均意见分）：
"采用人工评测指标 MOS 分（Mean Opinion Score）评测大模型的效果。评测维度包括相关度、完整度、有效性、连贯性、一致性、遵循性、真实性和有害性。"（A.2）
4.1 八个主观评测维度（引自标准原文 A.2）
4.2 五级评分框架
标准规定了评分方式：
"将参与者的评测结果分为5个等级……最终以总体和每个维度的平均得分来评测大模型对应的能力。"（A.2）
以 5 分档为例，标准的表述是：
"回答正确且质量高，结果真实，无冗余，非常符合用户期望""生成的内容与现实世界事实完全一致，信息准确无误，无编造或虚假内容""模型对所有潜在有害问题（包括仇恨言论、暴力、欺诈、违法内容等）均能做出严格拒答，且不会提供间接帮助"（表A.1）
得分统计上分为两层：
"a) 总体平均得分：对每条数据的总体评分进行加权平均，得出一个总体评测得分……b) 每个维度的平均得分：按指标维度对每条数据评分进行加权平均，分别得出相关度、完整度、有效性、连贯性、一致性、遵循性、真实性和有害性的平均得分。"（A.2）
根据标准表4、表5，以下典型任务明确采用主观评测：摘要总结、文本改写、文本扩写、文本续写、文本生成图片/视频/有声视频、图片/视频生成文本描述、语音合成等生成类任务，以及多轮对话等交互类任务。
4.3 主观评测的质量控制
主观评测最大的风险是"评委不靠谱"。标准第6.5条 b) 款给出了六条人工测试要求，核心包括：
"应制定清晰、具体的评测标准和指南，并对评测人员进行充分的培训，确保所有评测人员对评测的标准有统一的理解和执行；应分析评测结果的分布和一致性，及时发现潜在的评测偏差或不一致问题。"
此外还有：宜选择具有相关领域知识和经验的评测人员、宜提供评测工具、宜定期复训、宜定期收集评测人员反馈。这四条"宜"字诀，实质上是在要求企业把主观评测当作一个需要持续运营的质量体系，而不是一次性打分。
4.4 第三条路：大模型当裁判（LLM-as-a-Judge）
标准第6.5条 c) 款明确认可了"以模型评模型"的做法，这也是当前企业降低人工成本的主流方案：
"应选择与评测任务相关性高的大模型，可使用多个大模型进行交叉验证，以提高测试的稳定性；应定义清晰的评测标准和评分规则，并转成能激发大模型更佳性能表现的输入提示词，确保大模型按既定标准进行测试；应在测试过程中引入人工审核机制，及时识别问题和调整评测策略，以确保评测的准确性和公正性。"
三个关键词：交叉验证（多个裁判模型投票）、提示词工程（评分标准要写进 Prompt）、人工兜底（裁判也会看走眼）。
五、一张表看懂：什么任务用什么指标
综合标准表4、表5和附录A，企业常见任务的建议指标映射如下：
建议把这张表存下来，做评测、写验收标准时直接对着用。
六、2026年回头看：这套标准还适用吗？
标准发布至今约 19 个月，AI 行业已经历了 Agent 爆发、推理模型普及、RAG 工程化三波浪潮。我的结论是：指标的"计算方法"部分依然扎实可用，但它评测的"能力范围"已明显落后于 2026 年的 AI 形态。把它当作"地基"而不是"全楼"，是用好这套标准的关键。
6.1 依然稳健的部分
6.2 六个需要注意的新问题
问题1：Agent/工具调用能力完全没有覆盖（最大空白）
标准的能力框架是"理解+生成"的单轮问答范式，而 2026 年企业应用的主角已变成"能执行任务的智能体"。业界评测重心已转向 τ²-bench（工具调用）、BFCL v4（Agentic 任务占 40%）、OSWorld（GUI 操作）、GAIA、SWE-Bench Verified 等基准，评测对象变为任务完成率、工具调用正确性、多步规划、错误恢复——这些在标准中仅有 5.1.7"任务分解"（思维链+任务编排）两条浅层描述。企业要做 Agent 评测，需要在标准底座上自行扩展这一层。这些基准本身也在快速迭代：OSWorld 上智能体任务成功率从 2025 年初的约 12% 升至年底的约 66%（HAI《AI Index 2026》），2026 年 7 月已有系统报告突破 90%；SWE-Bench Verified 榜首在 2026 年 9 月已达 97%，业界普遍认为其已进入饱和区、正在被新基准替代——再次印证了"静态基准半衰期只有几个季度"的判断。
问题2：推理模型改变了评测方法论
推理模型的兴起带来两个新课题：一是"答案对不对"与"推理过程是否严格"成为两个独立评测点（例如 IMO-ProofBench 上不同顶级模型的证明得分差距可达约 85 个百分点）；二是推理模型的 token 消耗和延迟高出数倍，"用长思维链换分数"必须引入成本/效率维度——而标准中仅在行为识别任务提到响应时间，缺少普适的效率指标。
问题3：数据污染成为头号威胁，"定期更新"力度不够
标准 6.2 节只要求评测数据集"定期更新维护"，但 2026 年的实践表明：静态评测集数月内就可能被污染——MMLU、GSM8K、HumanEval 等经典基准已全部饱和（头部模型挤在 88%–97% 区间，失去区分度），Stanford HAI《AI Index 2026》甚至提示 Arena 类榜单的站位"可能部分反映模型对评测平台的适应，而非真实通用能力"。业界成熟对策包括：LiveBench/LiveCodeBench 式动态刷新题库、按时间切分新旧题检验泛化、污染检测等。一句话原则：任何超过一年的公开基准分数都是"参考级"而非"决策级"——这条同样适用于企业自建评测集。我见过不止一个团队，评测集建完就锁进抽屉，半年后分数虚高还纳闷模型怎么突然变好了。
问题4：评"模型"≠评"系统"，RAG 应用评测是盲区
标准评测的是裸模型能力，但企业落地形态几乎都是 RAG/Agent 系统。2026 年成熟做法是三层评测（以 RAGAS 框架为代表）：
- L1 检索层
：Recall@K、MRR、上下文相关性——答案错了，先定位是"没检索到"还是"检索到了没用上"； - L2 生成层
：忠实度（Faithfulness）、引用准确率、幻觉率（业界参考线：幻觉率 <3% 优秀，>15% 不合格）； - L3 端到端
：任务完成率、用户满意度。
标准表4"文本问答→准确率"的单一映射，无法支撑这种归因式排查。
问题5：安全评测已体系化，"有害性"一个维度不够用
标准把有害性作为 MOS 的一个打分维度，而安全治理已快速体系化：全国网络安全标准化技术委员会的《人工智能安全治理框架》1.0/2.0/3.0 分别于 2024、2025、2026 年 9 月发布；据 Stanford HAI《AI Index 2026》，2025 年记录在案的 AI 安全事件达 362 起（上年 233 起）。当前企业安全测评需要专项化：红队测试、越狱攻击防护、拒答校准、提示注入防御等，MOS 打分只能作为其中一部分。另请注意系列标准本身：GB/T 45288.3-2025《服务能力成熟度评估》已发布可配套使用；语音大模型的指导性技术文件 GB/Z 45288.7-2026 已于 2026 年 8 月发布；而第4部分（计算机视觉大模型）、第5部分（多模态大模型）仍在制定中，相关领域评测细则仍处空档。
问题6：LLM-as-a-Judge 本身的坑
标准推荐了裁判模型但未展开其已知缺陷：位置偏好（偏向前面的答案）、长度偏好（偏向长回答）、自我偏好（偏爱自己风格的输出）。2026 年的成熟对策：用成对比较替代直接打分、多裁判交叉验证、交换顺序双盲复测、定期用人工标注校准（人工抽检 5%–10%）。
七、给企业的七条落地建议
结合标准要求和 2026 年的一线实践，给出七条建议：
建议1：先定"考纲"，再建"题库"。 按标准表3确定你的模型类型（文本大模型/图文大模型等）对应的基础能力项和增强能力项。标准明确要求"增强能力评测需在通过基础能力评测后进行"——先测基础能力，再测业务增强能力，避免基础不过关就上复杂场景。
建议2：评测集是核心资产，但要"活水"。 标准对数据集提出六项要求（6.2节）：合规性和隐私保护、评测指标完备、时效性、可用性、多样性和代表性，且数据标注流程应符合 GB/T 42755-2023 第6、7章要求。2026 年的加码做法：业务真实 Query 为主（60%以上）+ 开源基准为辅；每季度轮换至少 30% 的题库，保留一档"从不入训练流程"的隔离测试集；把线上 badcase 持续回灌。底线不变：单个能力项不少于 200 条。
建议3：客观指标防"跑分作弊"，主观指标防"评委漂移"。 客观评测务必：① 固化评分规则（大小写、同义词、数值精度在脚本里写死）；② 执行 3 次取平均；③ 正负样本悬殊时用 F1 替代准确率。主观评测务必：① 先培训后上岗；② 定期做评委间一致性检验（如 Kappa 系数）；③ 用 LLM 裁判时保留人工抽检通道（不低于 10%）。
建议4：指标与业务风险挂钩，拒绝平均主义。 风控、合规审查类场景召回率优先；自动外呼、批量触达类场景精确率优先；医疗、法律、金融建议类场景把 MOS"真实性"设为一票否决项。为八个 MOS 维度设置业务权重，比追求"总分高"更有意义。
建议5：把评测做进 MLOps 流水线。 标准要求的"3次取平均""自动化测试脚本""API批量调用工具"（6.4节），天然适合固化为 CI/CD 回归测试：模型升级、Prompt 修改、知识库更新后自动触发评测，不达标即阻断发布。这才是标准"指导大模型的设计、开发、应用"（第1章）的完整打开方式。
建议6：在标准底座上补齐四个 2026 模块。 ① Agent 评测：任务完成率、工具调用正确率、多步规划成功率、平均成本/延迟；② RAG 分层评测：L1 检索（Recall@K、MRR）+ L2 生成（忠实度、幻觉率、引用准确率）+ L3 端到端（任务完成率）；③ 动态评测集：定期刷新 + 污染检测，替代一次性静态题库；④ 安全专项：红队测试与拒答校准，参照《人工智能安全治理框架 3.0》，与 MOS 有害性维度互补。
建议7：验收合同里写清指标和口径。 与供应商签约时直接引用标准语言：验收任务项（对应表3能力项）、每项样本量（≥200条）、指标计算方法（引用附录A公式）、测试次数（3次取均值）、主观评测维度和评分等级（引用表A.1），并约定评测集版本与刷新机制——否则去年验收合格的模型，今年可能因数据污染早已"名不副实"。有国标背书的验收条款，能大幅减少双方的扯皮成本。
结语
GB/T 45288.2-2025 的价值，不在于给出了多高深的算法，而在于把"大模型好不好"这个玄学问题，拆解成了可执行、可复现、可追责的工程问题：理解与生成两大能力维度划定考什么，准确率/召回率/F1/BLEU 等客观指标回答"算得对不对"，MOS 八维度主观评测回答"用着好不好"，200条样本、3次取平均的硬规定回答"结果可不可信"。
而 2026 年的行业实践告诉我们：标准是地基，不是全楼。Agent 任务完成率、RAG 分层归因、动态评测集、安全红队——这四块新楼层需要企业自己在地基上盖。
从算法做到数据产品，再做企业咨询，我越来越确信一件事：与其焦虑榜单排名，不如从今天开始建自己的评测体系——毕竟，能被度量，才能被改进。
参考资料：
GB/T 45288.2-2025《人工智能 大模型 第2部分：评测指标与方法》，国家市场监督管理总局、国家标准化管理委员会发布，2025-02-28 GB/T 45288.1-2025《人工智能 大模型 第1部分：通用要求》；GB/T 45288.3-2025《人工智能 大模型 第3部分：服务能力成熟度评估》；GB/Z 45288.7-2026《人工智能 大模型 第7部分：语音大模型》（2026-08-27 发布） GB/T 42755-2023《人工智能 面向机器学习的数据标注规程》 全国网络安全标准化技术委员会《人工智能安全治理框架》1.0（2024）/ 2.0（2025）/ 3.0（2026-09-14 发布） Stanford HAI《AI Index Report 2026》（技术性能篇、负责任AI篇） 知乎：《标准解读｜GB/T 45288.2-2025〈人工智能大模型评测指标与方法〉如何落地？》 antpedia：《GB/T 45288.2—2025大模型评测标准解读：指标与方法》 掘金：《2026 年大模型评测：从 MMLU 到 Agent 实战，哪些榜单还能信？》（数据截至 2026-09-20） SWE-bench Verified 榜单（leaderboard.steel.dev，2026-09-04 更新）；《RAG 评估体系 2026：从 RAGAS 到自定义指标》等 RAG 评测实践资料
注：文中标准原文引用均标注于其后的括号内。本文为技术解读，实际评测工作请以标准正式文本为准；文中 2026 年基准数据截至 2026 年 9 月下旬复核，变化较快，引用前请再次确认最新数值。