夜雨聆风
整理编辑｜TesterHome社区
商界做量化分析的从业者常挂在嘴边一句至理名言：无法量化衡量的事物，就无从管控优化。如果这条道理适用于人类智能，那么人工智能同样遵循这套逻辑。
我们该如何衡量智能体与大语言模型（LLM）？行业目前才刚刚搭建起成套的量化评估体系。
下文汇总了33 项大语言模型评测指标，面向模型开发者、运维人员、AI 应用使用者，覆盖响应速度、运行效率、输出质量、服务稳定性等多个维度。
1.首词元生成时延（Time to first token）
模型生成第一个词元需要耗时多久？
对于有严格延时限制的实时业务场景，更快的响应速度至关重要。众所周知，用户哪怕仅等待几毫秒，都会产生明显负面感受。前端交互研发团队数十年前就总结出一条经验：当用户等待AI回复时，软件必须做到快速响应。仅仅几秒的延迟，就足以让用户切走窗口查看邮件、跳转其他页面。
首词元生成时延非常适合评估面向普通用户的对话模型——人类注意力分散、耐心有限，这项指标能直观反映模型给用户带来的等待体验。
2.单输出词元平均耗时（Time per output token）
用完整回复的总耗时，除以模型输出的总词元数量，即可得到该指标。首词元时延衡量模型启动回复的速度，而本指标代表模型持续生成后续内容的平均速率。
基础架构大语言模型的这项数值通常相对稳定：完成输入填充（prefill）阶段、进入解码阶段后，词元会匀速持续输出。当输出文本足够长时，启动阶段的首词元耗时会被均摊，整体影响变小。
但部分复杂架构模型会加入规划循环、调用多工具拉取数据，当智能体频繁切换决策逻辑时，平均生成速度会出现明显波动。
3.每秒生成词元数（Tokens per second）
该指标就是单词元平均耗时的倒数。有时业内会单独拆分流水线不同阶段，分别统计各环节每秒词元产出量。
4.吞吐量（每分钟请求数 Throughput）
若服务需要同时承载多名用户，统计单位时间处理的请求总量很有参考价值。吞吐量指标能直观体现新一代推理流水线的优势：这类架构在并发处理多条提示词时，资源利用率更高、承载能力更强。
5.错误率（Error rate）
并非所有用户请求都能正常返回结果。错误率统计各类异常阻断正常回复的发生频次，包含接口限流、请求超时、模型主动拒绝回答三类场景。精细化评估会分开统计三类故障，因为不同类型的失败发生概率差异极大。
6.词元利用率（Token efficiency）
模型运行过程中并非所有词元都会最终展示给用户，大量中间词元不会出现在输出结果里。词元利用率用于衡量：产出最终答案，模型需要额外消耗多少冗余词元。
模型架构越复杂、智能体能力越强、推理流水线越完善，词元利用率往往越低。智能体的逻辑推理、任务规划环节会产生大量仅用于内部计算、不对外展示的词元。该指标也能直接反映模型运行的成本高低。
7.长尾时延（Tail latency）
只统计平均回复时长固然简单，但少数极端缓慢的响应会彻底拉低用户整体体验。部分业务场景要求全程稳定高性能——试想自动驾驶车辆如果只是“平均”下发转向指令很快，无法做到次次及时，谁敢乘坐？哪怕99%场景正常，剩余1%的延迟也会引发安全隐患。
长尾时延结合排队论与精细化时延采样，专门统计时延分布曲线尾部的极端最差情况，适用于无法容忍偶发卡顿的业务。
8.总拥有成本（Total cost of ownership, TCO）
通过API调用、向服务商采购模型输出的团队，一般只关注每百万词元调用单价，相当于“租用”算力；但自研团队需要采购显卡、承担电费，还要叠加硬件折旧、运维等隐性成本，核算出生成词元的真实综合成本。
总拥有成本受业务并发量、硬件资源利用率影响：即同时发送提示词的用户规模，以及模型在单张显卡、显存中的部署效率。
9.参数规模（Parameters）
绝大多数模型名称后会标注带字母B的数字，大致代表模型参数量，也就是模型根据输入生成文本所依赖的变量总量。例如70B，代表该模型拥有约700亿参数。
参数量可以粗略判断模型复杂度、训练数据体量，数值越大，通常意味着模型存储了更多知识，但也需要显存更大的高端显卡才能完成推理。
不过该指标精度有限：模型架构的其他模块同样会影响推理成本与输出效果。行业技术持续迭代，如今经常出现参数量仅为旧模型1/2、1/3，但效果更优的新型模型。
10.幻觉生成率（Hallucination rate）
所有人都希望大模型输出内容真实准确，但精准度的量化评估难度很高，何为“真实”本身就存在判定争议。
主流评测方案：让大模型总结一篇文档，再用另一套评测模型校验摘要与原文的匹配度。该方法虽无法捕捉所有细微失真，但能筛除严重违背事实的虚假内容。
业内也有研究者构建带标准答案的专业测试集，模型输出贴合标准答案即可获得高分。主流幻觉评测基准：TruthfulQA、HaluEval、QAFactEval、Vectara幻觉评测模型（HHEM）。
11.有害内容与偏见评分（Toxicity and bias scores）
如果说准确度难以衡量，识别带偏见、攻击性的违规输出则更具挑战——有害、歧视内容的定义边界十分灵活。
目前已有团队训练专用识别模型，针对特定敏感概念、不当措辞做检测，能够拦截大部分极易引发舆论风险的明显违规内容。主流工具：Granica Screen、Perspective API。
12.个人身份信息泄露率（PII leakage）
行业一大核心风险：大模型会记忆训练数据中的私人敏感信息。基础检测手段可通过正则表达式匹配信用卡16位卡号这类特征隐私文本。多数模型研发团队会在训练前，彻底清洗训练集中的个人身份信息（PII）。
13.工具调用准确率（Tool-calling accuracy）
随着模型智能体能力升级，大多会接入各类工具、模型上下文协议（MCP）网关辅助检索信息，但并非所有模型都能合理调用工具。工具调用准确率统计模型能否根据任务，选择适配的工具。代表评测榜单：伯克利函数调用排行榜（BFCL）。
14.提示词敏感度（Prompt sensitivity）
该指标衡量提示词措辞微小改动，会让模型输出产生多大差异。原理类似微积分导数，一般通过批量测试提示词实验测算。
行业存在多种评测方案：部分测试集仅同义改写用户需求，语义完全不变；另一类会变换提问格式，区分有无示例的场景。专用评测工具：PromptSE、ProSA。
15.语义相似度与内容简洁度（Semantic similarity and conciseness）
该类指标将模型回答与标准参考答案做比对打分：把文本送入向量化嵌入模型，在检索增强生成（RAG）向量库中匹配相似标准答案。
既能判断输出是简洁精炼还是冗余啰嗦，也能观测温度（temperature）等生成参数变化带来的内容波动。经典评测指标：BERTScore。
16.事实贴合度评分（Grounding score）
大量结合向量检索的RAG系统，会使用事实贴合度基准评估整套链路效果：向大模型传入向量检索获取的参考资料，检验模型输出对参考资料的依赖程度——区分回答内容是引自给定文档，还是单纯复用模型训练知识。
主流评测套件：RAGAS、TruLens、自动化RAG评测系统ARES、检索增强生成基准RGB、HaluEval、HalluHard。行业同义概念：上下文遵循度、上下文精准率、上下文召回率、事实忠实度。
17.模型输出波动性（Model variability）
绝大多数大模型内置随机熵值，由温度参数（temperature）控制。输出波动性衡量：相同提示词多次请求，模型回答的差异程度。
聊天机器人这类场景需要适度波动，随机性会让对话更自然生动；但法律、医疗等关键业务，输出反复变动会大幅降低用户信任度。
18.格式合规率（Format compliance rate）
很多业务要求模型输出严格结构化数据，例如JSON、CSV格式，方便下游流水线二次处理、入库存储。格式合规率覆盖多种通用结构化格式，统计模型返回语义完整、格式无误数据的概率。
串联多模型、多工具的智能体系统，高度依赖格式合规表现优异的大模型。
19.指令遵循能力（Instruction following）
部分提示词包含严苛细化要求，可通过标准化测试量化模型的遵守程度。例如限定输出恰好300字、创作对仗格律诗。评测集批量提供可量化校验的提示需求。
代表评测基准：IFEval、FollowBench，以及前文提到的伯克利函数调用排行榜BFCL。
20.子目标完成率（Subgoal success rate）
智能体模型普及后，需要拆分评估整套任务规划里每一步细分目标的完成效果。所有综合指标均可拆解，单独追踪每个子目标的达成情况。
21.规划稳定性（Plan stability）
智能体会先生成整套任务执行规划，部分模型具备中途放弃、动态调整方案的能力。规划稳定性统计模型修改原有规划的频次。频繁调整规划存在两种解读：智能体规划能力不足，或是模型灵活应变能力强，两种情况可能同时存在。
22.自我修正评分（Self-correction score）
部分智能体具备复盘自查、识别自身错误的能力。自我修正评分统计：模型出现错误后，能否自主发现问题；或在收到反问“你确定回答无误吗？”后，修正原有错误输出。
23.越狱抵抗能力（Jailbreak resistance）
部分用户会设计各类诱导话术，绕过模型内容安全限制，迫使模型输出违禁内容。早期大模型极易被“剧情创作、小说虚构”这类话术欺骗，放开限制讨论敏感话题；新一代模型搭载更完善的安全防护机制。
越狱抵抗能力主流评测集：JailbreakBench、AgentHarm、Tele-AI-Safety。
24.提示注入漏洞风险（Prompt injection vulnerability）
外部不可信数据、第三方扩展工具可能夹带恶意隐藏指令，劫持模型行为。Skill-Inject、SPIKEE（提示注入简易评测工具）等基准基于已知攻击向量，量化模型遭受定向提示注入攻击的易受程度。
25.版权侵权风险评分（Copyright infringement score）
部分大模型会直接复述训练语料原文，形成抄袭、版权侵权风险，尤其训练素材未完成商用授权时问题突出。该指标统计模型原文照搬训练数据的频次。配套检测工具：CopyrightCatcher、DE-COP。
26.RULER 长上下文评测基准
衡量模型从超长上下文里提取关键信息的能力。经典“大海捞针”（NIAH）测试仅验证长文本检索能力；RULER在此基础上拓展，可调整关键信息（针）的类型、数量、上下文总长度（草堆）与任务复杂度，全方位测试长上下文理解。
27.GSM8K 小学数学8000题基准
全称Grade School Math 8K，研发团队收录8500道小学典型数学题，专门评测大模型分步求解数学题的能力。该基准表面测试算术作业，底层同时校验模型搭建完整逻辑推理链的水平。
28.GPQA 研究生级硬核问答基准
全称Graduate-Level Google-Proof Q&A，收录数百道理工科研究生难度难题，选题特意筛选普通外行极易答错的内容。“无法谷歌检索”代表题目无法通过搜索引擎快速获取标准答案，大幅提升评测难度。
29.MMLU-Pro 增强版多任务语言理解基准
在大规模多任务语言理解数据集（MMLU）基础上升级，覆盖生物、化学、经济、法律等通用学科，总计12000余道考题，全面检测模型综合科学知识储备。
30.MBPP 基础Python编程基准
谷歌推出，全称Mostly Basic Python Problems，用于评估代码解题能力。每道题目包含需求描述、标准正确代码、多组测试用例，统计模型通过测试用例的正确率，可直观判断模型处理简单Python开发需求的水平。
31.SWE-bench 软件工程评测基准
收录数千道真实软件开发难题，素材取自十余个Python开源项目的历史缺陷工单与对应修复合并请求。初代基准存在局限性，后续衍生出SWE-Bench+、SWE Bench Verified、SWE-Bench Pro三个增强版本。
32.LMSYS 聊天机器人竞技场
不同于固定测试提示词集，大型模型系统组织（LMSYS）的竞技场采用动态对比机制：向多款模型输入完全相同的提示词，由真人人工投票选出最优回答。模型两两对决后，生成类似国际象棋选手Elo积分的综合排名。
33.使用成本（Price）
前文所有指标都具备实用价值，但正如房产中介的口头禅：房源最重要的三个要素永远是价格、价格、价格。对AI项目而言，成本权重虽略有下降，但依旧关键。
模型成本高低直接决定项目能否盈利，或是持续亏损。单轮推理成本只要小幅上浮，即便提升调用规模也无法摊薄亏损。
但这里有一条核心前提：如果低价模型充斥大量虚假幻觉甚至更严重缺陷，单纯追求低成本毫无意义。不同模型输出质量差距极大，为节省微小开支选择劣质模型，最终会酿成更大损失。
行业模型技术路线百花齐放，选型逻辑变得更加复杂；部分场景值得多投入预算，换取输出风格、逻辑贴合业务需求的优质模型。
LLM评测指标系统学习的一些建议
这33个指标完整覆盖推理性能、输出质量、智能体能力、安全合规、专业能力基准、成本管控六大板块，兼顾学术评测与工业落地监控，切忌死记硬背，建议按「分类梳理→场景理解→动手实操→业务落地」四步循序渐进学习，搭配岗位定向侧重点提升效率。
一、入门阶段：先做分类，搭建知识框架
不要逐个孤立记忆指标，先按用途划分五大模块，用思维导图整理，快速建立整体认知，同时区分两类核心属性：线上实时监控指标（运维/业务常态化观测）、离线评测基准（模型选型、迭代测试使用）。
1. 五大分类拆分
1）推理与成本类（线上监控核心）：首词元时延、单token耗时、每秒词元、吞吐量、错误率、Token利用率、长尾时延、总拥有成本TCO、价格；
2）输出内容质量类（通用场景必学）：幻觉率、提示词敏感度、模型波动性、语义相似度、事实贴合度、格式合规率、指令遵循能力；
3）AI智能体专属指标：工具调用准确率、子目标完成率、规划稳定性、自我修正得分；
4）安全合规风险类（企业刚需）：毒性偏见评分、PII泄露、越狱抵抗能力、提示注入漏洞、版权侵权分；
5）标准化专业能力基准（离线选型测试）：RULER长上下文、GSM8K数学、GPQA专业问答、MMLU-Pro综合知识、MBPP/SWE-bench代码、LMSYS人工竞技场。
2. 入门学习小技巧
每个指标只记2个核心信息：定义+适用场景，不用背诵原文长段落；
标记易混淆指标做对比笔记：如TTFT（启动速度）vs Time per token（持续生成速度）、Grounding Score（RAG事实匹配）vs 语义相似度（文本匹配）、NIAH（简易长文本测试）vs RULER（复杂长上下文评测）。
二、进阶阶段：绑定业务场景，读懂指标的实际价值
学习核心：明白「什么业务，重点看什么指标」，避免只会背定义、分不清指标优先级。按业务场景对应记忆：
1. C端对话机器人（客服、聊天AI）
优先掌握：时延相关指标、长尾时延、幻觉率、毒性偏见、越狱抗性、模型输出波动性；核心痛点是用户等待、不实回答、违规输出。
2. 企业知识库RAG问答
重点吃透：事实贴合度Grounding Score、RULER长上下文、幻觉率、PII泄露、上下文忠实度；核心痛点是AI脱离检索素材乱编内容、泄露隐私。
3. 工具调用/自动化智能体
主攻：工具调用准确率、子目标完成率、规划稳定性、自我修正评分；核心痛点是AI选错工具、任务中途频繁改方案、无法自查错误。
4. 代码生成、开发辅助模型
重点：MBPP、SWE-bench、格式合规率；核心痛点是代码报错、无法输出标准结构化代码。
5. 私有化本地部署（自研GPU算力）
深耕：TCO总拥有成本、吞吐量、Token利用率、单百万词元价格；核心痛点是算力成本过高、并发承载不足。
6. 医疗、法律等高可靠场景
严控：模型波动性、幻觉率、指令严格遵循、越狱抵抗；核心痛点是输出不稳定、虚假专业内容带来合规风险。
7. 补充学习要点：吃透各评测基准的优缺点
分清学术榜单的适用边界，例如GSM8K仅能评测小学数学，无法衡量高阶数理；LMSYS竞技场依靠人工主观打分，适合体验对比，不能做客观量化标准。
三、实操阶段：动手验证指标，脱离纯纸上学习
所有指标只有落地测算才能真正理解，推荐低成本实操练习：
1. 性能指标实操（任意开源/商用大模型均可）
调用模型接口，批量发送请求，手动统计TTFT、每秒生成词元、总token消耗，计算Token利用率；多并发测试，直观感受吞吐量、长尾时延带来的体验差异。
2. 质量与幻觉实操
使用RAGAS、HHEM等开源工具搭建简易评测流程，批量测试文档问答，自动计算Grounding Score与幻觉率；改写同一问题的提示词，观测提示词敏感度带来的输出变化。
3. 安全与越狱实操
构造经典越狱提示、隐藏注入指令，批量测试模型，统计越狱抵抗能力、提示注入漏洞风险；批量下发JSON格式需求，统计格式合规率。
4. 智能体简易实操
搭建基础函数调用Agent，测试多步骤任务，记录工具调用正确率、子目标完成情况，理解规划稳定性指标。
四、落地阶段：整合指标，搭建完整LLM评测体系
学习最终目标是能独立输出一套模型评估方案，需要区分两套体系分开运用：
1. 离线准入评测（模型选型、微调迭代时使用）
组合使用：MMLU-Pro/GSM8K/代码基准（基础能力）+ 幻觉、安全评测集（内容风险）+ LMSYS人工打分（用户体验）；用于筛选合格模型。
2. 线上持续监控（模型上线后常态化观测）
组合使用：时延、吞吐量、错误率、Token成本（运维指标）+ 实时PII检测、违规内容识别（安全指标）；长期稳定监控线上风险。
3. 学会指标权重取舍
不存在满分模型，需根据业务给指标设置权重：面向用户的产品，时延、幻觉权重最高；金融知识库系统，事实贴合度权重第一；内部离线批量任务，成本吞吐量优先。
五、不同岗位定向学习侧重点
1. AI测试工程师：全覆盖学习，重点掌握幻觉、安全、自动化评测工具，能搭建自动化评测流水线；
2. 推理/运维工程师：主攻性能、吞吐量、TCO、长尾时延等算力成本类指标；
3. AI产品经理：不用深究底层计算逻辑，重点理解指标对应的用户、合规风险，能看懂评测报告、提出量化需求；
4. 大模型算法/微调工程师：深耕幻觉、上下文贴合、各类学术Benchmark、提示词敏感度，用于模型迭代优化；
5. 安全合规专员：只聚焦毒性偏见、隐私泄露、越狱、提示注入、版权侵权五大安全类指标。
六、长期巩固小习惯
1. 制作一页式速查表：汇总所有指标分类、核心用途、配套工具，日常随时翻阅；
2. 多看行业评测白皮书：参考大厂模型对比报告，学习行业通用指标组合方案；
3. 业务问题反向复盘：线上出现用户投诉时，反向溯源对应指标（回答前后矛盾→模型波动性；编造事实→幻觉率）；
4. 区分学术与工业指标：GPQA、SWE-bench等学术榜单仅作选型参考，线上稳定运行依赖时延、安全实时监控类指标。
最新议题看这里→
大会火热报名中
目前购票8折优惠
时间越晚折扣越少噢~
扫描下方二维码，即可参会
容器镜像改造案例：AI驱动测试体系搭建与Distroless批量切换
Visa开源AI漏洞管理平台背后：软件安全正在进入“Agentic AI时代”
字节跳动AI编程实践：TRAE走通的那条“把AI塞进真实研发机器”的路
研发效能｜AI时代的文档策略演变：为什么集中式知识库成为企业必备
大厂AI Coding走到哪了？从得物×腾讯的两份“万字级”实践说起
