AI 智能体到底怎么测?软件测试工程师必须掌握的 8 大测评能力

功能测试里，一条用例过不过，看返回、看页面、看数据库，通常就有准信。接到智能体之后，这个办法会短一截。它可能先理解你要干什么，再拆步骤、选工具、调接口，最后才生成一句话。回答看起来顺，工具却调错了；订单不存在，它也能编出一个状态。测智能体，不能只问最后一句对不对，还要问：意图对了吗，工具用对了吗，不该做的时候它停下来了吗。

一、为什么传统测试方法不够用了？

传统软件测试通常验证系统有没有按照明确规则运行：输入是否正确、接口返回是否符合预期、页面流程是否正常、异常是否能够被捕获。

但 AI 智能体不是一个只会返回固定结果的系统。它可能先理解用户意图，再拆解任务、选择工具、调用接口、读取结果，最后生成回答。于是测试问题也发生了变化：

• 回答看起来合理，但事实可能是错的；

• 能够聊天，却不会正确调用工具；

• 工具参数错误，或者调用了不该调用的工具；

• 多轮对话后丢失上下文；

• 知识库更新后，回答仍然引用旧内容；

• 正常场景表现不错，边界和攻击场景却完全失控。

因此，测试 AI 智能体不能只问“它答对了吗”，还要继续追问：它理解对了吗？规划对了吗？工具用对了吗？执行安全吗？结果能复现吗？

二、先理解 AI 智能体的测试对象

可以把一个 AI 智能体看成一条执行链路：

用户输入→ 意图识别 → 任务规划 → 工具选择 → 工具调用 → 结果处理 → 最终回答 → 异常与安全校验

普通大模型对话主要关注回答质量；RAG 应用还要关注检索质量和答案归因；AI 智能体则要额外关注任务完成、工具调用、流程控制和异常恢复。

三、AI 智能体测评的 8 大核心能力

1. 任务理解能力

测试智能体是否真正理解用户想做什么，包括目标、上下文、约束和缺失信息。面对“帮我查最近接口测试失败原因”这类模糊需求，智能体是否会主动确认项目、时间范围、环境和日志来源？

2. 任务规划能力

复杂任务往往需要多个步骤。测试需要关注步骤是否完整、顺序是否合理、是否重复执行，以及能否根据中间结果动态调整计划。例如：读取需求、查询接口、准备数据、执行测试、分析响应、输出缺陷结论，每一步都可能产生质量风险。

3. 工具调用能力

这是 AI 智能体区别于普通聊天机器人的关键。需要验证工具选择是否正确、参数格式是否正确、调用顺序是否满足依赖、权限是否匹配，以及工具失败后能否合理重试或降级。

测试工程师可以建立工具调用验证清单：工具选对了吗？参数传对了吗？调用次数合理吗？是否出现死循环？是否可能调用高风险工具？

4. 结果质量能力

结果质量不能只看“有没有输出”，还要看准确性、相关性、完整性、一致性、格式符合度、指令遵循和可执行性。不同业务的重点不同：客服关注解决率，测试 Agent 关注任务完成率，内容生成关注事实性和风格一致性。

5. 幻觉与事实性

幻觉是 AI 测试中最常见的问题之一。可以设计未知问题、信息不足、相似概念、冲突资料和无依据追问，检查智能体是否会编造答案、过度自信，或能否明确说“不知道”。

6. RAG 与知识库质量

RAG 测试要沿着“文档切分、向量化、召回、重排、上下文拼接、生成回答、引用输出”逐环节验证。重点检查召回是否命中、答案是否基于资料、引用是否准确，以及知识更新后能否及时回归。

7. 鲁棒性与多轮一致性

同一个问题换一种表达、增加无关信息、改变语言、打乱上下文后，智能体是否仍能完成任务？多轮对话中修改需求、切换话题或输入超长上下文后，它是否仍然保持正确的任务状态？

8. 安全与越权能力

AI 智能体可能连接数据库、业务接口和内部知识库，因此必须测试 Prompt Injection、工具越权、敏感信息泄露、系统提示泄露和恶意文档注入。测试重点不是“它会不会回答”，而是“它能不能在不该行动时拒绝行动”。

四、如何设计一条可执行的 AI 智能体测试用例？

一条完整用例至少应包含：业务场景、用户输入、前置条件、预期意图、预期工具、工具参数、执行步骤、结果断言、安全断言、异常场景和评估指标。

例如测试“智能客服查询订单”：除了验证订单状态是否正确，还要验证它是否调用了正确接口、是否只能查询当前用户订单、订单不存在时是否能解释、接口超时后是否会错误编造结果。

建议把用例分为六类：正常功能、边界异常、多轮上下文、工具调用、安全攻击、稳定性回归。这样才能避免测试集只覆盖“正常问一句、正常答一句”。

五、如何量化 AI 智能体质量？

常见指标包括：任务成功率、工具调用正确率、回答准确率、幻觉率、指令遵循率、RAG 召回率、答案相关性、响应延迟、Token 成本、异常恢复率、安全攻击拦截率和多轮一致性。

指标必须服务于业务，不能只追求一个漂亮分数。客服场景重点看解决率和转人工率；测试 Agent 重点看任务完成率、工具正确率和异常恢复率；安全场景重点看攻击成功率和敏感信息泄露率。

六、自动评测和人工评测如何结合？

LLM-as-a-Judge 适合批量初筛、语义判断和大规模回归，但它也可能产生误判。人工评测适合复杂业务、高风险场景和评分标准校准。

更可靠的流程是：自动规则校验 → LLM-as-a-Judge 批量评测 → 人工抽样复核 → Judge 校准 → 指标汇总 → 版本回归。测试工程师的价值，不是把所有判断交给另一个模型，而是设计标准、校准评测集并解释质量变化。

七、测试工程师如何进入 AI 智能体测评？

你不需要一开始就学习复杂模型训练。可以按照以下路径逐步进入：

1. 先理解大模型、Prompt、Token、RAG 和 Agent 的基本概念；

2. 学习幻觉、指令遵循、准确率、召回率和 F1 等基础测评方法；

3. 选择一个真实 Agent，设计任务理解、工具调用和异常场景用例；

4. 建立黄金数据集，尝试批量回归和 Judge 评测；

5. 进一步学习安全、红蓝对抗、多模态和本地部署测试。

传统测试能力仍然有效，只是测试对象从页面和接口扩展到了模型、数据、Prompt、工具和决策链路。

 不要一上来追榜、只看准确率，或没有业务样本就签字

1. 先定类型，再定指标。拿到需求先问输出是什么。标签、开放文本、还是要核对的中间步骤，三条路的断言不一样。

2. 准确率先问分布。正样本极少时，全部判成多数类也能得到很高的准确率。内容安全、欺诈、违规检测，要同时看漏报和误报，并给召回留下限。

3. 幻觉拆到句子。一整段里九句对、一句编，整段打分会把问题抹平。数字、条款、承诺这类句子要单独回溯有没有依据。

4. 榜单做初筛，业务集做终验。MMLU、GSM8K、HumanEval 各自测的是知识面、算术和代码能不能跑通。和业务分布不一致时，不能拿榜分当上线依据。

5. 每篇留下一个产物。一张类型判定表、一份幻觉分类、一条 RAG 二分定位记录，或者一页准入清单。只划线，下周评审还是用不上。

裁判模型可以帮你把量铺开，细的事实、有争议的判定、金额和权限，仍然要人看。方案第一页就写清楚：机器负责批量，人负责校准和关键样本。不要写成「全自动打分即可上线」。

八、AI 测试不是重新开始，而是能力升级

未来的测试工程师，不仅要验证软件有没有按照规则运行，还要验证 AI 是否理解任务、做出正确决策并安全完成工作。

如果你已经具备功能测试、接口测试、自动化测试或安全测试经验，现在是进入 AI 智能体测评的合适时机。你可以从一个真实场景开始：设计一组测试任务，记录工具调用，建立评测指标，再通过自动化回归观察模型和 Agent 的质量变化。为了让你更好，我专门为你转了一套可以从0开始学习的系统课程《0-1入门学习大模型测评与AI产品质量把控》以及测评体验平台，欢迎大家来体验！