阿发聊测试 · 技能拆解

AI 产品测试 vs 普通软件测试，差距到底有多大？

7 个维度拆解：不是多学几个工具的事，是整个思维模型都要换。

你好，我是阿发。

最近两个月，我收到了不下 20 条类似的私信：

“阿发，我看到好多公司在招 AI 测试工程师，JD 上写的东西我基本没见过，什么 Prompt 注入、RAG 评测、幻觉检测……跟我现在做的功能测试完全不是一个世界，差距真的这么大吗？”

我跟他说的第一句话是：差距比你想象的大，但没你想的那么难。

大，是因为从测试对象到断言逻辑到核心产出，几乎每个环节都不一样。不难，是因为底层方法论还是测试那套，只是换了应用场景。

今天我把这两个方向从 7 个维度逐条拆开，你看完就知道差距在哪、自己差在哪、从哪里补。

SECTION 01

本质差异：一个验确定，一个评不确定

普通软件测试：系统是确定的，输入确定、逻辑确定、输出确定。测试的任务是验证实际输出是否等于预期输出。

AI 产品测试：系统是不确定的，输入确定、输出不确定。测试的任务是评估输出质量是否达标，而不是判断输出是否等于某个固定值。

SECTION 02

7 个维度逐条拆解：差距到底在哪

维度一：测试对象

普通软件测试：测的是规则引擎。按钮点了跳不跳转、接口传参对不对、数据存没存进去——本质上是在验证代码逻辑是否符合需求文档。

AI 产品测试：测的是概率引擎。同样一个问题，模型每次回答可能不一样。你无法穷举所有可能的输出，因为模型本身就是不确定的。

差距点：从「确定逻辑」到「不确定概率」，测试思路必须从枚举转向评估。

维度二：断言方式

普通软件测试：断言很简单——assertEqual(expected, actual)。期望值写死，实际值拿来一比，通过或失败。

AI 产品测试：不存在固定的期望值。你不可能写 assertEqual(“退款需3个工作日”, actual)，因为模型可能说”通常3个工作日左右处理完成”，语义对但文字不一样。所以断言变成了三类：

① 规则断言：检查格式、关键词、长度、敏感词等硬性约束

② 模型评分（LLM-as-Judge）：用另一个模型当裁判打分

③ 人工抽检：对高风险和低置信样本做人工裁决

差距点：从「字符串比对」到「多维质量评估」，断言复杂度完全不是一个量级。

维度三：用例设计

普通软件测试：等价类划分 + 边界值分析 + 正交法，核心思想是「用最少的用例覆盖最多的路径」。输入空间是有限的、可枚举的。

AI 产品测试：自然语言输入是无穷的，等价类划分不够用。用例设计变成了「评测集构建」，需要覆盖 6 类问题：

① 典型正常问题（高频业务场景）

② 边界模糊问题（非标准表述、口语化）

③ 知识外问题（知识库没答案的，测模型会不会瞎编）

④ 对抗性问题（越狱、注入、敏感话题）

⑤ 多轮上下文问题（上下文追踪能力）

⑥ 回归基准问题（版本迭代后固定跑的基线集）

差距点：从「覆盖路径」到「覆盖行为模式」，用例设计的维度和深度完全不同。

维度四：覆盖率指标

普通软件测试：代码覆盖率、需求覆盖率、接口覆盖率，指标清晰可量化。覆盖率 80% 基本可以上线。

AI 产品测试：代码覆盖率意义打折——模型逻辑不在代码里，在权重里。真正有用的指标变成了：

▪ 评测集达标率（各维度评分是否过阈值）

▪ 幻觉率（编造事实的比例）

▪ 拒答率（该拒答的拒了没，不该拒答的误拒了没）

▪ 稳定性方差（同一问题跑 N 次的评分波动）

差距点：从「路径覆盖」到「质量达标」，指标体系完全重建。

维度五：测试环境和数据

普通软件测试：测试环境主要就是一套部署环境（dev/staging/prod）+ 测试数据。数据可以造，环境可以搭，相对可控。

AI 产品测试：除了部署环境，还有模型版本、Prompt 版本、知识库版本三个变量。模型换了、Prompt 调了、知识库更新了，结果都会变。而且你没法像传统测试那样”锁死环境跑回归”——因为大模型的推理本身就带随机性（Temperature > 0 的情况下）。

差距点：从「环境可控」到「多变量不可控」，测试环境的管理难度直接翻倍。

维度六：Bug 的定义

普通软件测试：Bug 很明确——实际结果跟预期结果不一致就是 Bug。没有争议。

AI 产品测试：Bug 变成了灰色地带。模型回答了，看着也没错，但不够好。算 Bug 吗？模型没回答，但问题本身就有歧义。算 Bug 吗？模型回答了正确内容，但顺序不对、格式不对、语气不对。算 Bug 吗？

差距点：从「二元判断」到「灰度评估」，连 Bug 怎么定义都需要重新对齐。

维度七：核心产出

普通软件测试：核心产出是测试用例 + Bug 列表。用例写完了、Bug 提完了、回归跑过了，就可以上线。

AI 产品测试：核心产出是评测集 + 评分报告 + 质量看板。评测集决定了你能测出什么问题，评分报告决定了团队对质量的共识，质量看板决定了每次版本迭代的质量是否回退。这三个东西，在传统测试里没有一个是标准产出。

差距点：从「用例+Bug」到「评测集+评分+看板」，交付物的专业度和含金量完全不同。

SECTION 03

3 个建议：现在该怎么做

建议一：先搞懂大模型的基本概念，别急着学工具

很多人一上来就学 DeepEval、Ragas 这些评测框架，方向没错但顺序错了。先搞清楚 Token、Temperature、Prompt、RAG、幻觉、Agent 这些基础概念，理解了大模型怎么工作的，你才知道为什么要这么测。工具一两天就能上手，概念不懂你连用例都写不出来。

建议二：从你现有项目里找一个 AI 场景，做一次完整评测

理论看再多不如动手跑一遍。你们公司如果有智能客服、智能问答、内容生成这类 AI 功能，就拿它练手。构建一份小评测集（30-50 条），设计 3 类问题（正常+边界+对抗），用规则断言 + 人工评分跑一遍，出一份评分报告。这一轮做完，你对 AI 测试的理解会比看 10 篇文章都深。

建议三：把 AI 测试经验写进简历，这比任何认证都管用

说实话，现在面试官看到简历上有”AI 产品测试”经验，比看到”性能测试””自动化测试”眼睛亮多了。不是后者不重要，是前者太稀缺。你只要在简历里写清楚：测了什么 AI 功能、评测集怎么构建的、评分体系怎么设计的、发现了什么质量问题——这就是最强的竞争力。

差距大不大？大。但你不需要从零开始，你只是需要给已有的测试能力换一个应用场景。普通测试教会你的是怎么想问题，AI 测试教会你的是怎么评估答案。两者结合，才是 2026 年测试工程师的完整能力模型。

想系统学 AI 测试？推荐一个刷题网站

涵盖 AI 测试工程师面试和学习路线的核心知识点，分类刷、按需学：

▪ AI 测试基础认知

▪ 大模型核心概念（Token / Temperature / 幻觉）

▪ Prompt 测试（注入 / 越狱 / 多轮对话）

▪ RAG 测试（召回质量 / 引用验证 / 拒答率）

▪ Agent 测试

▪ AI 安全与幻觉测试

后台回复 666 获取链接

想跟更多测试同行交流 AI 测试？欢迎加入测试互助群

群里有在 AI 产品团队做过大模型测试的工程师，分享评测集模板、断言工具、实战踩坑经验。比自己摸索快得多。

添加微信 testafa 备注「ai群」即可 ↓

最后

AI 产品测试和普通软件测试的差距，不是多学几个工具就能补上的。从测试对象、断言方式、用例设计到核心产出，几乎每个环节都不一样。但好消息是——测试的底层能力你是有的，你只是需要换一个应用场景。

关于 AI 测试进阶、评测集构建、测试转型等，都可以通过公众号菜单栏添加我微信私信交流。需要学习资料也可以私信！