ARTICLE · 1259862
AI时代,软件测试的下一站:AI评测
看了一个视频，内容分享给大家。视频提出了一个值得认真对待的观点：当越来越多产品由 AI 驱动，测试人员的工作重心正在从“验证功能”走向“评估智能”。
前言：测试没有消失，质量标准变了
最近看了一个关于 AI 时代软件测试转型的视频。视频里的观点很直接：传统测试工程师最值得优先关注的转型方向，是 AI 评测。
“唯一出路”这个说法或许有些绝对，但它提醒了我们一个正在发生的变化：过去，测试更多是在验证功能有没有按照需求运行；现在，当产品开始依赖大模型、图像生成和智能体时，测试还要回答另一个问题：AI 给出的结果，到底是否值得用户信任。
一项 AI 功能的问题，不一定表现为闪退、接口报错或页面打不开。它可能回答得很流畅，却答错了事实；可能完成了指令，却误解了用户意图；也可能在大多数场景表现正常，却在少数关键场景里给出有风险的结果。
这意味着，测试工作并没有消失，只是质量标准变得更复杂了。
一、为什么 AI 评测值得测试人员关注？
按照视频中的分享口径，AI 评测在 AI 测试相关招聘中占比约为 75%。其中，AI 产品评测约占 53%，AI Agent 评测约占 22%。
这组数据未必能代表所有公司的完整招聘市场，但它至少说明了一种清晰的方向：AI 的能力正在进入越来越多产品，围绕 AI 质量的验证需求也在扩大。
相比其他 AI 测试方向，AI 评测有几个对传统测试人员更友好的特点：
需求更贴近产品。 很多 AI 功能已经嵌入日常应用，不再只是算法团队内部的能力验证。
已有能力可以迁移。 场景设计、边界分析、异常覆盖、回归思维和用户视角，依然是评测工作的重要基础。
成长路径更清晰。 可以先从 AI 产品评测切入，再向评测体系、评测平台和 AI Agent 评测延伸。
人的判断仍然关键。 AI 可以辅助准备数据、执行任务和汇总结果，但无法独立替代业务判断与质量决策。
真正值得关注的，不是“测试岗位会不会被 AI 取代”，而是测试人员能否更早把自己的能力放到 AI 驱动的新交付链路中。
二、AI 产品评测，是传统测试最容易迈出的第一步
AI 产品评测之所以适合作为起点，是因为它和传统功能测试并不割裂。
以“根据商品图片自动生成描述”为例，测试工作仍然会包含图片能否上传、支持哪些格式、上传数量是否受控、网络异常时如何提示、生成结果能否复制或保存等传统问题。
但除此之外，还需要评测 AI 的能力：它有没有识别对图片内容？生成的描述是否准确？有没有遗漏用户关心的关键信息？内容是否符合商品发布场景？用户会不会因为这段文字而产生误解？
可以把评测集理解为面向 AI 能力的一组测试用例。不同的是，传统功能测试常常有相对明确的预期结果，而 AI 评测更需要判断结果是否合理、是否有用、是否安全，以及是否符合业务目标。
这正是传统测试人员的优势所在。
测试人员本来就习惯从用户路径、异常输入、边界条件和风险场景出发。进入 AI 产品评测后，原有的测试基本功不是失效，而是多了一层新的判断：从“功能有没有完成”，延伸到“AI 完成得够不够好”。
三、AI 评测，测的不是一句回答，而是一条质量闭环
很多人对 AI 评测的第一印象，是准备一批问题，让模型回答，再根据结果打分。
这只是开始。
一份看起来不错的评测报告，可能遗漏了真实用户最常遇到的场景；一个看起来不理想的结果，也可能是评测标准、样本设计或业务目标没有对齐。模型分数不是最终结论，评测人员对分数的解释和后续动作才是价值所在。
一套真正有价值的 AI 评测，通常需要持续完成这些事情：
明确产品想解决什么问题，以及什么结果才算成功；
用真实场景、边界场景和高风险场景构建评测集；
执行评测并收集结果、耗时、失败案例和用户反馈；
由人分析问题到底出在模型、提示词、工具、数据还是产品交互；
调整评测标准、评测集或产品方案，再进行下一轮验证。
AI 可以帮助生成样本、批量执行、初步归类和汇总报告，但它很难独立决定“什么叫好”。
客服场景要看准确、合规和稳定；创作场景要看质量、风格和新鲜感；教育场景要看知识正确性和表达是否易懂；涉及工具调用的场景，还要额外关注权限、可追溯性和失败后的处理方式。
所以，没有人工检查和持续校准的评测，往往只是一轮自动化运行，而不是完整的质量保障。
四、AI 评测的上限，在于向 AI Agent 评测延伸
AI 产品评测更适合作为传统测试人员的起点，而 AI Agent 评测则打开了更高的技术上限。
AI Agent 不只是回答问题。它可能理解任务、拆分步骤、查询数据、调用工具、操作系统，并在失败后尝试恢复。此时，评测对象不再是一段孤立的回答，而是一条会影响真实业务流程的执行链路。
评测 AI Agent 时，需要关注的问题也会更复杂：
是否正确理解了用户目标，而不是只抓住了某个关键词；
是否规划了合理的执行路径，并在信息不足时主动补充；
工具调用是否遵守权限边界，是否会执行不该执行的操作；
失败后能否停止、解释、恢复或转交人工处理；
最终结果是否可以追溯，是否有足够证据证明任务真的完成。
这类工作要求测试人员进一步理解模型原理、工具调用、数据质量、系统权限和可观测性。但它也说明，AI 评测并不是一个只负责“点点点”的岗位，而是一条可以不断向产品、技术和质量体系深处发展的路径。
五、传统测试人员，现在可以怎么开始？
不需要等到完全理解大模型和智能体之后，才开始接触 AI 评测。更务实的做法，是从身边已经出现的 AI 功能开始。
第一，挑一个真实场景，自己做一份小评测集。
例如，选一个智能问答、文本总结或图片生成描述功能，先收集二十到三十个真实问题，再补充一些模糊表达、异常输入和边界案例。不要只问“它能不能回答”，还要记录“回答是否准确、是否有帮助、是否稳定”。
第二，建立自己的评测维度。
除了准确性，还可以关注相关性、完整性、安全性、一致性、响应速度和成本。不同产品的权重不同，关键在于先把“好结果”的标准说清楚。
第三，补上模型和智能体的基础知识。
理解大模型为什么会出现幻觉，提示词为什么会影响输出，工具调用如何发生，评测器为什么也可能存在偏差。这些知识不要求一开始就学得很深，但会帮助我们更准确地定位问题。
第四，把每一次评测沉淀成资产。
优秀的评测集、典型失败案例、质量指标和复盘结论，都可以逐渐积累为团队的质量基线。它们比一次临时测试更有长期价值。
写在最后
视频把 AI 评测称为传统测试工程师的“唯一出路”。我更愿意把它理解为一个明确的提醒：测试人员不能只停留在过去验证固定功能的工作方式里。
AI 会让一部分重复、规则明确的工作更快被自动化，但也会带来更多需要人来定义标准、判断风险和承担质量责任的问题。
从验证按钮能不能点击，到评估 AI 是否可靠；从检查页面能不能打开，到判断一个智能体能不能安全完成任务。测试的对象在变化，测试人员的价值也应该随之升级。
未来真正稀缺的，不只是会执行测试的人，而是能够理解用户、理解业务、理解技术，并为 AI 系统定义质量标准的人。
这，或许就是 AI 评测最值得投入的地方。
