ARTICLE · 1052665
软件测试的新赛道:大模型应用测试,到底和传统测试有什么不一样?
当 ChatGPT 掀起全球 AI 浪潮，软件测试工程师发现：自己正在面对一个前所未有的被测对象——大语言模型（LLM）。它没有明确的代码边界，没有确定性的输入输出映射，甚至没有"通过/失败"的二元判定标准。传统自动化测试的"断言思维"正在失效，测试的本质正被重新定义。
一、最根本的区别：从"确定性"到"概率性"
传统软件是确定性系统：输入一个手机号为空，点击提交，必然返回"不能为空"。自动化脚本可以写 assert actual == "不能为空"，结果唯一、可复现。
大模型应用则完全不同。相同的 Prompt，在 temperature > 0 时可能生成多个语义合理但字面不同的回答；相同的上下文，换一个模型版本或微小的参数调整，输出就可能发生变化。这就导致传统测试的"断言"彻底失灵——你无法说某次输出"错了"，因为没有唯一的正确答案。
本质变化在于：测试对象从"代码逻辑"变成了"行为分布"。测试目标从"是否等于预期值"升级为"是否满足约束条件"。
二、测试目标：从"功能正确"到"行为可信"
传统测试的核心是验证实现是否符合需求规格说明书。用例可穷举边界条件，结果可以通过状态码、JSON 字段等精确断言。验收标准明确，边界清晰。
大模型测试的目标已升维为评估"可信行为"：回答是否事实准确？逻辑是否连贯？安全是否合规？风格是否一致？以测试客服 LLM 为例，不仅要检查是否包含关键词，还需判断它是否虚构了银行热线、是否诱导用户泄露验证码、是否在敏感场景回避责任。微软 Orca-2 评测框架提出的"Truthfulness + Safety + Helpfulness"三维评估，标志着测试目标从"Does it work?“转向"Should it be trusted?”
简单说：传统测试关注"对错"，AI 测试关注"好坏"和"风险"。
三、测试方法：从"用例驱动"到"多维探针"
传统测试依赖穷举式用例设计——等价类、边界值、状态流转。但大模型的组合爆炸特性让穷举失效。当前主流实践已演进为"多维探针体系"：
功能探针：构造对抗性提示，检验指令遵循能力；
事实探针：使用 TruthfulQA 等数据集检测幻觉率，通过 RAG 回溯答案来源；
安全探针：集成 PromptInject、Garak 等工具进行越狱攻击模拟；
体验探针：人工标注 + LLM-as-Judge，形成量化体验分。
在更高阶的智能体（Agent）测试中，测试方法又进一步升级为"思维链采样"，需要覆盖典型用户意图、对抗性扰动、长程依赖场景等多维用例。有实践团队采用"意图-动作-反馈"三维矩阵生成测试任务，将有效缺陷检出率提升 3.2 倍。
四、核心挑战：传统方法失灵的三大原因
输出不可重现：相同输入在不同温度、采样策略或模型版本下，可能生成结构迥异的回答，甚至逻辑矛盾；
隐式知识依赖：模型不显式存储规则，缺陷难以定位——你无法通过堆栈回溯找到"为什么会胡说八道"；
因果关系断裂：传统"输入 -> 唯一输出"的因果模型失效，测试结果无法简单复现，单次失败无法直接定性为质量缺陷。
某银行测试其信贷问答大模型时发现：同一问题在不同温度值下，答案置信度分布差异达 62%；加入微小扰动后，37% 的响应出现事实性偏移。这些在传统等价类或边界值测试中完全无法覆盖。
五、质量评估：从"断言"到"六维指标体系"
传统测试的通过/失败二元判断，在大模型测试中被更精细的指标体系取代：
准确率：回答的事实正确性
幻觉率（FactScore）：模型编造信息的比例
语义相似度（BERTScore）：与参考答案的语义一致性
安全性：是否被对抗性输入诱导输出有害内容
一致性：在多轮对话中是否保持立场一致
鲁棒性：面对模糊、矛盾指令时的适应能力
更前沿的实践提出了"D-R-A-M"四维测试模型（Determinacy、Reliability、Accountability、Measurability），已在千万级调用量的生产环境中验证有效。
六、对测试工程师的新要求
大模型应用测试不是"加个 Prompt 跑几轮"，而是一场融合认知科学、统计推断、对抗攻防与领域知识的系统工程。测试工程师正在从"写用例的人"变成"定义质量标准的人"。如果你正在考虑进入这个方向，需要补足的技能包括：
理解 LLM 的推理机制、Prompt 工程和 RAG 技术；
掌握语义评估指标（BLEU、ROUGE、BERTScore、FactScore）；
熟悉对抗测试和安全评测工具链；
具备统计思维——从"单次跑通"升级到"分布评估+置信区间"。
结语
大模型应用测试是软件测试行业正在经历的最深刻范式迁移之一。当被测对象从"确定性的代码逻辑"变成"概率性的智能系统"，测试的本质从"验证功能正确"变成了"守护智能边界"。这对每个测试从业者来说，既是挑战，也是通往新赛道的机遇。