ARTICLE · 1270007
用 Prompt 做软件测试:让 AI 输出更符合测试需求
用 Prompt 做软件测试:让 AI 输出更符合测试需求
AI总结缩略版
AI 输出质量不只取决于模型,也取决于任务说清楚了没有。一个测试 Prompt 要交代六块:
• 任务 • 输入资料 • 分析步骤 • 约束(不编造错误码、提示语或未确认的规则) • 输出格式 • 完成前自查
光加一句"你是资深测试工程师",补不上这些信息。像恰好 300 秒是否有效这类边界,Prompt 可以让模型指出来,但不能让它替业务做决定。
每次修改 Prompt,都用同一批脱敏样本重跑,按事先定好的检查点比较结果。
一句话:模板负责方法,项目资料负责事实;回答更长不等于质量更好。
完整版
同一个模型,有时能指出需求里的缺口,有时却只给出一组“正常、异常、边界”的通用清单。输出差异不只取决于模型能力,任务描述是否清楚也会影响结果。
写 Prompt 是为了把工作目标、可用证据、分析步骤、不能跨越的边界和交付格式说明白。角色说明可以辅助语气和视角,但不能代替这些信息。
一个测试 Prompt 需要交代什么
以手机号验证码登录为例,Prompt 可以由几块组成:
把这一结构填具体,比单独加一句“你是一位资深测试工程师”更有用:角色不会告诉模型验证码如何失效,也无法弥补需求缺失。
可以直接修改的模板
任务:分析下面的登录需求,并为已确认的行为设计测试用例。需求材料:{粘贴需求正文}已确认规则:{列出经过产品或研发确认的规则,并标注来源}项目上下文:{接口、角色权限、系统边界、环境和数据限制}工作步骤:- 区分需求事实、推测和待确认项。- 提取业务规则、状态变化和依赖。- 找出歧义、冲突、缺失条件及高风险路径。- 只针对有依据的行为设计测试场景和用例。- 对未知预期标记“待确认”,不要自行补全。输出:需求规则表、待确认问题、风险清单、测试场景和可执行用例。每条用例包含前置条件、操作、预期结果和需求依据。完成前检查:指出无依据的假设、重复场景和无法执行的步骤。模板中的大括号部分是每次任务需要替换的资料;任务步骤、证据约束和输出字段则可以相对稳定。这样做比每次重写整段说明更容易比较和维护。
让 Prompt 贴合业务,不替业务做决定
“验证码有效 5 分钟”还不足以定义所有边界。测试设计可能还要问:从哪个时刻开始计时?恰好 300 秒提交算有效还是过期?由客户端还是服务端时间判断?网络请求晚到时按哪个时点处理?
Prompt 可以要求模型把这些问题指出来,但不能让模型凭行业习惯选一个答案。只有业务方或契约确认后,才能把相应预期写进用例。对每个结论保留规则编号或需求出处,后续审查会轻松很多。
同理,项目上下文也要按任务补充。功能测试可能需要用户角色和状态,接口测试需要请求与响应契约,自动化代码生成还需要项目框架、目录约定和测试数据创建方式。一个通用模板负责方法,项目资料负责事实。
业务变化也会改变检查重点:电商流程常要核对订单、库存和支付状态是否一致;金融流程要关注金额、权限和交易安全;多租户系统要检查租户隔离;AI 应用则要定义输出评估和安全边界。模板可以共享骨架,但不能假设一份固定清单适用于所有产品。
用固定样本检查每次修改
Prompt 会随着使用而变化。一次修改之后,答案看起来更长、更专业,不代表实际质量提高。可以准备几份脱敏样本:一份规则完整、一份缺少关键信息、一份含有冲突、一份边界条件复杂。每次改模板都用相同样本重新运行。
记录几项容易观察的内容:发现了多少预先标注的关键问题;把多少未知项误写成事实;输出字段是否完整;人工审查和修订花了多久。不要只用“回答满意度”评估,因为它很难说明是否真的发现风险。
若模板越写越长,也要检查有没有重复或相互冲突的指令。一个简洁、边界清楚的 Prompt,往往比堆满“务必全面、绝对准确”的要求更容易评审。
**记录一次 Prompt 修改的结果。**下表是评估记录示例,不代表任何模型已经运行或取得了改进:
LOGIN-PROMPT-EX-01 | |
只有输出更符合已知检查点、且没有把未知项写成事实,才能说这次修改改善了该样本的结果;回答更长或读起来更顺,不足以单独证明质量提高。
把 Prompt 当作持续维护的测试资产。每次运行后记录遗漏的风险、错误假设和人工修订,再按问题原因调整模板或补充上下文。调整后用同一批样本重跑,确认相关问题是否减少。
业务变化、模型更新或更换 Agent 工具后也要复测,因为相同文字未必带来相同输出。记录每次调整的结论,供后续按证据复用;不要把“最新版本”当成终点。
什么时候把模板继续沉淀
如果这个 Prompt 只用过一次,先保存任务背景和效果就够了。如果它在多个相似需求中反复使用,步骤也逐渐稳定,再考虑整理成团队模板或 Skill。下一篇会讨论 Skills 如何承载重复流程,以及引入它的维护成本。
更多
• 点击阅读原文,获取更多信息 • 个人网站链接:https://inaodeng.com • AI生成测试检测项目:https://github.com/AI-Native-QA-Lab/ai-test-auditor • DeepSeek QA 工作台项目:https://github.com/naodeng/dsh-qa • 更多AI 测试技能:https://inaodeng.com/zh-cn/qaskills/ • 更多测试百科:https://inaodeng.com/zh-cn/wiki/ • 更多 AI 百科:https://inaodeng.com/zh-cn/AIWiki/
#AI测试 #AI软件测试 #AI软件开发 #软件开发生命周期 #软件测试 #QA #AI测试skill分享 #skill质量工程 #skill质量模型
既然看到这里了,如果觉得有用,随手点个赞、在看、转发三连吧。
感谢你的阅读和评论















































































