这是最近同学面试过程中遇到的实际问题,罗列供参考。
考察点:
对AI生成用例全流程的质量控制、知识工程应用、幻觉问题解决的实际经验。
构建高质量知识库:
将历史需求文档、技术文档、存量测试用例等资产进行向量化处理,构建企业私域知识库。在生成用例时,通过RAG(检索增强生成)技术,让大模型优先基于召回的相关知识生成内容,减少“瞎编”。设计强约束的Prompt:在Prompt中明确角色(如“测试专家”)、生成步骤(如先做需求合规性检查)、用例结构(必须包含测试目标、前提条件、步骤、预期结果)和输出格式(如Markdown表格)。明确禁止生成需求中未定义的字段或逻辑。
实施多维度效果测评与优化:知识点召回能力:评估知识库能否准确召回与需求相关的知识点。文档中提到,在325个查询问题中,知识库成功召回309个,召回率达95.1%。
用例生成能力:评估生成用例的覆盖率和冗余率。例如,微博的“织女系统”平均覆盖率达到86%,冗余率为17.3%。
针对性解决生成问题:
针对“功能溢出”(业务联想泛滥),通过圈定业务范围解决;针对“幻觉”,通过优化提示词和知识库知识点解决;针对“冗余”,通过Prompt限定生成角度解决。
建立“人在环路”机制:
生成的用例需要经过人工评审、校准和采纳。将采纳与不采纳的用例作为正负样本反馈给系统,用于持续调优知识库和Prompt。
- 传统UI自动化测试脚本维护成本高、无法快速适配业务变化。如何利用AI(特别是多模态能力)解决这些问题?
考察点:对AI赋能UI自动化测试技术路线的理解,特别是多模态模型和智能体的应用。
从“脚本驱动”到“自然语言与视觉驱动”:自然语言驱动:
测试人员可以用自然语言描述测试场景(如“在登录页面,输入错误的密码,点击登录按钮”),由AI Agent理解并规划执行步骤。
多模态视觉识别:
AI通过“看”屏幕(截图或实时画面)来理解UI,结合OCR和视觉模型识别页面元素(按钮、输入框),不再依赖底层DOM结构。这使得测试能自适应UI的动态变化。
构建“规划-执行-检查”的智能体架构:规划(Planner):
AI将自然语言需求分解为可执行的原子操作步骤序列。执行(Action):
智能体调用抽象化的操作工具库(如tap、input、swipe),由AI决策具体操作哪个视觉元素。检查(Checker):
利用多模态模型进行“视觉断言”,判断页面状态是否符合预期(如“成功提示框是否出现”),或提取页面DOM文本进行逻辑校验。引入知识图谱与审查机制:
将常见的业务流程(如“登录-搜索-下单”)构建成知识图谱。当收到指令时,AI可优先从图谱中召回标准流程链路,提高规划准确性。同时,设置审查流程,当AI执行进入错误页面或页面无变化时,能自我纠正。
以上内容全都总结在了知识星球,需要的同学加入获取,如果觉得星球其他内容能够给予你长期的帮助,可以持续关注内容更新。


夜雨聆风