使用AI生成测试用例,到底需不需要知识库?

# 接口定义POST /api/v1/users/registerBody: { username, password, email, phone }# 纯Prompt模式下AI可稳定生成的用例类型def generate_basic_cases():    """纯Prompt模式生成的基础用例"""    cases = []    # 必填字段缺失组合    for field in ['username', 'password', 'email', 'phone']:        cases.append({            'name': f'缺少{field}字段',            'body': {k: v for k, v in {                'username': 'test_user',                'password': 'Pass123!',                'email': 'test@example.com',                'phone': '13800138000'            }.items() if k != field}        })    # 格式校验用例    cases.extend([        {'name': '无效邮箱格式', 'body': {'email': 'invalid-email'}},        {'name': '无效手机号格式', 'body': {'phone': '12345'}},        {'name': '密码强度不足', 'body': {'password': '123'}},    ])    return cases

【检索意图】生成积分兑换功能测试用例【召回内容】  - 文档片段A: "连续签到第7天额外奖励50积分，与新手礼包不叠加"  - 文档片段B: "历史Bug记录: 2024-03-15 23:59:59签到积分未到账"  - 文档片段C: "积分过期规则: 每年12月31日清零上一年度积分"【增强效果】生成用例时自动覆盖历史Bug场景、叠加规则边界

class TestCaseComparison:    """测试用例生成对比实验"""    def __init__(self, module_name: str):        self.module_name = module_name        self.pure_prompt_cases = []        self.rag_cases = []    def generate_pure_prompt(self, requirement: str) -> list:        """        纯Prompt模式生成        """        prompt = f"""请为以下需求生成测试用例：        需求：{requirement}        要求：用XPath格式输出，包含前置条件、测试步骤、预期结果        """        # 调用大模型...        return self._parse_cases(llm.invoke(prompt))    def generate_rag(self, requirement: str, top_k: int = 5) -> list:        """        RAG增强模式生成        """        # 1. 检索相关知识        docs = self.vectorstore.similarity_search(requirement, k=top_k)        # 2. 关键词检索        keyword_docs = self.keyword_search(requirement)        # 3. 融合召回        fused_docs = self.rerank(docs + keyword_docs, top_k)        # 4. 构建增强Prompt        context = self._build_context(fused_docs)        enhanced_prompt = f"""请基于以下知识生成测试用例：        需求：{requirement}        相关知识（来自知识库）：{context}        要求：用XPath格式输出，包含前置条件、测试步骤、预期结果        """        return self._parse_cases(llm.invoke(enhanced_prompt))    def evaluate(self) -> dict:        """评估指标计算"""        return {            'pure_prompt': self._calc_metrics(self.pure_prompt_cases),            'rag': self._calc_metrics(self.rag_cases)        }

用例1：验证用户使用有效优惠券下单用例2：验证用户使用过期优惠券下单用例3：验证用户使用已用完的优惠券下单

用例1：验证用户使用有效优惠券下单用例2：验证用户使用过期优惠券下单用例3：验证用户使用已用完的优惠券下单用例4：验证优惠券与满减活动叠加计算（关联Bug: ORD-2024-0523）用例5：验证虚拟商品不支持使用优惠券（业务特殊规则）用例6：验证优惠券与积分抵用同时使用（2024-08规则变更）

class HybridRetriever:    """    混合检索策略    1. 语义检索：向量相似度匹配    2. 关键词检索：BM25精确匹配    3. 规则匹配：特定模式匹配    """    def __init__(self, vectorstore, bm25_index):        self.vectorstore = vectorstore        self.bm25_index = bm25_index    def search(self, query: str, top_k: int = 5) -> list:        results = []        # 语义检索 - 处理自然语言查询        semantic_results = self.vectorstore.similarity_search(            query, k=10        )        results.extend(semantic_results)        # 关键词检索 - 处理专业术语、精确概念        keyword_results = self.bm25_index.search(query, k=5)        results.extend(keyword_results)        # 规则匹配 - 处理特定模式        rule_results = self.pattern_match(query, [            'BUG_', 'TC_', 'REQ_', 'ORD_', 'BUG:'        ])        results.extend(rule_results[:3])        # 去重 + 重排序        return self.rerank_and_dedupe(results, top_k)    def pattern_match(self, query: str, patterns: list) -> list:        """处理特定前缀的精确匹配"""        results = []        for pattern in patterns:            if pattern.lower() in query.lower():                results.extend(self._fetch_by_pattern(pattern))        return results

test_knowledge_base/├── 01_项目文档/│   ├── 接口文档/│   │   ├── 订单模块_API_v2.3.yaml│   │   └── 用户模块_API_v1.8.yaml│   └── 需求文档/│       └── PRD_会员体系_v3.1.md├── 02_历史用例/│   ├── 评审通过/│   └── 评审未通过/├── 03_缺陷记录/│   ├── 按模块分类/│   └── 按根因分类/├── 04_业务规则/│   ├── 积分规则.md│   └── 优惠券规则.md└── 05_测试规范/    └── 用例模板.md

from langchain_community.vectorstores import Chromafrom langchain_community.embeddings import OpenAIEmbeddingsfrom langchain_openai import ChatOpenAIclass TestCaseRAG:    def __init__(self, knowledge_base_path: str):        self.embeddings = OpenAIEmbeddings()        self.vectorstore = Chroma(            persist_directory=knowledge_base_path,            embedding_function=self.embeddings        )        self.llm = ChatOpenAI(model="gpt-4", temperature=0.3)        self.retriever = HybridRetriever(self.vectorstore, self.bm25_index)    def enhance_prompt(self, requirement: str, top_k: int = 5) -> str:        """检索相关知识，增强Prompt"""        # 1. 混合检索        docs = self.retriever.search(requirement, top_k)        # 2. 构建上下文        context_parts = []        for i, doc in enumerate(docs, 1):            context_parts.append(                f"【相关知识{i}】来源: {doc.metadata.get('source', '未知')}\n"                f"内容: {doc.page_content}\n"            )        context = "\n".join(context_parts)        # 3. 构建增强Prompt        enhanced_prompt = f"""你是一个专业的测试工程师。根据以下信息生成测试用例。## 当前需求{requirement}## 相关知识（来自知识库）{context if context else '（无相关知识）'}## 生成要求1. 优先覆盖知识库中标注的历史Bug场景2. 参考知识库中的业务规则3. 用例格式参考项目规范4. 标注每条用例对应的知识来源"""        return enhanced_prompt    def generate_test_cases(self, requirement: str) -> list:        """生成测试用例"""        enhanced_prompt = self.enhance_prompt(requirement)        response = self.llm.invoke(enhanced_prompt)        return self._parse_cases(response)

第一周：梳理核心模块的历史Bug记录，整理成Markdown文档第二周：选定工具（建议从文件夹+Markdown开始，跑通检索流程）第三周：接入RAG，用同一批需求对比测试（有知识库 vs 无知识库）第四周：根据对比结果，决定是否扩展知识库覆盖范围