AI多模态大模型做UI自动化测试断言,中小团队的低成本实践

def test_login_success():    time.sleep(2)    assert exists(Template("home_title.png")), "首页标题不存在"    assert exists(Template("avatar.png", threshold=0.8)), "用户头像不存在"    assert exists(Template("tab_home.png")), "首页Tab不存在"    assert exists(Template("tab_mine.png")), "我的Tab不存在"    assert not exists(Template("error_icon.png")), "存在错误提示"    screenshot = snapshot()    texts = ocr.recognize(screenshot)    assert any("欢迎" in t for t in texts), "欢迎文字不存在"

def test_login_success():    screenshot = take_screenshot()    result = ai.assert_ui_state(screenshot, [        "页面显示登录成功后的首页",        "顶部有用户头像和昵称",        "底部导航栏正常显示",        "没有错误提示或弹窗"    ])    assert result.passed, f"断言失败: {result.details}"

import base64import jsonfrom openai import OpenAIclass AIAssertion:    def __init__(self, api_key, model="glm-4v-flash"):        # 智谱AI的免费模型        self.client = OpenAI(            api_key=api_key,            base_url="https://open.bigmodel.cn/api/paas/v4/"        )        self.model = model    def assert_ui_state(self, image_path, check_items):        # 图片转base64        with open(image_path, 'rb') as f:            img_base64 = base64.b64encode(f.read()).decode()        # 构造提示词        items_text = "\n".join(f"{i+1}. {item}" for i, item in enumerate(check_items))        prompt = f"""检查这张截图是否符合以下预期：{items_text}返回JSON格式结果，包含每项检查是否通过、判断理由、整体置信度。"""        # 调用API        response = self.client.chat.completions.create(            model=self.model,            messages=[{                "role": "user",                "content": [                    {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{img_base64}"}},                    {"type": "text", "text": prompt}                ]            }]        )        # 解析结果        result_text = response.choices[0].message.content        return json.loads(result_text)

result = ai.assert_ui_state(screenshot, [    "显示个人中心页面",    "顶部有用户信息",    "中间有菜单列表",    "页面布局正常"])

def assert_ui_state(self, image_path, check_items, retry=2):    for attempt in range(retry + 1):        try:            response = self.client.chat.completions.create(...)            result_text = response.choices[0].message.content            if "```json" in result_text:                result_text = result_text.split("```json")[1].split("```")[0]            return json.loads(result_text.strip())        except json.JSONDecodeError:            if attempt < retry:                time.sleep(1)                continue            return {"passed": False, "error": "JSON解析失败"}

if result.confidence < 0.7:    log.warning(f"置信度较低: {result.confidence}")

def smart_assert(screenshot, check_items):    # 先用规则快速检查    if exists(Template("error_icon.png")):        raise AssertionError("发现错误提示")    texts = ocr.recognize(screenshot)    if any("网络失败" in t for t in texts):        raise AssertionError("网络错误")    # 规则没问题，再用AI    result = ai.assert_ui_state(screenshot, check_items)    if result.confidence < 0.7:        log.warning(f"置信度较低: {result.confidence}")    return result

# conftest.pyimport pytestfrom ai_assertion import AIAssertion@pytest.fixture(scope="session")def ai():    return AIAssertion(api_key="your-api-key", model="glm-4v-flash")# test_login.pyclass TestLogin:    def test_login_success(self, ai):        login("13800138000", "password123")        screenshot = take_screenshot()        result = ai.assert_ui_state(screenshot, [            "显示登录成功后的首页",            "有用户信息",            "底部导航正常"        ])        assert result.passed, f"登录检查失败: {result.details}"