夜雨聆风哈喽，我是 Raina～
随着 AI 技术逐步普及，很多测试同学都在寻找可以落地的 AI 辅助自动化方案，但市面上成熟可用的实践并不多。 过去几个月我一直在调研、验证各类技术，分别针对 Web、APP、小程序、桌面端完成了多套实践方案，也陆续发布过对应的专题文章。 今天把这些内容整理成一份全端方案合集，方便大家快速查阅：不同端分别采用了什么技术栈，配套 Skill 能够实现哪些能力。
Raina调研的这些方案主要是提供思路，不一定适配所有团队，大家可以结合自身项目情况按需借鉴。
一、四端方案一览
不管测哪一端，大家碰到的痛点其实很像：
1.脚本编写：定位、等待、断言大量靠手写，页面一改就连锁失效；
2.环境门槛高：尤其是 iOS、小程序开发者工具、桌面控件，配到能跑通就要花不少时间；
3.探索和回归脱节：AI 或手工点通一次，不等于有可复用的自动化资产；
4.失败难复盘：日志、截图、录屏分散，修脚本成本高。
所以我的思路是：把重复劳动封装到Skill——探索界面、生成脚本、执行回归、失败归因，尽量用自然语言 / 用例驱动；技术栈则按各端主流能力来选。
整体可以概括成一条跨端都适用的链路：
说清楚测什么（用例 / 自然语言） ↓AI 探索目标端界面（采快照 / 结构 / 控件） ↓固化成可维护脚本（按端产出 spec / pytest 等） ↓本地或 CI 回归执行 + 报告留证 ↓失败则归因 → 人工确认是否修复重跑二、Web 端：Playwright CLI + Playwright Test + Skills
往期文章：基于 Playwright Test + CLI + Skill 实现 UI 自动化实战案例
核心作用：用Playwright CLI 快速探索网页、采集无障碍结构，再固化成 Playwright Test 脚本做日常回归；Skill 负责把「探路 → 生成 → 执行」串起来。
技术栈： Playwright CLI、Playwright Test、无障碍树、配套 Skills
方案执行流程：
提供 URL + 需求/用例 ↓CLI 有头浏览、采快照、试交互 ↓收敛稳定定位，生成 .spec.ts（PO 模式） ↓Playwright Test 回归（断言 / 报告 / 并行 / video / trace）✅ 探索阶段保留 CLI 的速度：不必每改一步就改 spec、整包重跑
✅ 回归阶段切到 Playwright Test：脚本成为可版本管理的工程资产
✅ 临时引用不再直接进回归：探索结束后转为更稳妥的定位写法
✅ 成功率更贴近常态化执行：适合重复跑
针对Web端的自动化测试，我也试过 MCP 无代码、纯 JSON CLI、Browser Use、Midscene 等方案，并单独写过方案对比；当前日常落地还是推荐
Playwright CLI 探索 + Playwright Test 固化、Playwright Codegen 人工录制 + AI 脚本生成 这两个方案。
Web端方案对比
三、APP 端：Appium + Skills（Android / iOS）
往期文章：
基于 Appium + Skills 进行 Android UI 自动化测试实战案例....
核心作用：把移动端「环境检查 → 抓界面快照 → 生成代码 → 执行 → 出报告」拆成可串联 Skill，降低手写定位和搭框架的成本。
技术栈： Appium、UiAutomator2（Android）、XCUITest / WDA（iOS）、pytest、Allure、配套 Skills
方案执行流程：
准备用例 + 应用信息（包名 / Bundle 等） ↓自动打开 App，逐屏抓快照与元素信息 ↓生成 pytest 测试代码 ↓一键执行，收集结果 / 日志 / 录屏 ↓生成 Allure 等可视化报告；失败可归因后再决定是否修复重跑Android、iOS 我这边采用的是类似的方案：
Android：模拟器或真机均可；有 APK、没有源码也能走抓快照 + 生成代码；
iOS：走 Appium + XCUITest / WDA；模拟器与真机都可实践。
✅ 用例驱动，少从零手写定位
✅ 快照驱动生成脚本，减少「扒页面」时间
✅ 失败先给原因摘要，再由你确认是否让 AI 修并重跑
四、小程序端：miniprogram-automator + Jest + Skills
核心作用：基于微信官方 miniprogram-automator ，用 Skill 承接 Excel 用例，完成小程序页面探索、Jest 脚本生成、开发者工具内执行，以及失败分析修复。
技术栈： miniprogram-automator、Jest、微信开发者工具、配套 Skills
方案执行流程：
Excel 测试用例 ↓Skill 驱动 automator 探索页面（采集结构信息） ↓生成各模块 Jest 脚本（spec.js） ↓唤起开发者工具 · 模拟器执行 ↓HTML 报告 + 步骤截图；失败则 AI 分析并改脚本重跑我调研过 Minium、Airtest+Poco、Appium 等路线，最终选定官方 miniprogram-automator：深度适配小程序逻辑层和自定义组件，依托开发者工具，也更容易接到前端测试框架。
✅ 官方 SDK，适配小程序底层更自然
✅ Excel 输入友好，日常功能用例可直接喂给 Skill
✅ 探索 → 生成 → 执行 → 修复能形成闭环
Skill清单：
五、桌面端：Midscene + Pywinauto 实践方案
针对桌面端的自动化测试，我这边调研实践了两个方案，分别是基于Midscene.js +Skill、以及 Pywinauto+skill的方案。下面分别介绍下实现思路。
Pywinauto +Skill 实践方案
往期文章：基于Pywinauto 进行桌面端自动化测试实践案例
我封装了一套 pywinauto 专用 Skill，将传统的桌面自动化流程，改造为「用例→AI 脚本生成→自动执行→输出报告」的闭环方案，降低了入门门槛。
整套方案包含两个核心 Skill：
pywinauto-runner-app-docs-to-json-zh（自动化计划生成skill）：
根据 exe、文档或表格用例，探索控件树快照，并写出 docs/pywinauto-plans/*.json 自动化计划；
pywinauto-runner-execute-stop-zh（执行用例skill）：
用 runner.py 按 JSON 顺序执行桌面操作；失败就停；可配截图/录屏、会话复用；产出 run-report.md 等运行记录。
Midscene.js +Skill实践方案
往期文章：基于Midscene.js进行桌面端自动化测试的方案调研与实践案例
整体流程：
本方案涉及三个skills，分别是官方提供的Computer-automation、还有Raina自己结合流程开发的两个skill，midscene-context-to-pc-cases和midscene-run-pc-cases，下面给大家详细介绍下这些skill的作用。
Computer-automation（官方桌面端自动化skill）
作为midscene.js实现桌面自动化的基石
定位与适用场景
视觉驱动：只靠屏幕截图理解界面，不依赖 DOM、无障碍树或控件树，凡是屏幕上能看见的都能尝试操作。
跨平台：macOS / Windows / Linux。
更适合：桌面原生应用（Electron、Qt、原生客户端等）；网页优先用浏览器自动化，不要用这个代替。
注意：会接管真实的鼠标和键盘，属于高风险自动化。
midscene-context-to-pc-cases（上下文转 PC 用例）
作用：将用户提供的上下文信息（如：excel、md文件等用例）转成提供给midscene-run-pc-cases skill执行的json标准化脚本
产出：可版本管理的用例文件，默认可放在 runs/{时间戳}/cases/ 一类目录，给下个skill执行使用
midscene-run-pc-cases（执行 PC 用例）
作用：在真实本机桌面上，读取上个skill产出的json文件，按 case → step 串行调用 @midscene/computer：连接 → 执行动作 → 按需截图 → 断开；支持按用例过滤、单会话/每用例会话、失败是否继续、滚动重试等。 产出：
1、结构化的 midscene-pc-run-log日志，可用于查看整体的执行情况
2、HTML 报告，可用于查看每个用例执行步骤，以及录屏
方案总结
两个方案实践之后，总体感觉都不算最优的方式，pywinauto 和浏览器自动化工具相比，元素定位表现存在明显差距，运行时常出现长时间等待、识别不到控件的问题，同时对 Electron 类应用兼容性较差，存在不少使用局限。Midscene.js这个方案，虽然纯视觉、零代码，但目前存在的弊端也比较多，速度慢、耗token等。技术成熟度还不足以支撑企业级稳定使用
我这边也在继续调研和实践更多AI驱动自动化测试的方案，进行对比选择。
七、小结
Web、APP、小程序、桌面——针对不同端，我都已经整理出对应的 AI + Skill UI 自动化方案。
Web 侧重 CLI 探索与 Playwright Test 回归
APP 侧重 Appium 快照驱动与 pytest / Allure
小程序侧重官方 automator + Jest
桌面侧重 Midscene 与 Pywinauto 两条实践线
以上是今天分享的内容，全端 AI 驱动 UI 自动化方案合集已整理在【Raina的AI&测试实战圈】知识星球，附带详细教程及 skill 包，跟着步骤操作就可以上手。感兴趣的小伙伴可以加入了解哦～
