谷歌开源的安卓 AI 自动化:自动化测试最费工的一步,被绕过去了

导语

现状：做安卓自动化，最难养的从来不是业务，是脚本——定位器一层套一层、等待时间靠拍脑袋、自绘页面抓出来一片空白。

反常识：这周测试圈在传的那套方案，不是把脚本写得更省事，而是让"写脚本"这一步消失——你给目标，它自己看屏幕、自己规划动作。

收益：看完你能判断它值不值得进你的项目，并拿到一份五项自证清单，用自己的 App 验一遍再决定。

结论先给：它真正动到的，是"场景编排"这块最费人力的活；但榜单分数只是入场券，能不能用取决于你自己的 App。

一、它动到的不是"定位更快"，而是"不用写定位"

10 月 9 日测试之家有篇帖子（作者 狂师，抓取时 1259 次阅读）介绍了一个谷歌开源项目：用自然语言指挥 AI 去操作一台真实安卓手机。你说"打开设置，找到电池，告诉我当前电量"，它自己看屏幕、自己找入口、点进去，把结果带回来。

关键在定位不同：传统自动化框架是"你写脚本、它负责执行"；这类 agent 是"你给目标、它自己规划动作"。同一个"查电量"的任务，前者要写 capability、XPath 定位器、显式等待、点击、断言；后者只有一句任务描述。一个跨 App 的任务横跨几个应用，对它来说没有"应用边界"，只有目标——于是原来最费工的"场景编排"，被绕过去了。

二、自绘界面从"禁区"变成"可测区"

原帖里对测试人更实际的细节：它定位元素优先走无障碍层级，取不到时退到坐标加视觉模型识别。做过移动端自动化的人都懂这意味着什么——Canvas、Compose、Flutter 这类自绘界面控件树里根本没有节点，元素查看器抓出来一片空白，很多 UI 脚本就死在这类页面上。用视觉兜底之后，自绘界面不再是"不能测"，只是"要换一种测法"。

三、跑分是入场券，落地得用你自己的 App 验

原帖给的数据挺抓眼：8 月 13 日开源、Apache-2.0、Python 实现，一个半月 star 破万；在谷歌研究院的 AndroidWorld 基准上任务完成率 99%+、官方榜单第一，原帖说同类 agent 方案大多在五到七成。它还提供原生 MCP Server，可对接主流多模态模型与编码工具。

但两句要说清：这些数字来自原帖转述与官方榜单，我没有独立核实；而且基准覆盖的是它的测试集，不是你的 App。原帖作者自己也写了——跑分是入场券，落地是另一回事。

五项自证清单（可收藏）：①三类任务各跑 20 次（跨 App 流程／自绘页面／含登录与权限的流程）；②记录四个数（一次成功率、人工兜底次数、平均耗时、失败时是否给出可读现场证据）；③与你现有脚本同题对照；④故意给一个模糊目标，看它是瞎点还是明确说"无法判定"；⑤数据边界——内网、账号、真实用户数据场景，先问清网络与数据路径。

四、这周就能做的三件事 ①把"场景编排"从脚本里抽出来：用自然语言把三条核心业务流写清楚，这份描述两种路线都能用；②挑一个自绘页面做试点：以前因控件树为空而放弃的用例，挑一条重新试；③更新用例分层：把"可被目标驱动"的和"必须精确断言"的分开——前者适合交给 agent，后者的断言仍要自己写死。

互动提问 你们的移动端自动化里最卡的是哪类页面：自绘控件、跨 App 流程，还是登录权限？如果挑一条用例先交给这类 agent 试跑，你会挑哪一条？