
自然语言如今能覆盖移动端测试的全流程,这事现在就能做到。最近,Kobiton的两位工程师Frank Moyer和Chris Fahlhaber在Test Guild播客中展示了这样一个场景:在一通电话的15分钟里,他们用自然语言生成了一个Android应用、编写了Appium测试脚本,并在真实设备上完成了测试运行。
没有模拟器,没有浏览器,而是实打实的真机。
这背后,是Kobiton最新推出的Claude MCP插件在发挥作用。它让Claude能够直接在云端真机上创建、调试和运行移动测试,整个过程完全在IDE中完成,不需要切换任何工具。
📱 移动测试的"最后一公里"
做过移动测试的人都知道,真机测试一直是整个流程中最让人头疼的环节。
模拟器用起来确实顺手,可真实设备上的问题它根本复刻不出来。比如屏幕大小不一样会让界面乱掉,不同硬件跑起来兼容性有问题,还有五花八门的系统版本,这些都是模拟器搞不定的。
Chris在播客里提过,AI其实搞不懂真机测试会碰到的那些问题。也正因为这样,大家才更愿意用真机测。毕竟真机里可能会出硬件问题,还有那些模拟器模拟不出来的屏幕尺寸问题,都是实打实要面对的。
Kobiton的做法是:把真机测试的能力,通过MCP协议直接接入Claude。这意味着你在Claude Code里写代码的时候,可以直接用自然语言说"帮我在三星Galaxy S24上跑一下这个测试",Claude就会自动完成设备选择、应用签名部署、脚本适配等一系列操作。
🤖 不只是跑测试,还能自动修Bug
Claude在测试失败后自动处理的能力,没想到还能这么干。
Chris分享了一个真实案例:他在准备演示时,在一个小屏幕设备上运行测试,脚本意外失败了。原因是点击某个输入框后弹出了键盘,遮挡了其他元素,导致后续操作找不到目标。
令人惊讶的是,Claude在没有任何额外提示的情况下,自动分析了失败原因。它查看了应用源码和设备屏幕尺寸,推断出是键盘弹出导致的问题,然后自动在脚本中插入了隐藏键盘的命令。修复后的测试顺利通过。测试跑崩了,它会自己查原因,再把脚本修好,整个过程顺顺当当就完成了。

🔄 AI测试的悖论:效率更高,测试更多
播客中讨论了一个很有意思的悖论:AI提升了效率,但反而需要更多的测试。
Frank给出了一组数据:他们的一位客户,一年前工程师每月提交约1000个代码变更,现在已经飙升至10000个。代码产出翻了 10倍,测试量也必须跟上。
"如果没有AI,我们根本无法跟上这种速度,"Frank说。
这也让测试团队的工作内容有了本质上的变化。以前测试都靠手动点点点,现在更多是盯着AI,看看它测的是不是真有用,别净跑那些没必要的验证。

Chris也警告说:"我见过 AI生成的测试完全偏离了功能要点,只是在验证一些显而易见的事实。比如给变量赋值5,然后验证它是否等于5。这种测试通过了又怎样?"
💡 用自然语言定位元素:告别选择器地狱
对于自动化测试工程师来说,定位页面元素一直是个老大难问题。尤其是面对Canvas渲染的应用、内嵌的PDF、无限滚动的列表,这些场景下根本没有标准的DOM定位器可用。
Kobiton推出了一个新功能:在Appium脚本中注入自然语言描述来查找元素。比如你想点击一个"重置计数"按钮,不需要写复杂的选择器,直接用自然语言描述这个按钮的外观和功能就行。
更进一步的,他们还在开发基于多模态视觉模型的能力。比如你的应用里加了一张PDF格式的发票,想自动把总金额提出来。以前的自动化手段根本做不到这事,但现在有了视觉模型,AI能识别PDF里的内容,还能跟这些内容互动。

🧠 关于Token成本和模型选择
很多人担心,用AI做测试会不会导致Token费用失控?
Kobiton的做法很有意思:他们在后端做了专门的优化,目前这些AI能力不额外收费,包含在运行Appium脚本的费用中。更重要的是,他们支持接入客户自己的本地模型。
Chris在他一台第一代M1 MacBook上运行本地模型,自然语言元素定位的响应时间不到1秒,几乎零成本。他们的一位财富100强客户甚至训练了自己的前沿模型,将所有Appium脚本的AI推理都指向了自己的模型。
Frank表示:“我们不希望用户只能用Kobiton这一个平台。要是你想自己带Agent、带推理模型来用,我们也觉得这是你的自由。最终还是要看哪个模型好用、成本又低,谁能满足需求谁就赢。”
🎯 测试人员的未来:不是失业,而是升级
播客最后讨论了一个所有人都关心的问题:AI会让测试工程师失业吗?
Frank的回答很直接:"不会。但角色会变。"
他给出的建议也很实际:学会写Skill。花一个小时学习、写一个Skill、部署它,就能打开AI世界的大门。测试工程师最大的优势在于质量思维,他们知道什么是"好的测试",什么是"有价值的验证"。这种判断力,AI目前还无法替代。
正如Frank所说:"质量团队的优势在于,他们可以带领组织快速迭代,而不必担心应用会崩溃。"
很多人觉得AI测试被吹过头了,其实是没意识到它真正的价值。现在AI能帮工程师快速写代码,可要是没有足够的测试做保障,你的应用上线后根本没保障,跟没穿防护衣一样。
15分钟,从零到真机测试完成。这不是未来,而是现在正在发生的事情。
夜雨聆风