豆包手机撞上王者荣耀,AI想替你操作App为什么这么难?

AI还没替你打游戏，一台AI手机却先被《王者荣耀》提示“设备环境异常”。

9月24日晚，豆包手机助手陆续收到多名努比亚NaviX Ultra用户反馈：正常登录或匹配《王者荣耀》时，会出现“设备环境异常”、被强制踢下线等情况。

此后豆包手机助手公开回应称，经确认，助手全程未对腾讯游戏系统进行任何操作，AI也不存在违规点击、外挂或模拟行为。

至于究竟是什么触发了异常，目前仍没有明确答案。

01> 能干活，但不是每一步都能交给AI

AI博主“数字生命卡兹克”提前拿到真机后，让豆包跑了一遍飞书报销流程：识别发票、填写报销表，再进入飞书审批上传材料。整条流程一次跑完。

AI报销动图视频，来源：“数字生命卡兹克”微博

另一项测试，他让豆包购买自己经常买的猫粮，Agent一路操作到支付页面，最后一步付钱需要用户自己确认。

他同时提到，目前手机操作的生态仍主要覆盖系统及中兴应用、字节系应用和部分已经接入的第三方应用。

但也有人的体验感差别很大。B站用户“十小时都盯着天花板”拿到二代豆包手机后，“吐槽”自己测试的几个功能里，“大部分应用都没拿到接口”，多个任务无法完成，和预期中的“智能”仍有明显差距。

图源：B站用户“十小时都盯着天花板”

同一台AI手机，有人能把报销流程一路跑完，有人却在几个常用功能上接连碰壁。两种体验并不矛盾：用户最终觉得“有用”还是“没用”，很大程度上取决于自己的高频任务是否落在当前能够调用的应用和能力范围内。

AI大模型工程专家孙玄告诉疯狂科技厅，从Agent工程本身看，发邮件、比价、支付，本质上都是调用工具。真正不同的是风险：像支付这样的敏感动作，可以额外加入human-in-the-loop（人在回路），让用户最后确认一次。

就算AI没法包办全部步骤，也不能一概算作“任务失败”。问题其实分成两层：有些步骤是Agent暂时做不了，有些步骤则是即使能做，也不该未经确认替用户做。那么App究竟允许Agent做到哪一步？

02> AI会点按钮了，App也未必让它点

豆包手机消费者版推出后，豆包同时公布了SAEP（屏幕自动化操作声明协议），协议称第三方应用可以决定是否允许GUI自动化，也可以对发布、删除等具体动作设置限制。技术上，AI可以替用户找到按钮，但并不等于就能替用户按下去。

在减少对这种“看屏幕、找按钮”操作方式的依赖方向，QwenBook走了另一条路。

9月23日，QwenBook在云栖大会上亮相。阿里云想把它做得比传统AI PC更彻底：不是让人一边用电脑、一边找AI帮忙，而是把任务直接交给AI，让它自己找资料、调工具、改文件，再把结果交回来。官方把这套思路称为“OS as Harness”，从操作系统层提前组织Agent需要的上下文、工具和执行环境。

图源“Qwen Book”公众号

这两种方式的差异，孙玄概括得很直白：“原来GUI只把App当图片，现在Harness实际上把App当接口。”

GUI Agent需要不断截屏、识别按钮、寻找坐标，页面一旦变化，后面的操作都可能跟着出错。相比之下，如果动作被封装成Tool或API，Agent读取的是结构化信息，调用后还能获得成功、失败等反馈，出错时可以重试甚至回滚。

对于更长的任务，Harness还可以记录任务状态，让Agent知道自己做到哪一步，中途断掉后继续往下做。

GUI更像让AI每走一步都重新“看路”，Harness则试图提前把路、工具和当前进度告诉它。

但Harness也不是一把可以绕过所有App的“万能钥匙”。理想情况下，第三方软件直接向Agent开放Tool或API，任务最容易稳定执行。如果没有专门接口，操作系统仍可以利用已有系统能力完成一部分操作；再不行，就只能退回GUI自动化。

每一层兜底都有边界。部分支付、密码等敏感内容可能被系统屏蔽；一旦退回截屏、找按钮和模拟点击，GUI原本的稳定性和可控性问题也会重新出现。

这也是为什么，“有多少个Tool”不能简单等同于“可以稳定操作多少个App”。QwenBook官网目前写着“2000+ Tools”“1000+生态伙伴”，但这些数字并不能直接说明Agent已经打通了多少真实的软件流程。

图源“千问AI平台”网页

WPS已经出现在QwenBook官方生态名单中。另一方面，阿里公开演示过Agent寻找PPT、定位页面并调用工具修改内容的流程。QwenBook官方页面目前并未列出具体接入了WPS哪些能力。

03> 改完PPT之后，AI还得穿过多少个软件？

QwenBook真正改变的是Agent“使用软件”的方式，到了电脑上，这个问题还会被进一步放大。

手机上的高频需求往往集中在少数超级App，但工作电脑面对的软件世界要碎得多：文档、浏览器、IM、OA、CRM，再加上各家公司自己的内部系统。对一台号称“你只管交代任务，剩下我来”的智能体电脑来说，真正难的不是在一个软件里完成一个漂亮动作，而是把一整条工作链路连续跑完。

一个普通员工，可能先在微信里收到文件，打开WPS修改，再去浏览器补资料，飞书发给同事确认，最后进入公司OA提交。一次看似简单的工作，已经横跨了好几套软件。

孙玄举了一个更直观的例子：假设一项任务需要连续调用10个工具，其中8个可以直接调用，剩下两个没有开放接口，Agent并不一定马上停下来。它可以先尝试利用操作系统已有能力，实在不行再退回GUI自动化；这些方式都走不通，最后才需要人来接管。

相比演示“帮我改PPT”“帮我点咖啡”，孙玄表示，他更关心的不是一次单点操作能不能成功，而是能不能把真实工作中的长流程串起来。比如日常内容运营，真正有价值的不是AI帮忙完成某一个步骤，而是能不能把一整套工作一路跑下来。

离开厂商自己的应用和提前适配好的环境以后，Agent设备还能跨过多少第三方软件；遇到没接口、没权限的环节时，是能自己换路继续往下做，还是马上把设备交还给人；一项真实任务跑下来，到底需要用户接管几次——这些可能才更作为普通用户真正关注的话题。

作者：刘瑞祺

编辑：张猛

END