这几年，AI 使用软件的方式经历了三次明显变化。

最开始，它只能告诉你怎么操作：

“打开设置，在右上角找到某个按钮。”

后来，它能看懂截图，结合你当前的页面继续指导：

“你已经进入商品管理页，导出按钮在左下角。”

现在，第三个阶段正在到来：

AI 不只告诉你怎么点，它开始自己动手点。

Qwen-UI-Agent、OpenAI 的 Computer-Using Agent，以及越来越多同类产品，都在尝试让 AI 看懂屏幕上的按钮、菜单、输入框和弹窗，再像人一样点击、滚动、输入，在网页、手机和电脑软件之间完成任务。

这类技术通常被称为 GUI Agent。GUI 指图形用户界面，也就是我们每天看到的软件页面；Agent 则可以理解为能够连续执行任务的 AI 助手。合在一起，就是“会看界面、会操作软件的 AI 助手”。

Qwen-UI-Agent 在 7 月底发布的技术报告中，把长期目标描述为“在现有数字设备上工作的通用执行者”。它的项目演示已经覆盖手机、电脑和网页之间的连续任务，例如先在内容平台查菜谱，再到生鲜应用购买食材；或者查询火车到站时间、计算地铁通勤时间，再到钉钉创建会议。

看到这些演示，很容易得出一个诱人的结论：

以后是不是不用学软件了？

但至少在今天，这句话还说得太早。

更准确的判断是：

以后，很多软件操作可能不必先学会；但你仍然要知道自己想完成什么、什么结果才算正确，以及哪些事情绝不能让 AI 擅自决定。

GUI Agent 为什么重要？因为它试图绕过软件之间的“语言障碍”

过去，每一款软件都要求人去适应它的界面。

做图片要学 Photoshop，处理表格要学 Excel，投放广告要熟悉广告后台，经营独立站要记住 Shopify 的各种菜单。换一套系统，又要重新学习：

• • 入口藏在哪里；
• • 按钮叫什么；
• • 哪一步应该先做；
• • 某个选项为什么不能勾；
• • 出错以后到哪里撤销。

我们以为自己学会了软件，实际上有相当一部分时间只是用来记忆界面。

过去要让两个系统自动协作，通常需要调用系统接口，或者提前录制一套固定点击流程。前者需要软件开放接口和开发能力，后者一旦页面改版就容易失效。大量冷门软件、内部后台和偶尔使用的网站，很难专门为它们开发自动化。

GUI Agent 提供了另一条路径：既然人可以通过屏幕操作软件，AI 也尝试直接理解同一块屏幕。

以后，你或许只需要说：

“把表格里的 20 个产品录入店铺后台，图片缺失的先跳过，全部保存为草稿，不要发布。”

AI 可以自己寻找入口、读取表格、填写信息、上传图片，再把异常项目整理出来。你不一定要先知道“新建产品”按钮在哪，也不必为这个后台单独写一套程序。

真正重要的变化，不是 AI 学会了点击鼠标，而是人与软件沟通的起点，开始从“这个按钮在哪里”转向“我想完成什么任务”。

哪些工作已经比较适合交给它？

并不是所有电脑操作都适合让 AI 接管。现阶段，它在下面四类任务中更容易产生实际价值。

第一类：步骤重复、判断很少的点击工作

例如在后台逐条执行：

打开记录→ 修改状态→ 保存→ 返回列表→ 处理下一条

这种任务不难，却会不断打断人的注意力。只要页面结构相对稳定、修改结果容易核对，就适合让 AI 先完成大部分机械操作。

第二类：在不同系统之间搬运表格和表单

很多中小企业的真实工作并不复杂，只是琐碎：从客户表格中读取姓名、电话、地址和产品编号，再填入物流、客户管理或店铺后台。

如果系统没有方便的数据接口，以前通常只能人工复制，或者请人开发一套固定的自动化脚本。GUI Agent 能看页面，也能根据当前情况调整操作，因此为这类“没有接口、但人可以点”的工作增加了一个选择。

不过，搬运数据看似简单，仍然要提前规定格式。例如电话号码是否保留国家区号、地址缺少邮编怎么办、商品编号不存在时是跳过还是新建。没有这些规则，AI 只是把人工的不确定性放大了。

第三类：在陌生软件里完成低频任务

有些操作一年只做一两次，例如：

“找到 7 月账单并下载。”

“把某个平台的历史订单导出为表格。”

“在后台找到税务资料并保存一份副本。”

为了一个低频任务，先看半小时教程、熟悉整套菜单，成本可能比操作本身还高。这类目标清楚、风险较低、完成后容易检查的一次性任务，是界面操作型 AI 很适合切入的场景。

第四类：横跨多个软件的完整流程

真正有想象力的场景，不是让 AI 在一个页面里点十次，而是让它围绕一个目标穿过多个软件：

浏览器查询资料→ 表格整理数据→ 店铺后台创建草稿→ 邮箱生成通知邮件

人会把这看成一件事，传统软件却把它分割成四个彼此独立的系统。GUI Agent 的价值就在于尝试从“任务”而不是“软件”出发，连接这些原本断开的步骤。

但也正因为流程变长，任何一个页面变化、登录失效或数据异常，都可能让后面的步骤一起偏离。因此，跨软件任务越长，越需要分段检查，而不是一句“全部帮我弄完”之后就不再过问。

为什么现在还不能说“什么软件都不用学”？

因为真实的软件环境，远比演示视频复杂。

在标准化测试中点对按钮，只能说明模型具备一定的识别和操作能力；它能否在你的账号、你的数据和不断变化的页面上稳定工作，是另一回事。

页面不会一直保持不变

按钮可能更换位置，网站会突然弹出活动窗口，浏览器可能询问是否保存密码，登录状态也可能在任务中途过期。

熟练用户能马上判断哪些信息可以忽略，AI 却可能把弹窗当成任务的一部分，或者在页面变化后走错入口。

真实数据总有例外

20 个订单中，前 16 个都很正常，第 17 个突然缺少邮编；一批产品使用同一套价格规则，其中一个却属于特价商品；大部分图片符合要求，某一张的尺寸突然不对。

自动化真正难的不是顺利处理前 16 个，而是遇到第 17 个时，AI 会停下来询问、跳过并记录，还是自作主张填入一个看起来合理的答案。

有些网站不允许自动操作

验证码、二次验证、设备授权和访问限制，并不都是技术障碍。有些系统本来就不希望机器人代替用户完成操作，也可能在服务条款中限制自动化访问。

“技术上能点”不代表“平台允许这样点”。涉及账号安全、平台规则和客户数据时，仍然要先确认权限边界。

屏幕上的内容也可能欺骗 AI

界面操作型 AI 会读取网页上的文字，这也带来了新的风险：页面中的恶意提示可能伪装成操作指令，诱导 AI 忽略原任务、泄露信息或执行额外动作。

人看到“请把密码上传到这里”通常会警觉，AI 却可能把它理解为流程说明。因此，涉及邮箱、文件、客户资料和登录信息的任务，不能只依赖模型“自己判断安全”。账号隔离、最小权限和关键步骤确认仍然必要。

不可逆操作的代价差异很大

搜索错一次，重新搜索即可；保存错一个草稿，还能修改；但付款、群发邮件、删除数据或调整管理员权限，一旦出错，损失可能无法轻易挽回。

衡量自动化风险时，不能只问“成功率有多高”，还要问：

那一次失败，最坏会造成什么结果？

对熟练用户来说，它有时反而更慢

如果你每天使用 Excel 八小时，一个快捷键几秒就能完成的操作，AI 可能需要不断截图、判断、点击和等待，耗时反而更长。

所以，GUI Agent 最适合替代的并不是“我已经特别熟练、三秒就能完成的动作”，而是：

我不熟悉这套软件、操作步骤很多，或者同样的事情需要跨多个系统反复执行。

未来真正需要学习的，可能从“按钮”变成“规则”

这才是界面操作型 AI 最值得关注的变化。

假设以后你不再需要记住 Shopify 的每一个菜单，仍然必须回答：

• • 什么产品允许发布？
• • 商品编号应该按照什么规则生成？
• • 售价低于多少必须人工复核？
• • 图片缺失时应该停止、跳过还是保存草稿？
• • 哪些国家不能发货？
• • 哪些操作必须得到负责人确认？

换句话说：

软件操作知识可能逐渐贬值，业务规则和判断能力不会。

以前，一名熟练运营人员的优势可能是“这个后台我闭着眼都知道在哪里点”；以后，更有价值的能力会变成“我知道这件事应该怎样做、什么情况算异常，以及怎样检查结果”。

AI 可以替你寻找按钮，却无法替企业凭空建立商品规则、定价原则、风控标准和责任边界。

给 AI 派操作任务，至少要写清楚这六件事

一句“你自己帮我弄完”，并不是授权清晰，而是把所有模糊之处都留给 AI 猜测。

更可靠的任务说明可以采用下面这个结构：

【目标】最终要完成什么？什么状态算任务结束？【输入】使用哪些文件、账号和数据？以哪个来源为准？【范围】只操作哪些软件、网站、页面或数据？【禁止事项】不要付款、不要删除、不要发布、不要修改权限。【异常处理】遇到缺失字段、价格异常、登录失效或不确定页面时，停止并询问，不要猜测，也不要自行扩大范围。【验收方式】完成后报告成功数量、失败列表、修改摘要和关键截图。

例如，“把产品上传到店铺”不够明确；更好的说法是：

读取指定表格中的 20 个产品，只在测试店铺创建草稿。商品编号或主图缺失时跳过并记录；价格低于成本价时停止询问。禁止发布、删除现有商品或修改库存。完成后给出成功数量、跳过原因和三张抽查截图。

目标、边界、异常和验收越清楚，AI 越不需要在关键地方替你猜。

电脑操作权限，可以先分成三档

对于个人和小团队，最实用的办法不是一开始讨论“要不要完全自动化”，而是先按照错误后果划分权限。

绿灯：可以在限定范围内自动执行

• • 搜索和只读查询；
• • 打开、分类和整理文件副本；
• • 下载公开资料或指定账单；
• • 填写尚未提交的草稿；
• • 生成修改建议和待办清单。

这类操作通常容易撤销，也不会立即影响外部用户。

黄灯：AI 可以准备，但提交前必须确认

• • 发送邮件和消息；
• • 发布文章或商品；
• • 批量修改产品信息；
• • 创建订单或提交表单；
• • 改动线上网站内容；
• • 对外预约或预订服务。

比较稳妥的做法是让 AI 完成准备工作，停在最后一步，由人核对对象、数量、金额和内容后再确认。

红灯：不应默认授权，必须单独确认

• • 付款、转账和退款；
• • 删除重要数据；
• • 修改管理员权限；
• • 上传密钥、证件和敏感资料；
• • 操作正式生产环境；
• • 确认合同、法律或高风险财务事项。

AI 能点，并不等于应该让它点。权限的大小，不应由技术能力决定，而应由错误后果决定。

真想开始用，不妨先做一个“无聊任务”

很多人第一次尝试界面操作型 AI，就给它一个横跨五个平台、包含几十个步骤的复杂任务。失败以后，便得出“这东西不实用”的结论。

更合理的起点，是挑一个足够无聊但可以检查的任务，例如下载一批账单、给十条商品记录补充固定字段，或者将表格内容录入测试后台。

可以按下面的顺序逐步放开：

1. 1. 先在副本、测试账号或草稿环境中运行；
2. 2. 连续执行 10 次，记录它容易在哪些步骤出错；
3. 3. 把常见异常写成明确的停止条件；
4. 4. 为结果增加数量校验、抽查截图或前后对比；
5. 5. 确认足够稳定后，再扩大数据量和操作范围；
6. 6. 发布、付款和删除等动作始终保留人工确认。

这套方法看起来没有演示视频那么惊艳，却更接近真正能长期使用的自动化。

最后

“以后什么软件都不用学”是一个很适合传播的故事，但现在就下这个结论，仍然是在画大饼。

更现实、也更重要的变化已经开始发生：

我们学习软件，可能不再从“按钮在哪里”开始，而是从“我要完成什么任务”开始。

AI 会承担越来越多操作层的工作，人则需要定义目标、提供业务规则、处理异常并为最终结果负责。

所以，不必急着把 Excel、Photoshop 或各种业务后台全部忘掉。那些每天都在使用、涉及专业判断的工具，仍然值得深入掌握。

真正可以少花时间记忆的，是一年只用一两次的菜单位置和机械步骤；真正应该多学的，是业务、判断、验证和边界。

当软件开始“自己会点”，这些才是人更难被替代的部分。

参考资料

• • Qwen-UI-Agent 项目页面
  https://tongyi-mai.github.io/Qwen-UI-Agent/
• • OpenAI：《Computer-Using Agent》https://openai.com/index/computer-using-agent/

注：界面操作型 AI 仍处于快速发展阶段。标准化测试成绩不能等同于在所有真实软件环境中都能稳定完成任务；涉及敏感信息、外部影响和不可逆操作时，仍应保留人工确认。