ARTICLE · 1396001
还在手动点软件?WorkBuddy 电脑操控,一句话让它替你点
还在手动点软件?WorkBuddy 电脑操控,一句话让它替你点
本文为个人使用经验分享,功能以官方最新版本为准
做行政、财务、做运营的朋友,大概率都遇到过这种"笨功夫"活:公司内部那套客户端软件,没开放接口,没有连接器,连网页版都没有。想查一条记录、填一份表单,AI 再聪明也帮不上忙——因为它"够不着"那个软件,最后还是得你自己打开客户端,一步一步手点。
这个老大难,11 月 20 日终于被腾讯 WorkBuddy 官方解决了:WorkBuddy 正式上线电脑操控(Computer Use)能力,能识别当前页面、看懂客户端界面,像人一样完成点击、输入、滚动等操作——不需要目标软件开放任何接口,它就能在后台帮你把事情办妥。目前处于公测体验阶段,支持 macOS 和 Windows。
一、它到底能干什么?
一句话:你说需求,它当你的"手"。官方介绍里,它能看懂界面上的按钮、输入框和菜单,自己去点、去填、去翻页。官方举的例子很实在:
在教务系统这类老旧客户端里查询记录; 在仓储、资产等多个客户端之间核对信息并填写表单——两个系统谁也不认识谁,它能靠入库单号这类关联信息把流程串起来; 执行期间你切去干别的活,通过侧边画中画小窗实时看它操作到哪一步。
到这里,WorkBuddy 的三大"动手"能力就齐了,别搞混:
二、保姆级开启教程(5 步)
按官方能力指南整理,逐步来:
第 1 步:更新客户端
官方要求:将 WorkBuddy 客户端更新至 5.11.0 及以上版本。先升级,再找开关,能省掉一轮"是不是没装上"的自我怀疑。
第 2 步:开启电脑应用操控
进入 WorkBuddy 的「设置」→「智能体」,找到「电脑应用操控」并开启。据已上手用户的实测,首次使用时会弹出确认框(可选"允许完全访问 / 本次会话始终允许 / 拒绝"),并提示:使用过程中可能会截屏或读取窗口内容,相关权限可在系统设置中收回。注意:该能力会消耗额外积分,公测期间建议先小任务试水。
第 3 步:完成两项系统授权
首次尝试时,Buddy 会引导你完成两项系统授权(以 macOS 为例,官方原文口径):
- 辅助功能
:进入"系统设置"→"隐私与安全性"→"辅助功能",添加并开启 WorkBuddy Computer Use——这一项管"替你点击输入"; - 录屏
:进入"系统设置"→"隐私与安全性"→"录屏与系统录音",添加并开启——这一项管"看懂界面"。
Windows 用户则在系统的辅助功能与录屏相关设置中逐项确认。小技巧:先在客户端里把功能开关打开,再去系统设置授权——只有客户端主动申请时,系统才会把它列进可授权清单。

第 4 步:一句话下单,说清三件事
直接在对话框里描述任务。官方建议把三件事说清楚:用哪个应用、走什么流程、要什么结果。例如:
打开「××系统」,进「学生信息查询」页面,在姓名里输入「李」点「查询」,告诉我一共查到几个人、分别在哪个班。只查看,不要修改。
官方特别建议:第一次尝试,先做查询核对类任务,或者只处理一条记录,别急着交出一大批任务。另外,输入框底部有一个常驻的权限状态按钮,点开可以切换授权档位,新手建议保持在"需要确认"的档位。

第 5 步:看进度、会接手、必核对
任务运行时,侧边画中画小窗实时显示操作界面和当前步骤,你可以切去其他应用继续干活; 但不要同时操作它正在用的那个软件,避免输入焦点冲突;想自己接手时,先停止任务再介入; 任务完成后 Buddy 会汇报结果,官方建议回到原系统抽查核对——查到的是否是目标记录、填入的信息是否准确——确认无误再继续。

三、上手前必看的避坑清单
- 敏感操作人在场
:官方明确提示,涉及登录、授权、支付、提交、删除等操作时,建议保持在场、全程监控,完成后回原系统核对; - 不想让它碰的软件先拉黑
:设置同页有「禁止 WorkBuddy 操作的应用」,点"添加应用"即可(比如财务客户端加进去,更安心); - 识别效果因软件而异
:官方原话是"界面识别效果会因软件而异",公测阶段遇到识别不准很正常,复杂任务建议人工核对结果; - Windows 首次使用的小状况
:据已实测的用户反馈,Windows 上首次使用会创建独立桌面,若提示"独立桌面暂时不可用",等插件后台自愈后重发任务即可,多数情况重试一次就恢复; - 权限随时可收回
:所有权限都不是永久绑定,不用了可以在系统设置里把屏幕录制、辅助功能权限收回,主动权在自己手上。
四、举一反三:还能这样玩
玩法一:网页上的活交给"浏览器操控"。同一个设置页里就有「浏览器操控」入口,通过 Chrome / Edge / QQ 浏览器扩展让 WorkBuddy 在浏览器里帮你操作网页,网页端的报表导出、后台填单都能试。
玩法二:微信里的重复操作也能省。据第三方实测作者分享,可以用来给指定群聊发一条通知、把生成的报告转发给同事、总结当前屏幕上没看完的群消息等。指令同样按"目标 + 边界 + 异常处理"三段写清楚,例如"只操作这个群,不要碰其他会话,找不到群就立即停止并报告"。提醒:这类操作请只用官方客户端、本人账号,不搞全自动群发、不批量营销,每条消息自己确认——守住边界才用得长久。
玩法三:跨系统串流程。比如设备到货后,先让它在仓储系统查入库信息,再拿着单号去资产系统核对、填写领用登记——到了提交那一步它不会擅自动手,等你确认后再点。
写在最后
从对话到派活,从派活到"替你点鼠标",AI 办公这件事每一步都在往"人只负责拍板"的方向走。电脑操控目前还是公测,界面识别效果因软件而异,建议从小事试起,把不可逆的动作留在自己的确认环节。
留言聊聊:你最想让 AI 替你操作哪个软件?是公司那套"老古董"业务系统,还是每天手动填的表单?评论区告诉我,下期挑呼声最高的场景写一篇完整实战。
关注我,每天一个用得上的 AI 工具技巧。
#AI工具 #教程
参考来源:腾讯 WorkBuddy 官方能力指南(11 月 20 日发布)、南方+、凤凰网科技等公开报道,部分操作细节参考第三方实测分享,以官方最新版本为准。本文为个人使用经验分享,不构成任何商业推荐。















































































