夜雨聆风学习资料网

ARTICLE · 1057254

豆包工作保姆级(4):让AI替你操作电脑,哪些活别交

豆包工作保姆级(4):让AI替你操作电脑,哪些活别交

公司那套用了八年的内部系统,没有接口,没有插件,也没人给你开放 API。

这类活以前只能靠人一点点磨:把网页上的数据复制到表格里,在两个没打通的系统之间搬运同一批单据,在老的进销存里按规则一批批录入。AI 再聪明也帮不上忙,因为它够不着。

上期我们讲了右键就能让豆包直接改本地的 PPT 和 Excel。这一期再往前一步:你授权之后,它自己看屏幕、自己点鼠标、自己敲键盘,把那些没有接口的活接过去。

➜ 第0节:四步开通,先把它请进你的电脑

第一步,装对版本。把豆包电脑版更新到最新版,或者去官网下载"豆包工作"电脑端,Windows 和 Mac 都支持。Mac 的"操作电脑"能力是最近才补上的,之前只有 Windows 有。

第二步,切模式。打开后从左下角一键切换到"工作任务"模式。提一句:切过去之后对话风格会变,长对话别在这个模式里收尾,免得上下文接不上。

第三步,开技能。在技能栏里选"操作电脑",或者在对话里直接说明你要它操作电脑。然后点"开始初始化",按系统提示完成授权,涉及辅助功能、录屏与系统录音这类权限,都要点允许。

第四步,过管理员这一关。如果接下来涉及需要管理员权限的操作,Windows 还会再弹一个"豆包操作电脑-凭据"窗口,让你输入当前用户的登录密码。这一步跳不过去,属于系统层面的保护。

操作步骤

>把豆包电脑版更新到最新版本(或官网下载"豆包工作"电脑端)

>打开后从左下角切换到"工作任务"模式

>在技能栏选"操作电脑",对话里也可以直接说明

>点"开始初始化",按提示允许辅助功能、录屏与系统录音权限

>遇到"豆包操作电脑-凭据"弹窗时,输入当前用户的登录密码

费用上,免费版能跑基础的问答和文档整理,但要让它在电脑上连续跑任务、调用本地文件,一般得标准版(68 元一个月)往上,在校生认证之后 38 元

第一次用,建议挑一个真实但不敏感的小任务:整理公开资料、汇总一批文件、做一份调研。别一上来就拿公司核心数据练手。

➜ 它是怎么"操作"的:不是魔法,是隔离沙箱

先说清原理,你才敢用。

它不要求每个软件开放 API,也不一定要配 MCP 或插件,靠的是通用 GUI 界面理解技术,直接识别屏幕上的图形化界面元素。按钮、输入框、下拉菜单,对它来说都是能看懂的图形。

它在一个"虚拟窗口"里干活,你可以理解成另开了一块子屏幕,所有动作都在隔离沙箱中运行。

这带来两个直接好处。一是不劫持你当前的键盘鼠标输入,它点它的,你能同时用电脑;二是不会中断你正在做的本地工作,不会突然把你写了一半的文档最小化。

你能全程看着它操作:看它打开窗口、打开浏览器、在搜索框里输入、判断结果、点进页面。任意节点可以一键暂停任务,也可以随时把控制权接回来。碰到需要你确认的细节,它会主动追问。

社区里有实测的例子:让它下载一个软件安装包,它自己走完打开浏览器、进网站、找搜索框、输入关键词、看搜索结果、判断该点哪一个、等下载完成这一整条链路,全程只需要你围观。

它跑在隔离沙箱里、键鼠不被劫持、随时能暂停接管——这三条是"操作电脑"可以放心用的前提。

➜ 实战一:把杂乱的文件夹和资料理成一张表

最常见的场景就是文件夹。下载文件夹里堆着这周的会议资料,PDF、Word、Excel 混在一起,文件名一个比一个随意,你要按日期整理,还要提取每份文件的标题和负责人。

你要做的只是说清目标,不用描述过程。它会自己拆步骤,先在侧边工作台展示任务拆解,然后一步步执行。

它擅长的细分动作有这些:按规则批量重命名、按类型分文件夹、按日期归档、从一堆文件里提取关键字段汇总成表、按模板生成周报初稿。

可复制的指令

$把下载文件夹里本周的会议资料按日期归档,提取每份文件的标题和负责人,汇总成一张表

$把下载文件夹里的文件按类型分文件夹,文件名统一改成"日期-主题"格式,改之前先给我一份清单

判断标准很简单:只要步骤相对固定、又不需要你做主观判断,就适合交出去。反过来,别只说"帮我整理一下文件",目标越具体,它拆得越准。

第一次跑这类有改动动作的任务,先让它列清单给你看,确认之后再执行。

➜ 实战二:那些没有接口的老系统,靠"看"来操作

这是"操作电脑"最不可替代的一点。很多老软件、内部系统、行业专用客户端,没有 API,也接不上插件,以前 AI 再聪明也只能干瞪眼。

现在它直接"上手"点:识别界面上的按钮、输入框、下拉菜单,像人一样操作。它也不依赖命令行工具,纯图形界面对它来说就够了。

举几个具体场景。把网页上查到的销售数据,一条条挪进本地的 Excel;在两个没打通的库存系统和 ERP 之间搬运同一批单据,先在第一个系统点"导出",再切到第二个系统点"导入",最后核对并提交;在老的进销存系统里按规则批量录入商品编码。

这些活的共同点,是"两边都有人工界面,但两边不通"。以前没有别的办法,只能人工复制粘贴。

可复制的指令

$打开第一个系统查询这批单据,导出结果,再切到第二个系统按行录入,每录完一页核对一次总数

提醒一句:这类跨系统操作的第一次运行,建议全程盯着看执行记录。跑通一遍、确认每一步判断都对,再放手让它自动工作。

➜ 实战三:网页上的重复活,让它自己点完

网页上的重复操作,是它最容易见效的一类。

自动填表:给它一个调查问卷的网址,页面上既有输入框又有选择框,它会先分析页面上的元素,然后按你给的虚拟身份把表单填完,连开放题都能自己写一段内容填上去。

规则化的检索与归档:按固定规则去几个网站查同一个关键词,把结果截图或摘录下来,按日期存进对应的文件夹。

批量下载:把需要下载的一批文件链接丢给它,它自己逐个点进去下载,按你给的文件名规则重命名。

可复制的指令

$打开这个网址,用下面这份信息把表单填完,填完先截图给我确认再提交

$把这批链接里的文件逐个下载到指定文件夹,文件名按"序号-原文件名"重命名

这类活第一次跑完,先看一遍执行记录,确认判断逻辑对不对,第二次再放手。另外要注意:表单提交这类动作做错了,不像在对话框里说错话那样能撤回来。

➜ 实战四:人不在电脑前,手机遥控它接着干

手机端豆包 App 登录和电脑端一致的账号,进"工作任务"模式,把运行环境选"云电脑",完成设备绑定授权,这条线就通了。

通了之后你能做三件事:远程续跑没干完的任务、新起一条指令、随时查收进度推送和结果反馈。

场景挺实在。通勤路上让家里电脑找一份文件并转成 PDF;到家之前让电脑把出差要用的 PPT 整理好;人在外面,让电脑把一份资料直接发到飞书。它还有"手机远程操控电脑"这条线,和"操作电脑"是配套的。

社区里的实测例子是这样的:用手机给 Windows 上的豆包下命令,让它把桌面上某份文件通过飞书发过来。因为连接器已经连了飞书,这条命令很快就执行完了。

可复制的指令

$把桌面上的某份文件通过飞书发给我

$把昨天没跑完的那份资料整理任务接着跑完,完成后把结果发到我的飞书

前提和上一期说的一样:被调用那台电脑得开机、联网、装着最新版豆包电脑版,并且完成同账号授权。人走了电脑关机,活就停在原地。

➜ 三类活,我建议你留着手自己做

第一类,清理类操作:删文件、清盘、卸载软件、整理系统目录。这类动作做错不可逆,而它判断一个文件该不该删,很多时候只能看文件名。文件名是会骗人的,有用户开了本地权限让它自动清 C 盘,结果驱动和运行库被当成垃圾清掉,最后重装系统。

第二类,要登录、要验证码、要付钱的网页流程。录制和回放会把整条流程学走,包括中间那些你并不希望被记下来的环节;提交类的动作做错了,不像在对话框里说错话那样能撤回来。

第三类,需要你签字担责的文件:合同、报价单、申报材料、财务口径。这些错了是要你负责的。AI 有个改不掉的毛病,缺数据的时候它会补,补得还挺像那么回事。

再补一条:需要看屏幕临场判断的操作,比如突然弹出来的报错、授权弹窗,这类也别交。它看不懂的时候,你得在电脑前。

➜ 动手之前,先把三道保险装上

第一道,权限分档。豆包的授权有三档:"始终询问""按需确认(只针对有风险的操作进行询问)""全部允许(不受限制地访问互联网和编辑你电脑上的任何文件)"。第一次跑任务,建议先用"按需确认"。

第二道,文件先脱敏。客户名、身份证号、报价、没公开的项目名都换成代号;涉密资料单独放一个盘,不要放进你授权给它的目录里。

第三道,账号分家。用公司批过的那套账号干公司的活,别把自己的私人账号当工位。

给你一组能说服自己的数字。有数据安全报告统计,接近一半的员工会在公司设备上经常使用 AI,这个比例一年前只有一成多;这些人里,约三分之二用的是非公司账号,公司既看不见,也管不到。另一份报告说,流入 AI 工具的数据里,大约四成涉及敏感信息。

说到底一句话:AI 替你省时间,但按保存键那一下,最好还是你的手。

➜ 本期清单

✓ 开通四步:更新最新版 → 切"工作任务"模式 → 技能栏选"操作电脑"并授权 → 过管理员密码那一关

✓ 它跑在隔离沙箱里,不劫持你的键鼠,随时能一键暂停或接管

✓ 最值得先试的三类活:整理文件夹并汇总成表、跨老系统搬数据、网页批量填表下载

✓ 三类别交:清理删除类、登录验证码付款类、要你签字担责类

✓ 三道保险:权限用"按需确认"、文件先脱敏、账号分家

➜ 下一期:把做过的操作录一遍,存成你自己的技能

有些活你很难用文字交代清楚,但做一遍它就看明白了。

下一期是系列第 5 期——浏览器录制与回放。你在豆包浏览器里把一遍操作演示给它看,它跟着学点击、填写、上传这些步骤,学成一套可复用的技能,还会记下调用条件、需要的输入、以及怎么验证结果对不对。

电商上架是最典型的例子:填标题、写描述、选分类、设价格、算运费、传图片,一次说清很难,做一遍就完事。

关注进击的AI时代,系列教程一期不落。

—— END ——

进击的AI时代 · 每天一个 AI 真相

关注我,第一时间跟上新功能玩法

相关学习资料