豆包会干活了 · 教你让 AI 替你操作电脑
8 月 17 号到 19 号,豆包连着上了三个功能,AI开始替人操作电脑了。这篇教你从入口、授权到远程派活。
它能看屏幕、点鼠标、敲键盘,这篇教你怎么用。
编者按
开篇判断8 月 17 号到 19 号,豆包连着上了三个功能。手机远程控制电脑,电脑端虚拟桌面,还有本地电脑和云电脑双模式。合起来就一句话,AI 开始替你操作电脑了。以前它只能回答你的问题,现在它有自己的工作台,看屏幕,点鼠标,敲键盘,活干完进度推给你。
这篇教你怎么用。学完你会得到三样东西,通勤路上让家里的电脑干活,工位上让 AI 收拾文件做表,下班后让云端电脑盯着定时任务。需要什么条件,最容易卡在哪,一次说清。
先说一下这三个功能是什么。8 月 17 号上线的是手机远程控制电脑。你人在外面,手机里给电脑下指令,电脑端读本地文件、操作软件,进度实时传回手机。18 号上线的是豆包虚拟桌面,Windows 版。它在你的系统里另开一个独立的桌面会话,AI 在这个房间里自己干活,你在主桌面正常办公,互不干扰。19 号是双模式切换,本地电脑和云电脑。要持续跑、要定时的活扔给云端,笔记本合上也不停。

01
PART
虚拟桌面,先试这个
Try This First
虚拟桌面是三个里最值得先试的。它在 Windows 上,前提是豆包电脑版升级到最新版。
入口四个动作。打开豆包,左下角选「工作任务」。在任务区域选「本地电脑」,技能栏里有「操作电脑」,点它,完成授权。之后豆包会自动创建出一个独立的虚拟桌面,你把任务指令输进去就行。

它不需要插件,不需要 API,也不需要命令行。它用的是图形界面能力,像人一样看着屏幕操作。理论上任何有图形界面的软件它都能碰。每一回点击、每一次输入都有操作留痕,你能随时切到虚拟桌面看它干到哪了,也能一键暂停或接管。主桌面完全不受影响,有媒体实测过,它跑任务的时候主桌面 CPU 占用 11%,内存 42%,你该打字打字,该开会开会。
能干的事,整理桌面文件,检索网页给 PPT 找素材,下载安装软件,都是报道里实测过的。也有几个细节能看出它干活的认真程度,AI 误点了无关按钮,能识别偏差自己退回重做;打开页面遇到广告弹窗,会自动关掉;长页面会自己滚动。也有一个小提醒,长任务中途直接终止会清空进度,只能从头来,临时暂停一下则有可能接续。
第一次用,建议从最简单的任务开始,比如让 AI 把桌面按主题分类整理一遍,先看它怎么干活,再交给它更复杂的事。之后还可以看技能栏,里面有上百项办公技能,打通了飞书和钉钉;工作伙伴功能能让几个 AI 组队分工干一件事,那是下一步的事。
02
PART
手机远程控制,离不开电脑的时候用
Remote Control
这个功能的场景最现实。你下班的路上想起周报还没交,掏出手机,让家里的电脑整理数据、写好再叫你。出差时让电脑找一份文件发你飞书。
条件有三个。手机和电脑登录同一个豆包账号。电脑端允许手机连接。电脑保持开机,最好别让它睡死。完成授权后,手机打开「工作任务」,底部就能看到已连接的电脑。指令发出去,进度和结果实时回传,可以中途追加要求,也可以喊停。多台电脑也能绑一起,统一调度。

03
PART
长任务,交给云电脑
Cloud for Long Jobs
定时盯新闻、盯商品价格、隔夜跑批量数据,这些交给云电脑。它跑在云端,你笔记本合上甚至关机,任务照常进行,手机随时看进展。选本地还是选云端有个简单判断,一次性的活,本地电脑;要持续运行、要定时的,云电脑。
04
PART
最容易卡住的地方
Three Pitfalls
三个坑提前说。第一,虚拟桌面目前只有 Windows 版,Mac 只支持内置浏览器里的图形界面操作,范围小不少。第二,手机远程控制先授权、电脑先唤醒,不然指令发出去没人接。第三,任务进行里有需要你本人授权的环节,它会弹窗问你,别把通知关了。

另外,看不到进度的时候,切到虚拟桌面看一眼,所有操作都有留痕。
结语
我们建了个AI交流学习群,如果你也正在学习AI,欢迎一起交流。

如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。
让 AI 放大每个人的能力
夜雨聆风