我跟Claude说"帮我打开QQ音乐"。然后屏幕上的鼠标自己动了。自己找到QQ音乐,自己点开。我什么都没碰。
这不是远程控制,不是录屏回放,是AI在操作我的电脑。
Claude Desktop刚上线了Computer Use功能,它能直接控制你的Mac屏幕——截屏理解界面,移动鼠标,点击,打字。不需要API,不需要插件,看你的屏幕,然后动手。已经上线了,不是画饼。

怎么开启
先把Claude Desktop更新到最新版,然后在设置里打开Computer Use开关,授权两个系统权限(辅助功能和屏幕录制),就可以了。三步,一分钟搞定。
如果设置里没看到这个选项,可能是还在灰度,退出重进几次试试。
打开之后我又试了几个操作。让它打开一个文件夹,自己找到,自己点开。让它去操作浏览器,也是一样,自己导航,自己点。
整个过程就是看着屏幕上有个"人"在帮你操作电脑。
第一反应不是"好厉害",是"这也行?"
第二反应是:完了,这东西以后什么干不了?


操作过程

结果
它是怎么做到的
Claude操作电脑有一个优先级,三层降级:
最优先用连接器,就是那种直接对接好的服务,比如Gmail、Google Drive、Slack,直接调API,最快最准。
如果没有连接器,就退到浏览器控制,通过Chrome去操作网页。
如果连网页都搞不定,就退到最后一层:直接看屏幕,操作鼠标键盘。
打开QQ音乐这种事,没有API对接,也不是网页,所以它就直接操作了我的桌面。
这个逻辑挺聪明的,能用快的就用快的,实在没办法了才看屏幕动手。但关键是——它真的能动手了。
能干什么
它真的可以解放你的双手了。凡是你觉得"这个操作很机械但我懒得做"的事,理论上都可以丢给它。它甚至有个配套功能叫Dispatch,你在手机上派任务,它在Mac上执行——你出门在外,Claude在家帮你干活。
安全吗
这个问题肯定很多人关心。
首先,每个应用它第一次要用的时候,都会问你要不要授权。你可以随时中断,也可以设置黑名单,指定哪些应用它永远不能碰。
其次,Claude被训练为不会做这些事:不碰股票交易、不输密码和财务信息、不抓人脸图像。投资和加密货币相关的应用默认就是禁用的。
另外它还有一个prompt injection的检测机制,会扫描屏幕上的内容,防止被恶意指令劫持。
但有一点要注意:它不是在沙箱里跑的,是直接操作你的真实系统。所以重要的东西,还是自己盯着点。
为什么我只试了打开QQ音乐和文件夹?因为我也不敢让它干太多。毕竟是直接操作真实系统,万一它给我把什么东西删了,哭都来不及。
目前的限制
说几个现实的限制:
只支持Mac,Windows还在路上。需要Pro或Max订阅。只能在Claude Desktop的Cowork和Code里用,命令行不行。而且只能跑一个任务,不能同时跑多个。
还有就是,它毕竟是通过截屏来理解界面的,不是真的"懂"你的电脑。复杂操作可能需要多试几次。
最后
看着Claude自己在我的电脑上操作的时候,脑子里就一个念头:
这才是AI该有的样子。
OpenAI有OpenClaw,Google有自己的Agent,现在Anthropic也下场了,而且直接做到了桌面级别。这个赛道已经挤满了人,说明方向没问题。
还是Research Preview,还有很多限制,还会翻车。
但AI从"陪你聊天"到"替你干活",这一步已经迈出去了。
回不去了。
夜雨聆风