我给 AI 配了一台电脑,然后隔着屏幕看它上班

我们熟悉的 AI，要么在聊天框里打字，要么在画布上出图——它们都很能说，但没有手。

可你有没有想过一个更科幻的场景：给 AI 一台完整的电脑，让它像打工人一样，自己打开浏览器、找准输入框、一个字一个字把内容填进去、点提交，然后关掉窗口，接着干下一件事。

更离谱的是——它干活的时候，你可以开一个网页实时围观它移动鼠标，像看一场慢动作直播。

这不是概念视频，这是技能库里的本期主角。

本期技能：computer-use —— 一个让 AI 长出"手"和"眼睛"的技能。

替你伸出手，够到那些"没有接口"的活儿。

computer-use 解决的问题很现实：世界上大量软件，只有界面，没有接口。

公司内部的老系统、某个只有网页版的填报平台、一个不提供 API 的小众工具——你想让机器自动化，却发现它根本没有给机器留门。传统自动化的回答是"写脚本模拟"，但脚本要求每一步都死记硬背：按钮在第几像素、弹窗第几秒出现，界面一改版，全盘抓瞎。

computer-use 的思路完全不同：既然软件只给人用，那就让 AI 变成一个"人"。用眼睛看屏幕、理解界面上有什么，用手移动鼠标、敲键盘。你只需要说目标，路径它自己看着办。

适用场景举几个例子：

三层"视力"+ 一双"手"。

这个技能最精妙的设计，是它给 AI 配了三种看法，而不是只会傻傻看图：

1. 第一层视力：网页"透视眼"（零成本）

操作浏览器时，它不截图，而是直接读取网页的底层结构——相当于别人看菜单点菜，它直接翻后厨的进货单。每个按钮、输入框的名字和位置一目了然，又快又准，几乎不花任何"脑力"。

2. 第二层视力：软件"目录"（也是零成本）

对浏览器之外的所有桌面软件，它有一招更绝的：读取系统的"无障碍树"。这是每台电脑都自带的隐藏层，上面登记着每个窗口、按钮、菜单的名称和状态——等于 AI 不用盯着屏幕找，直接拿到了整台电脑的物体清单。

3. 第三层视力：真·看屏幕（杀手锏）

前两层都够不着的地方，它才掏出终极手段：截一张屏幕图，用视觉理解去"看"——认出这是张表格、那是弹窗的关闭按钮，算出坐标，然后动手。像人一样，但只在必要时才用，因为"用眼睛看"是最贵的。

4. 一双灵巧的手

看归看，干活靠手。它能模拟真实的鼠标点击、拖拽、滚轮、双击，也能敲键盘、按组合键（Ctrl+S 之类）、往输入框里灌文字——从轻点一下到长篇录入，都行。

5. 附赠一套"外围装备"

它和"按键精灵"不是一路人。

市面上"自动化"名头的工具很多，computer-use 和它们形似神不似：

和"按键精灵 / 鼠标连点器"比：那类工具是"盲人"，只会死记坐标，界面挪一个像素就点空。computer-use 有眼睛、有理解力，按钮换了位置它照样找得到——它认的是"意思"，不是"位置"。

和 RPA（影刀、UiPath 这类）比：RPA 是"流程录制机"，适合高度稳定、天天重复的固定流程，但要人先拖拖拽拽把流程画出来。computer-use 反过来：不用录制，只要目标。适合那些"说不出固定步骤、但知道要什么结果"的活儿，以及根本没人愿意录制的长尾杂活。

和浏览器自动化插件比：插件只管得了浏览器这一个房间。computer-use 管的是整栋楼——浏览器、办公软件、文件管理器、任意桌面程序，都在它的鼠标射程之内。

和科技大厂的同名概念比：大厂们也提出过"让 AI 操作电脑"的愿景，思路同源。computer-use 的差异点在于它的三层感知架构——优先走零成本的结构化通道，把昂贵的视觉识别留到刀刃上，实际跑起来更省"脑力成本"；而且它跑在自己的虚拟桌面里，与真实系统隔离，外加全程可直播、可录像，围观感和安全感都拉满。

从"AI 会聊天"到"AI 会用电脑"，中间隔着的不是算力，是一双手。

computer-use 这类技能让一件事变得真实可感：你可以给 AI 布置一件有界面的杂活，然后看着屏幕上那个光标自己动起来——它找输入框、打字、点提交，动作不算优雅，但一板一眼。

那一瞬间你会意识到：屏幕另一端坐着的，已经是"同事"，而不只是"工具"。

下期技能图鉴，继续在冷门角落里挖宝。如果你也有想让 AI 替你点的那个按钮，留言告诉我。