AI 只能聊不能动手？这个开源工具让 Agent

想让 AI 帮你点软件、填表单，多数方案是截张图让它猜按钮在哪。点偏了不算，它还可能告诉你任务完成了。

agent-desktop 换了条路：直接读系统的无障碍树，把界面里每个能点的元素变成带编号的引用。Agent 按编号操作，点完再拍一次快照核对结果。

这工具是 Vercel Labs 开源的命令行程序，本身不带模型。Claude Code、Codex、Cursor CLI 都能驱动，Windows、macOS、Linux 全支持。

它默认在后台运行，不抢你的鼠标和键盘，你还能同时用电脑干别的。遇到界面变了，它会明确报错让你重来，而不是闷头点错还说成功。

复杂界面可以先用浅层结构图，官方自测能省下 78% 到 96% 的 token。多开几个 Agent 也互不打架，需要真实输入的才排队执行。

安装就一条命令：npm install -g agent-desktop。macOS 记得给终端开辅助功能权限。