让 AI 看懂并操作桌面软件

让 AI 帮你在电脑上点按钮、填表单，最容易在哪翻车？看不懂屏幕、只能截图猜坐标。
Vercel Labs 开源的 agent-desktop 换了思路：读系统无障碍树，让 AI 直接操作界面元素。

✨ 能做什么
• 对应用拍「快照」，返回带 ref 的可操作元素清单，不靠像素匹配
• 观察→点击→再观察，每步可追溯，出错有明确信号
• 跨 macOS / Windows / Linux，默认不抢你的鼠标和焦点

⚠️ 使用前注意
• 快照、截图、剪贴板可能含私密内容，别放进公开日志
• 依赖应用把元素暴露给无障碍接口，支持度因系统而异

👥 适合谁
• 在搭建或调试「能操作电脑」AI agent 的开发者
• 想要成品桌面助手的普通用户不适合，这是给 agent 调用的工具

🔗 项目入口
仓库：https://github.com/vercel-labs/agent-desktop

📖 阅读长文
agent-desktop 开源：让 AI 看懂并操作桌面软件

#agent-desktop #computeruse #AIagent