ARTICLE · 1303907
你的AI助手操作电脑总翻车?Vercel新开源工具让它真正看懂桌面
你的AI助手操作电脑总翻车?Vercel新开源工具让它真正看懂桌面你是不是也遇到过这种情况——让 AI 帮你点个按钮、填个表单，它要么点歪了位置，要么在屏幕上瞎找半天，最后还报错。 问题出在哪？大多数 AI 桌面助手都是靠"看截图"来猜屏幕上有什么，但截图只是像素，它不知道哪个是按钮、哪个是输入框、点下去会发生什么。 Vercel Labs 最近开源了一个叫 agent-desktop 的项目，换了个思路：不看截图，直接读操作系统的 UI 结构树。 01 不靠猜，直接读"操作系统的话" agent-desktop 用 Rust 写的，通过操作系统的无障碍 API 直接读取每个应用的真实 UI 结构——哪个窗口在前台、哪个按钮可点、输入框里有什么内容，全部清清楚楚。 这意味着 AI 不再需要猜像素坐标，而是直接知道：这是一个"提交"按钮，ref 是稳定的，点下去会触发什么。 02 为什么这比截图方案靠谱？ 传统截图方案的问题：界面稍微变个位置、弹个弹窗，AI 就找不到北了。 agent-desktop 的优势： - ref 稳定：同一个控件每次都能定位到 - 操作可重试：点错了知道是哪个按钮错了，不会乱点 - 安全：知道哪些操作是危险的，不会瞎执行 03 现在能用吗？ 项目刚开源，还在早期阶段，但已经支持 macOS 和 Linux 上的基本桌面操作。Vercel 官方说后续会完善 Windows 支持。 如果你正在做 AI Agent 相关的项目，这个思路值得参考——让 AI 真正看懂桌面，而不是看懂截图。 你平时用 AI 助手操作电脑遇到过什么翻车现场？评论区聊聊。
