AI 操控电脑,从独立模型变成了内置工具

78.4 分。

这是 Gemini 3.5 Flash 在 OSWorld-Verified 基准测试上的成绩。作为参考，它的前代 Gemini 3 Flash 只拿了 65.1 分，GPT-5.4 mini 是 72.1 分。而就在上周，Google DeepMind 做了一件更重要的事——他们把产生这个分数的能力，从一个独立模型，变成了一个内置工具。

这意味着什么？以前你要让 AI 操控电脑屏幕，得专门调用一个 Gemini 2.5 Computer Use 模型。现在，Computer Use 和搜索、代码执行、函数调用一样，成了 Gemini 3.5 Flash 的原生能力。

对开发者来说，这不是一次简单的版本升级。这是 Agent 赛道的一次基础设施级变化。

"看到"屏幕，然后"操作"它

Computer Use 的核心原理其实很直觉：给模型一张屏幕截图，它"看懂"界面元素，然后生成具体的鼠标点击、键盘输入、滚动等操作指令。执行环境拿到指令后执行，再把更新后的截图返回给模型，如此循环。

这套截图-动作循环（screenshot-action loop）的架构，Google 在 2025 年 10 月就用独立的 Gemini 2.5 Computer Use 模型跑通了。当时那个模型在 Online-Mind2Web 基准上做到了约 70% 的准确率，专门针对浏览器场景优化。

但 3.5 Flash 的 Computer Use 走得更远——它同时支持浏览器、移动端和桌面三种环境。你不再需要为不同平台准备不同的模型，一个 API 就能覆盖。

具体来说，开发者现在可以通过 Gemini API 或 Gemini Enterprise Agent Platform（就是以前的 Vertex AI，刚改名）来接入这个能力。它和 function calling、Search grounding、代码执行并列，成为 Flash 的内置工具之一。

666，这个整合思路确实聪明——把 Computer Use 从"特殊模型"降级为"标准工具"，大幅降低了 Agent 开发的复杂度。

三大玩家，三条路

Computer Use 这个赛道，2026 年已经跑出了三个主要玩家，而且他们的技术路线完全不同。

Anthropic 走的是"便携工具"路线。 Claude Computer Use 通过 Messages API 暴露一个通用的 computer use 工具，接收截图、返回操作指令。它的核心优势是部署灵活性——可以驱动 Docker 容器、Linux 虚拟机、Windows 桌面、远程 Mac，甚至通过 VNC 连接的任何屏幕。但代价是运行时环境完全由开发者自己搭建，胶水代码量不小。

OpenAI 走的是"桌面原生"路线。 2026 年 4 月发布的 Codex Background Computer Use 直接在 macOS 上运行独立桌面会话，和工程师的主工作站并行。设置简单，但跨平台能力有限。

Google 走的是"浏览器锚定"路线。 从 Project Mariner 到 Gemini Computer Use，Google 一直更偏重 DOM 感知而非纯像素解析。在 Web 工作流上很强，但在原生桌面场景就相对弱一些。

三种路线各有取舍。如果你的场景是跨操作系统的企业自动化，Anthropic 的灵活性最高。如果你主要在 macOS 生态里，OpenAI 的方案最省事。如果你的核心需求是 Web 自动化——填表单、抓数据、测 UI——Google 的方案可能是最稳的选择。

开发者该怎么用

说了这么多架构，落地到底长什么样？

目前 Gemini 3.5 Flash 的 Computer Use 处于 Preview 状态。接入方式有两条路：

快速试用： Google 和 Browserbase 合作提供了一个在线 demo 环境（gemini.browserbase.com），你可以直接在浏览器里体验效果。

正式接入： GitHub 上有 Google 官方的参考实现（google-gemini/computer-use-preview），支持通过 Gemini Developer API 或 Vertex AI 两种方式调用。核心流程就是：截屏 → 发给模型 → 拿回操作指令 → 执行 → 再截屏。

一个值得注意的细节：Computer Use 的客户端执行环境需要开发者自己实现。这和 Anthropic 的设计哲学一致——模型只负责"看"和"想"，"动手"的部分由你的代码来完成。这给了你最大的控制权，但也意味着前期的工程投入不小。

如果你正在做 RPA 类产品、自动化测试工具、或者任何需要"AI 帮你操作软件"场景，现在值得花一两天跑一下这个 demo。不是因为它已经 production-ready，而是因为它代表了 Agent 基础设施的演进方向。

安全：Google 的"纵深防御"

让 AI 操控电脑屏幕，最让人担心的当然是安全问题。如果模型在浏览网页时遇到恶意指令怎么办？如果它误操作了不可逆的提交怎么办？

Google 在这方面的做法比较务实。首先，他们对 Computer Use 进行了针对性的对抗训练，专门防御 prompt injection 攻击。其次，他们提供了两个可选的企业级安全防护机制：

但这两个防护都是 opt-in（可选开启），不是默认行为。Google 自己也承认，没有任何单一安全机制是足够的，建议开发者采用"纵深防御"策略——把沙箱隔离、人工审核、严格权限控制组合起来使用。

说实话，这个态度比某些厂商的"我们的模型很安全"要诚恳得多。在 Agent 真正进入生产环境之前，安全架构的设计可能比模型能力本身更关键。

这次发布真正的信号

回到最开始的那个数字——78.4 分。在 OSWorld 基准上，这个分数意味着 Gemini 3.5 Flash 已经接近人类操作电脑的水平。但 benchmark 只是 benchmark，真正值得关注的是这个数字背后的信号。

Computer Use 正在从"特殊能力"变成"标准配置"。 半年前，你还需要专门的模型、专门的 API、专门的部署流程才能让 AI 操控屏幕。现在，它就是 Flash 的一个内置工具，和搜索、代码执行并列。这意味着 Agent 的能力栈在快速标准化。

三巨头的路线在收敛。 Anthropic、OpenAI、Google 各自走了不同的路，但最终都指向同一个目标：让 AI 能像人一样操作软件界面。区别只在于从哪里切入——浏览器、桌面、还是通用工具。一年之内，我判断这三种路线会进一步融合，每家都会补齐自己缺失的环节。

对开发者的实际影响： 如果你现在在做 Agent 产品，Computer Use 的原生化意味着你不再需要在"能力"和"成本"之间做痛苦的权衡。Flash 是 Google 最快、最便宜的模型之一，把 Computer Use 放在里面而不是用昂贵的 Pro 模型，这个定价策略本身就说明了 Google 对 Agent 市场的野心。

三年后回头看，这次发布可能会被记住的不是某个模型也能操控电脑了，而是操控电脑这件事，终于从实验室走进了标准 API。

如果你是 Agent 开发者，现在就去跑一下那个 Browserbase 的 demo。不为别的，就为感受一下——当操控屏幕变成一个函数调用时，你的产品能解锁哪些新玩法。你觉得 Computer Use 最有价值的应用场景是什么？评论区聊聊。