一、不废话,直接说事
6月24号,Google放了个更新。computer use从单独的实验模型,变成了Gemini 3.5 Flash的内置工具。
以前你要让AI操控电脑,得专门调一个「computer use模型」。现在不用了,跟3.5 Flash说话,它自己就会看屏幕、点按钮、填表单。
这篇文章不用写代码也能看懂。我当天打开Browserbase的在线demo,连试3个任务。坑比我想的多。
二、我试了3个任务
玩2048
第一个选了最简单的——让AI打开2048网页,试着赢一把。
点一下预设按钮,等了几分钟,页面显示「Task completed」。
但我根本不知道它玩了没有、得分多少、怎么点的。demo只给一个结果状态,中间过程全黑盒。
就像你请了个代驾,车停好了,路上闯没闯红灯、刮没刮蹭,一概不知。
查NVIDIA股价
第二个我自己写的任务:「查一下今天NVIDIA的股价和最新财报消息」。
同样显示完成。但返回给我的就一串数字——股价、涨跌幅度,没了。财报消息?根本没提。
我怀疑它根本没去翻财报页面,就抓了个首页实时价格交差。因为demo没给任何中间截图或操作日志,我没法核实。
Review GitHub PR
第三个是demo里的高难度任务:找到Browserbase Stagehand项目最新的非draft PR,检查combination-evals有没有通过。
这涉及多步操作:打开GitHub → 找到项目 → 进PR列表 → 筛非draft → 点开最新 → 看CI状态。
结果显示完成。同理,我完全看不到它怎么一步步做到的。顺利点进去了,还是中途报错重试了?不知道。

三、快是真快,黑也是真黑
3.5 Flash的速度我信。Google给的数据是输出比同类前沿模型快4倍,价格不到一半。
但computer use这个场景,速度不是唯一指标。可观察性和可控性更重要。
说实话,我觉得Google这次是在赶进度——黑盒问题不解决,computer use就是个高级玩具,没人敢真用。
Browserbase的demo本质是「黑箱委托」——任务丢进去,等几分钟,告诉你做完了。中间干了什么、遇到什么问题、有没有绕弯路,一概看不见。
普通用户只看结果,无所谓。对开发者来说就很要命。没法调试,没法优化,出问题也不知道该改提示词还是换工具。
四、3个坑,我提前踩了

坑1:在线demo是黑盒,想深度体验得自己搭环境
我原以为demo能让我看到AI一步步点击、滚动、输入,像看录屏一样。结果只给最终状态。
想看完整操作链,得自己拉Google的参考代码,本地跑或用Browserbase云端环境。需要API key、会配环境、懂一点命令行。
普通读者想玩,门槛不低。
坑2:本地用Playwright跑,下拉菜单可能识别不了
我翻了Google放出来的GitHub参考实现,README里有个「Known Issues」写得挺实在:
某些操作系统上,Playwright浏览器截图时capture不了原生的下拉菜单。因为这些菜单是操作系统渲染的,不是网页本身的DOM元素。AI看不到截图里的下拉选项,就没法选。
缓解方案两个:一是换Browserbase云端浏览器,避开本地OS渲染问题。二是注入自定义脚本把下拉菜单转成网页元素,但Google自己说了「不保证100%有效」。
典型的「看起来简单、跑起来掉坑」。本地demo跑得好好的,一碰带下拉菜单的网页就卡住,排查半天发现是截图层兼容性问题。
坑3:任务描述必须极其具体,模糊指令等于抽奖
我试的3个任务里,2048和Review PR都是demo预设好的,描述很精确。但我自己写的「查NVIDIA股价和财报」就偏模糊——AI可能只抓了价格,没往下翻财报。
computer use的难点从来不是「点按钮」,而是「理解你想干嘛」。指令越模糊,自由发挥空间越大,结果偏离预期的概率越高。
这跟ChatGPT写文章不一样。写偏了可以再改。computer use一旦点错按钮、填错表单,后果可能是提交错误申请、发不该发的邮件。
五、和Codex Computer Use比,差别在哪
和OpenAI Codex的computer use放一起,差异很明显。
Codex的思路是「分层」:能力最强的Computer Use当兜底,日常场景用Chrome插件或应用内浏览器,能不走视觉就不走视觉。
Gemini的思路是「一体化」:直接塞进Flash主模型,一个接口搞定所有事,开发者不用选。
各有道理。Codex的分层更稳,不同场景用不同工具,复杂度高但可控。Gemini的一体化更简单,一个API打天下,黑盒风险也更大。
另外Gemini这次强调了安全机制:对抗训练防提示注入、企业版可强制要求用户确认敏感操作、自动拦截间接注入攻击。Codex也有这些,但Google写得更细,看来吃过教训。

六、现在能做什么、别指望什么
能做的:
自动化网页信息抓取(价格、库存、状态)。填表、提交、下载等重复网页操作。跨多个网页的多步任务(查资料→填表→提交)。持续性的软件测试和监控。
别指望的:
涉及钱的操作(转账、下单、退款)——除非你全程盯着,亏了它可不负责。需要深度判断的复杂决策(比如「选哪个供应商」)。对精确度要求极高的场景(医疗、法律、金融合规)。
最关键的限制:现在还是开发者工具,不是普通用户的「一键托管」。想用要么会调API,要么等第三方产品包成傻瓜界面。

七、现在就想试?最快的路子
打开 Browserbase 的在线 demo:gemini.browserbase.com
不用注册,不用写代码,点预设任务就能看效果。但别期待太高——只给结果,不给过程。
想深度玩,需要:
一个 Gemini API key(Google AI Studio 免费领)
拉参考代码:
git clone https://github.com/google-gemini/computer-use-preview配好Python环境和Playwright
跑命令:python main.py --query="你的任务" --env=playwright
注意:本地跑遇到下拉菜单可能卡住。建议直接上Browserbase云端环境,省心。
八、谈谈感想
computer use这个方向我看好。但它现在的状态更像「高级脚本」而不是「智能管家」——能替你省掉重复点击的时间,但做不到真的撒手不管。
对普通读者,我的建议是:先不急着自己搭环境。等一两周,大概率有人把这套能力包成更友好的产品。到时候花5分钟配置,比我现在花2小时折腾划算。
等不及的,现在就去Browserbase的demo里丢几个任务试试。至少能直观感受一下:AI帮你办事,到底靠不靠谱。
我是阿L,专门帮大家试AI工具的真实水平。关注我,少踩坑。
夜雨聆风