乐于分享
好东西不私藏

【阿L实测】Gemini 3.5能操控电脑了,我试了3个任务,踩了3个坑

【阿L实测】Gemini 3.5能操控电脑了,我试了3个任务,踩了3个坑

一、不废话,直接说事

6月24号,Google放了个更新。computer use从单独的实验模型,变成了Gemini 3.5 Flash的内置工具。

以前你要让AI操控电脑,得专门调一个「computer use模型」。现在不用了,跟3.5 Flash说话,它自己就会看屏幕、点按钮、填表单。

这篇文章不用写代码也能看懂。我当天打开Browserbase的在线demo,连试3个任务。坑比我想的多。


二、我试了3个任务

玩2048

第一个选了最简单的——让AI打开2048网页,试着赢一把。

点一下预设按钮,等了几分钟,页面显示「Task completed」。

但我根本不知道它玩了没有、得分多少、怎么点的。demo只给一个结果状态,中间过程全黑盒。

就像你请了个代驾,车停好了,路上闯没闯红灯、刮没刮蹭,一概不知。

查NVIDIA股价

第二个我自己写的任务:「查一下今天NVIDIA的股价和最新财报消息」。

同样显示完成。但返回给我的就一串数字——股价、涨跌幅度,没了。财报消息?根本没提。

我怀疑它根本没去翻财报页面,就抓了个首页实时价格交差。因为demo没给任何中间截图或操作日志,我没法核实。

Review GitHub PR

第三个是demo里的高难度任务:找到Browserbase Stagehand项目最新的非draft PR,检查combination-evals有没有通过。

这涉及多步操作:打开GitHub → 找到项目 → 进PR列表 → 筛非draft → 点开最新 → 看CI状态。

结果显示完成。同理,我完全看不到它怎么一步步做到的。顺利点进去了,还是中途报错重试了?不知道。



三、快是真快,黑也是真黑

3.5 Flash的速度我信。Google给的数据是输出比同类前沿模型快4倍,价格不到一半。

但computer use这个场景,速度不是唯一指标。可观察性可控性更重要。

说实话,我觉得Google这次是在赶进度——黑盒问题不解决,computer use就是个高级玩具,没人敢真用。

Browserbase的demo本质是「黑箱委托」——任务丢进去,等几分钟,告诉你做完了。中间干了什么、遇到什么问题、有没有绕弯路,一概看不见。

普通用户只看结果,无所谓。对开发者来说就很要命。没法调试,没法优化,出问题也不知道该改提示词还是换工具。


四、3个坑,我提前踩了

坑1:在线demo是黑盒,想深度体验得自己搭环境

我原以为demo能让我看到AI一步步点击、滚动、输入,像看录屏一样。结果只给最终状态。

想看完整操作链,得自己拉Google的参考代码,本地跑或用Browserbase云端环境。需要API key、会配环境、懂一点命令行。

普通读者想玩,门槛不低。

坑2:本地用Playwright跑,下拉菜单可能识别不了

我翻了Google放出来的GitHub参考实现,README里有个「Known Issues」写得挺实在:

某些操作系统上,Playwright浏览器截图时capture不了原生的下拉菜单。因为这些菜单是操作系统渲染的,不是网页本身的DOM元素。AI看不到截图里的下拉选项,就没法选。

缓解方案两个:一是换Browserbase云端浏览器,避开本地OS渲染问题。二是注入自定义脚本把下拉菜单转成网页元素,但Google自己说了「不保证100%有效」。

典型的「看起来简单、跑起来掉坑」。本地demo跑得好好的,一碰带下拉菜单的网页就卡住,排查半天发现是截图层兼容性问题。

坑3:任务描述必须极其具体,模糊指令等于抽奖

我试的3个任务里,2048和Review PR都是demo预设好的,描述很精确。但我自己写的「查NVIDIA股价和财报」就偏模糊——AI可能只抓了价格,没往下翻财报。

computer use的难点从来不是「点按钮」,而是「理解你想干嘛」。指令越模糊,自由发挥空间越大,结果偏离预期的概率越高。

这跟ChatGPT写文章不一样。写偏了可以再改。computer use一旦点错按钮、填错表单,后果可能是提交错误申请、发不该发的邮件。



五、和Codex Computer Use比,差别在哪

和OpenAI Codex的computer use放一起,差异很明显。

Codex的思路是「分层」:能力最强的Computer Use当兜底,日常场景用Chrome插件或应用内浏览器,能不走视觉就不走视觉。

Gemini的思路是「一体化」:直接塞进Flash主模型,一个接口搞定所有事,开发者不用选。

各有道理。Codex的分层更稳,不同场景用不同工具,复杂度高但可控。Gemini的一体化更简单,一个API打天下,黑盒风险也更大。

另外Gemini这次强调了安全机制:对抗训练防提示注入、企业版可强制要求用户确认敏感操作、自动拦截间接注入攻击。Codex也有这些,但Google写得更细,看来吃过教训。



六、现在能做什么、别指望什么

能做的:

自动化网页信息抓取(价格、库存、状态)。填表、提交、下载等重复网页操作。跨多个网页的多步任务(查资料→填表→提交)。持续性的软件测试和监控。

别指望的:

涉及钱的操作(转账、下单、退款)——除非你全程盯着,亏了它可不负责。需要深度判断的复杂决策(比如「选哪个供应商」)。对精确度要求极高的场景(医疗、法律、金融合规)。

最关键的限制:现在还是开发者工具,不是普通用户的「一键托管」。想用要么会调API,要么等第三方产品包成傻瓜界面。



七、现在就想试?最快的路子

打开 Browserbase 的在线 demo:gemini.browserbase.com

不用注册,不用写代码,点预设任务就能看效果。但别期待太高——只给结果,不给过程。

想深度玩,需要:

一个 Gemini API key(Google AI Studio 免费领)

拉参考代码:

git clone https://github.com/google-gemini/computer-use-preview

配好Python环境和Playwright

跑命令:python main.py --query="你的任务" --env=playwright

注意:本地跑遇到下拉菜单可能卡住。建议直接上Browserbase云端环境,省心。


八、谈谈感想

computer use这个方向我看好。但它现在的状态更像「高级脚本」而不是「智能管家」——能替你省掉重复点击的时间,但做不到真的撒手不管。

对普通读者,我的建议是:先不急着自己搭环境。等一两周,大概率有人把这套能力包成更友好的产品。到时候花5分钟配置,比我现在花2小时折腾划算。

等不及的,现在就去Browserbase的demo里丢几个任务试试。至少能直观感受一下:AI帮你办事,到底靠不靠谱。

我是阿L,专门帮大家试AI工具的真实水平。关注我,少踩坑。