夜雨聆风学习资料网

ARTICLE · 1323166

agent-browser:让AI助手打开网页、点击操作并检查结果

agent-browser:让AI助手打开网页、点击操作并检查结果

项目简介

让AI解释一段网页文字,和让它真正打开网页、找到按钮、完成点击,是两回事。对想把网页检查交给AI的人来说,麻烦往往不在“该做什么”,而在于怎样把页面上的对象准确告诉AI,以及怎样确认操作确实发生了。

agent-browser扮演的是AI助手与浏览器之间的操作接口。它把网页整理成简短的文字结构,为其中的元素标上编号;助手据此操作,再读取页面检查结果。它不是另一个聊天窗口,而是让助手能够逐步驱动浏览器的命令行工具。项目README⁠[1]

项目 内容
项目地址 https://github.com/vercel-labs/agent-browser⁠[2]
Stars 45,786
Forks 3,140
主要用途 为AI助手提供网页读取与浏览器操作接口

一个很小但完整的场景是:让助手打开示例网页,找出“了解更多”的链接,点击后检查当前地址。人平时凭眼睛和鼠标完成的动作,在这里变成“读取页面—选择目标—执行动作—核对结果”。这也是它值得先理解的工作方式:不是一次发出一串操作后就默认成功,而是每一步都可以回头看结果。

核心特性

一、把页面变成可以指认的操作对象。

当网页上有多个链接、输入框和按钮时,单说“点击那个按钮”并不够准确。agent-browser的页面快照会提供紧凑的文字内容,并给元素分配类似@e1的编号。AI可以先知道页面上有什么,再决定操作哪个对象,不必只依赖屏幕坐标来描述目标。

这尤其适合需要边看边做的网页任务。编号对应的是当时的页面状态,而不是永久地址:页面跳转或内容结构变化后,应重新获取快照。目标被遮挡、不可见或处于禁用状态时,点击会报错,而不是直接报告成功;这给后续检查和重试留下了明确依据。交互说明⁠[3]

二、把连续操作拆成可核对的小步骤。

浏览器会在命令之间保持打开,因此读取页面、填写输入框、点击链接和查看结果可以接着进行,不用每一步都从头打开网站。它也支持读取文字、获取当前地址和保存截图,让任务不只停留在“发出了点击指令”。

遇到点击后需要等待的页面,可以等待指定元素、文字或地址出现。比如要判断是否进入目标页面,等待目标地址比单纯等几秒更贴近任务本身。官方入门材料也提醒:某些网站一直保持后台连接,等待网络完全安静未必会结束,应选择真正代表任务结果的条件。入门指南⁠[4]

三、为自动操作设置权限边界。

如果只是浏览公开示例网页,风险相对容易控制;一旦涉及账号、上传下载或敏感业务,就需要决定AI能访问哪里、哪些动作必须先确认。项目提供域名允许列表、动作策略和确认机制,也提供本地凭据保管功能,避免把密码直接放进大模型上下文。

但这些导航、动作和输出控制需要主动启用,默认并不会限制所有操作。域名允许列表也不是操作系统防火墙;有严格数据外传要求时,仍应结合主机、容器或网络层控制。不要因为工具具备安全选项,就把接入真实账号等同于已经完成安全配置。安全指南⁠[5]

快速开始

下面只选一条路径:在macOS 13或更新版本上,通过已经安装好的Homebrew使用本地浏览器。准备一台可以联网下载软件的Mac,在系统“终端”中操作即可,不需要克隆仓库或编译源码。若尚未安装Homebrew,这一步是本教程的前置条件;先完成环境准备,再继续。低于macOS 13时,官方的浏览器下载流程会停止并提示升级系统或手动安装Chrome。安装指南⁠[6]

  1. 安装工具,再下载它要使用的浏览器。 在终端依次执行下面两行。第一行安装agent-browser,第二行下载Chrome;这时只是准备完成,还没有打开网页或完成任务。
brew install agent-browser
agent-browser install # Download Chrome (first time)
  1. 打开示例页面,并读取可交互元素。 继续在同一个终端执行下面两行。第一次浏览器操作会启动后台进程,不需要另外启动一个服务。
agent-browser open example.com
agent-browser snapshot -i # interactive elements, each with a ref

这一步要检查的是终端返回的元素列表,而不是等待桌面弹出窗口。README给出的示例中,“Learn more”链接编号为@e1。先核对实际快照中的链接与编号;编号是根据页面状态生成的,不应脱离输出直接照抄。

  1. 完成一次点击,并检查去向。 如果当前快照中的目标链接确实是@e1,再执行下面两行。第一行点击链接,第二行读取当前地址,用来判断是否发生了预期跳转。如果实际编号不同,应使用本次快照对应的编号。
agent-browser click @e1         # act on a ref from that snapshot
agent-browser get url # check the result
  1. 结束这次浏览器会话。 核对地址后关闭浏览器:
agent-browser close

首次任务到这里就足够了:你应能看到一个可交互链接的快照,并在点击后读到当前页面地址。这比一开始就接入登录账号、填写复杂表单,更容易分清安装是否完成、浏览器是否已启动,以及操作是否真的产生结果。以上操作来自README示例⁠[7],并不需要先配置AI模型。

为什么火了

它的吸引点在于,把“AI能操作网页”拆成了一组容易理解、也容易检查的动作。相比只展示一段自动完成任务的视频,这种短命令配合文字快照的方式,让使用者更容易看清助手依据什么选择目标、操作后又检查了什么。

另一个实用之处,是项目随工具提供与版本匹配的技能材料,帮助AI助手了解操作方法。对于已经在使用AI助手的人,这比重新学习一套独立自动化工作台更容易衔接。项目受到关注的具体理由,可以从这些设计中理解:它把浏览器操作接到了助手已有的命令调用流程里,而不只是增加一个新的聊天入口。助手接入说明⁠[8]

适合谁

已经使用AI助手、想让它检查网页的人,可以先从打开页面、读取链接、核对跳转这样的小任务开始。采用前要确认自己的助手能够调用终端工具;安装浏览器接口和让助手理解它的用法,是两个不同环节。

需要重复检查网站交互的人,可以关注它的元素定位、等待条件和截图能力,用于逐步核对输入、点击后的页面状态。前提是愿意阅读输出、处理遮挡和页面变化,而不是期待所有网站都能一次自动跑通。

纯粹对AI自动操作感兴趣的读者,也可以先手动完成上面的示例,理解助手怎样“看见”网页。它仍是命令行工具,不是开箱即用的鼠标代办应用。原生程序覆盖macOS的ARM64与x64、Linux的ARM64与x64,以及Windows x64;其他系统的准备步骤应查看对应文档,不要直接套用本文的Mac安装路径。平台说明⁠[9]

引用链接

[1]项目README: https://github.com/vercel-labs/agent-browser/blob/00fa583969ad93fbeb3db457d17483f766d57a25/README.md

[2]https://github.com/vercel-labs/agent-browser

[3]交互说明: https://github.com/vercel-labs/agent-browser/blob/00fa583969ad93fbeb3db457d17483f766d57a25/README.md

[4]入门指南: https://github.com/vercel-labs/agent-browser/blob/00fa583969ad93fbeb3db457d17483f766d57a25/docs/content/docs/quick-start.mdx

[5]安全指南: https://agent-browser.dev/security

[6]安装指南: https://github.com/vercel-labs/agent-browser/blob/00fa583969ad93fbeb3db457d17483f766d57a25/docs/content/docs/installation.mdx

[7]README示例: https://github.com/vercel-labs/agent-browser/blob/00fa583969ad93fbeb3db457d17483f766d57a25/README.md

[8]助手接入说明: https://github.com/vercel-labs/agent-browser/blob/00fa583969ad93fbeb3db457d17483f766d57a25/README.md

[9]平台说明: https://github.com/vercel-labs/agent-browser/blob/00fa583969ad93fbeb3db457d17483f766d57a25/README.md

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料