夜雨聆风学习资料网

ARTICLE · 1294147

一文了解AI智能体的浏览器自动化工具:Browser Use、Agent Browser、Browser4

一文了解AI智能体的浏览器自动化工具:Browser Use、Agent Browser、Browser4

如果说大模型赋予了AI智能体思考和决策的能力,那么浏览器自动化工具,就是赋予AI智能体一双能够观察互联网的眼睛和一双能够操作网页的手。

过去,我们使用浏览器,主要依靠人工搜索、点击、复制、粘贴和填写表单。后来,RPA将这些操作流程化,实现了部分重复性工作的自动执行。

进入AI Agent时代,浏览器自动化正在发生新的变化:AI不再只是告诉你应该点击哪里,而是可以理解任务目标,自主访问网站、识别网页内容、操作页面、提取数据,甚至完成跨网站的复杂工作。

例如,只需要告诉AI:

  • 搜索最近一周全球AI安全领域的重要新闻。

  • 访问指定网站,收集竞品的功能和价格。

  • 登录业务系统,查询指定客户的信息。

  • 自动填写网页表单,完成资料录入。

  • 访问多个网站,整理信息并生成分析报告。

AI智能体就可以通过浏览器自动化工具完成这些任务。

今天介绍三个值得关注的开源项目:Browser Use、Agent Browser和Browser4。

一、Browser Use:让AI自主操作浏览器

项目地址:https://github.com/browser-use/browser-use

Browser Use是一个具有代表性的开源AI浏览器自动化项目,核心目标是让大语言模型能够像人一样理解网页并执行操作。

传统浏览器自动化通常需要开发人员提前编写脚本,例如打开网页、找到搜索框、输入关键词、点击搜索按钮、获取结果等。页面结构发生变化,还可能导致脚本失效。

Browser Use的思路则不同:开发人员描述任务目标,由AI Agent自主判断下一步应该做什么。

主要特点:

自然语言驱动: 通过自然语言描述任务,不需要为每个网页提前编写固定操作流程。

复杂网页操作: 支持网页导航、点击、表单填写、滚动、标签页管理、截图和内容提取等。

多模型支持: 可以根据需求接入不同大语言模型。

本地与云端运行: 支持本地浏览器,也提供Browser Use Cloud等云端浏览器能力。

Agent集成: 可以通过Python、CLI等方式集成到更大的智能体工作流中。

其基本工作流程是:

用户提出任务 → LLM理解和规划 → Browser Use执行浏览器操作 → 获取网页反馈 → LLM判断下一步 → 持续执行直到任务完成。

核心价值:让浏览器从一个需要人工操作的工具,变成AI Agent可以自主调用的执行环境。

适用场景:网页信息搜集、竞品分析、自动化数据采集、表单填写和跨网站业务操作。

二、Agent Browser:专为AI Agent设计的浏览器CLI工具

项目地址:https://agent-browser.dev/

Agent Browser是Vercel开源的浏览器自动化CLI工具,采用Rust实现,主要面向AI编程智能体和自动化Agent。

它与Browser Use的思路有所不同。

Browser Use更强调AI自主规划和执行;Agent Browser更强调提供一套高效、确定性的浏览器操作指令,让现有AI Agent直接调用浏览器。

可以把它理解为:给AI Agent提供一套专门操作浏览器的命令行接口。

主要特点:

1. CLI命令行交互

通过命令行即可控制浏览器,不需要每次编写复杂的Python脚本。

例如:

# 安装npm install -g agent-browser# 安装浏览器agent-browser install# 打开网页agent-browser open example.com# 获取页面交互元素agent-browser snapshot -i# 点击指定元素agent-browser click @e2# 截图agent-browser screenshot page.png

2. Accessibility Tree + Ref机制

这是Agent Browser比较有特色的设计。

传统方式如果把整个网页DOM交给大模型,会产生大量无用信息,消耗Token。

Agent Browser可以通过Snapshot获取网页的无障碍语义结构,并为页面元素分配引用标识,例如:

- heading "Example Domain" [ref=e1]- link "More information..." [ref=e2]

AI只需要识别@e2,就可以对对应元素执行点击操作。

这种方式可以减少传递给大模型的网页信息,降低上下文消耗,同时减少对脆弱CSS选择器的依赖。

3. Rust CLI + Native Daemon架构

通过CLI和后台守护进程管理浏览器,并借助CDP(Chrome DevTools Protocol)进行控制,适合连续执行多个浏览器操作。

4. 丰富的浏览器控制能力

支持网页导航、表单操作、截图、网络控制、文件、标签页、会话和调试等能力。

5. 兼容多种AI编程智能体

可以与Claude Code、Cursor、GitHub Copilot、OpenAI Codex、Gemini等工具配合使用。

适用场景:AI编程助手、自动化测试、网页操作、浏览器数据采集,以及需要高频调用浏览器的Agent工作流。

三、Browser4:面向大规模网页数据处理的AI浏览器引擎

项目地址:https://github.com/platonai/Browser4

Browser4是PlatonAI开源的AI原生浏览器引擎。

如果说Browser Use主要解决AI如何自主操作浏览器,Agent Browser主要解决AI如何高效、精准地调用浏览器,那么Browser4则进一步关注如何高效率、大规模地获取和处理网页数据。

它不仅仅是一个浏览器操作工具,更强调浏览器自动化、网页数据提取和批量处理能力。

主要特点:

1. CLI + MCP双重接入

提供Rust CLI和MCP等集成方式,让具备MCP客户端能力的智能体能够调用浏览器工具,融入不同的AI Agent框架。

2. X-SQL + CSS选择器

这是Browser4比较有特色的能力。

传统AI网页采集,经常需要将网页内容交给大模型分析和提取。但对于结构相对稳定的网页,如果每次都让大模型理解整个网页,不仅消耗Token,也会增加执行成本。

Browser4支持通过X-SQL和CSS选择器,从实时页面或HTML快照中进行确定性数据提取。

简单来说,能够通过结构化规则提取所需字段,而不必每次都调用大模型。

3. WebMiner机器学习聚类

Browser4引入WebMiner,通过机器学习聚类等方式处理HTML网页语料,将网页数据整理成电子表格和报告视图。

4. 混合智能架构

将多种技术结合起来:

  • LLM:负责理解复杂任务和处理非结构化信息。

  • ML:负责网页结构聚类等处理。

  • X-SQL:负责确定性数据提取。

  • 经验库:复用已经积累的选择器和处理经验。

核心思路是:不是所有事情都需要交给大模型,能够用规则和传统算法解决的问题,就尽量不要消耗LLM Token。

5. 面向批量任务和企业级应用

支持批量处理、循环任务、有状态会话、插件、运行时Skills和浏览器扩展等能力。

项目介绍还给出了单机每天10万至20万复杂网页访问的设计目标,实际表现仍需结合网页复杂度、网络环境和任务类型进行验证。

适用场景:大规模网页数据采集、竞争情报分析、结构化信息提取、批量网页处理和企业级自动化任务。

四、三个工具有什么区别?应该怎么选?

对比维度
Browser Use
Agent Browser
Browser4
核心定位
自主浏览器Agent
浏览器操作CLI
AI浏览器引擎
技术特点
LLM自主规划
Rust、CLI、CDP
Rust、MCP、X-SQL
核心优势
自主任务执行
精准元素定位
批量处理和数据提取
典型用途
自主网页任务
高频浏览器操作
大规模网页采集

按照实际使用场景:

  • 希望AI自主完成复杂网页任务: 优先考虑Browser Use。

  • 希望AI编程工具高效调用浏览器: 优先考虑Agent Browser。

  • 希望大规模采集和处理网页数据: 可以重点研究Browser4。

需要注意,这三个工具并不是完全互斥的。实际项目中,可以根据任务特点组合使用,也可以与Playwright、MCP、Skills等技术结合。

五、浏览器自动化的安全问题不容忽视

浏览器自动化不仅带来了效率提升,也扩大了AI Agent的攻击面。

尤其是在企业环境中,不能因为AI能够操作浏览器,就直接把所有浏览器权限交给Agent。

至少需要关注五个方面:

1. 身份认证安全

浏览器可能保存企业账号、Cookie、Session Token等敏感信息,需要防止凭证泄露和会话被滥用。

2. 操作权限控制

AI可以查看网页,不代表AI就应该拥有删除数据、修改配置、转账、发布信息等权限。应遵循最小权限原则。

3. Prompt Injection攻击

网页可能包含恶意指令。如果AI将网页内容当作可信指令执行,就可能被攻击者诱导,执行非预期操作。

4. 数据泄露风险

浏览器可能访问企业内部系统、客户信息和敏感业务数据,需要做好数据隔离、访问审计和输出管控。

5. 操作行为审计

对于涉及资金、账号、权限、数据删除等高风险操作,应增加人工确认机制,并保留完整的操作日志。

我的观点是:浏览器自动化不仅是AI Agent的执行能力,也是AI Agent安全治理的重要组成部分。

六、写在最后:AI Agent正在从会思考走向会干活

从大模型到AI Agent,AI的能力边界正在不断扩展。

大模型解决理解和推理问题,Agent负责任务规划和决策,Skills沉淀标准化工作流程,MCP连接外部工具,而浏览器自动化让AI能够直接操作大量现有互联网业务系统。

可以用一个简单的公式理解:

AI Agent = 大模型 + Harness + Skills + Tools + 执行环境

其中,浏览器自动化就是非常重要的一类执行工具。

我认为,未来AI Agent的竞争,不仅是模型能力的竞争,更是工具调用能力、业务执行能力、系统集成能力和安全治理能力的竞争。

对于网络安全从业者来说,这同样是一个值得关注的方向。

当AI可以自主访问网站、操作业务系统、调用安全工具,甚至执行自动化渗透测试时,我们需要思考的不仅是如何让AI干更多的活,还要思考如何确保AI在授权范围内安全地干活。

AI不应该只是一个会聊天的助手,而应该成为一个能够真正完成工作的智能体。

项目地址汇总

  • Browser Use:https://github.com/browser-use/browser-use

  • Agent Browser:https://agent-browser.dev/

  • Browser4:https://github.com/platonai/Browser4

END

推荐阅读

往期精彩推荐
01
从图灵机到大模型:人工智能是怎样一步步走到今天的?
02
FDE的真正护城河:从个人英雄到团队作战,把项目做成产品
03
IBM推出FDU:FDE之后,企业AI落地正在进入组织能力竞争
04
一文讲透 RAG:从原始文档到 AI 精准回答,究竟经历了什么?
05
一文读懂FDE工程师的七大核心能力

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料