别再用低效的 API 爬虫了!OpenClaw + BWS:把网站变成你的命令行 API

在当今数字化的时代，作为 AI Agent 开发者，我们在前行的道路上常常被两大棘手的难题所困扰。

首先是反爬虫的围追堵截。在互联网的世界里，数据就如同宝藏一般，爬虫技术是挖掘这些宝藏的重要手段。然而，为了保护自身的数据安全、用户隐私以及维护平台的正常运营秩序，各个网站和平台都纷纷建立起了反爬虫机制。这些反爬虫手段层出不穷，从简单的 IP 封禁、验证码验证，到复杂的行为分析、机器学习算法识别，让开发者们防不胜防。开发者们需要投入大量的时间和精力去研究如何绕过这些反爬虫机制，不断调整爬虫策略，但往往还是会遭遇失败，导致数据获取的效率大打折扣。

其次是各平台封闭的 API 生态。许多平台为了保护自身的商业利益和数据资源，对其 API 进行了严格的限制和管控。它们设置了复杂的权限申请流程、高昂的使用费用以及严格的使用规则，使得开发者很难获取到所需的数据。有些平台甚至完全不开放 API，这就使得开发者无法直接从这些平台获取数据，极大地限制了 AI Agent 的功能和应用范围。

不过，最近在 OpenClaw 生态中出现了一个具有“降维打击”效果的工具 — browser-web-search（简称 BWS）。传统的爬虫技术通常是通过模拟浏览器行为，向目标网站发送请求来获取数据。但这种方式很容易被反爬虫机制识别和拦截。而 BWS 则另辟蹊径，它不走常规爬虫的老路。

它直接“寄生”在 OpenClaw 内置浏览器中。这种独特的方式让它能够巧妙地避开反爬虫机制的检测。因为它依托于浏览器的正常操作，就像是在浏览器这个“保护伞”下进行数据获取。通过复用登录状态，BWS 展现出了强大的功能。它能够将 17 + 社交与新闻平台变成随调随用的命令行 API。

核心逻辑：为什么它是 AI Agent 的“数字通行证”？

传统的搜索插件是向服务器发请求，而 BWS 是向你的浏览器发指令。

1. 真正的“零配置”登录态复用

这是 BWS 最性感的特性。它不读取你的 Cookie 文件，也不要求你输入账号密码。

• 原理：它通过 OpenClaw 的 evaluate 接口，直接在已打开的浏览器标签页中执行脚本。
• 优势：只要你在浏览器里登录了知乎、小红书或 B 站，BWS 就能以“你”的身份获取数据。没有 API Key 限制，没有复杂的 OAuth 流程。

2. 把网页瞬间变成结构化 JSON

BWS 充当了网页与 AI 之间的“翻译官”。

• 输入：简单的 CLI 命令，如 bws xiaohongshu/search “露营”。
• 输出：整齐划一的 JSON 数据。
• AI 友好：内置 jq 过滤支持，AI 可以精准提取标题、点赞数或评论内容，拒绝信息过载。

3. 极简主义：22KB 的生产力核弹

该工具核心代码仅 22KB，没有任何冗余的运行时依赖。它体现了一种极简的技术哲学：复用已有的浏览器环境，而不是重新造一个笨重的爬虫引擎。

覆盖 17+ 主流平台：全网情报，一触即达

BWS 预置了 17 个深度适配器（Adapters），精准覆盖中文互联网核心信息源，满足你对实时情报的所有想象：

• 社交舆情：直击微博热搜 (weibo/hot)、小红书搜索 (xiaohongshu/search)、知乎热榜 (zhihu/hot)，洞察全民话题。
• 技术与职场：聚合 CSDN、博客园等开发者社区，甚至包含 BOSS 直聘 (boss/search)，技术文档与职场机会尽在掌握。
• 视频娱乐：深度集成 Bilibili，不仅能抓取热门和搜索结果，连评论区也能一并打包，紧跟潮流动态。
• 主流新闻：澎湃、腾讯、网易、今日头条全覆盖，时事要闻第一时间推送。
• 全球检索：Google、Bing、Baidu 三大引擎深度集成，构建无边界的信息检索网。

2 分钟上手指南：将 BWS 装入你的 OpenClaw

第一步：安装 Skill 到 OpenClaw

打开你的 OpenClaw 终端或管理界面，运行 Skill 安装命令：

# 进入你的 OpenClaw 目录后执行openclaw skill install sipingme/browser-web-search

第二步：授权登录状态（关键一步）

由于 BWS 复用浏览器登录态，你需要确保“环境”是通的：

1.使用 OpenClaw 打开你常用的网站（如知乎、小红书）：

openclaw browser open https://www.zhihu.com

2.在弹出的浏览器窗口中手动完成登录。

3.大功告成：只要你不主动登出，AI 之后的所有调用都将自动继承这个登录身份。

第三步：在对话中直接调遣 AI

现在，你不需要再输入任何命令，直接以自然语言命令你的 AI 助手：

• 用户：“分析一下今天知乎热榜的前三名。”
• AI (后台动作)：自动识别并调用 bws zhihu/hot。
• AI (输出)：直接为你总结好热点分析。

安全与隐私：纯粹的本地化优势

BWS 构建于 OpenClaw 之上，继承了天然的安全架构：

• 数据不出户：所有处理均在本地机器完成，绝不经过第三方服务器，确保数据自主掌控。
• 权限即用即弃：不保存 Session Token，仅“借用”当前页面环境。关闭浏览器，连接即刻断开，无隐私泄露风险。
• 代码全透明：Adapter 逻辑均为公开的 JS 脚本，无黑盒操作，支持随时审计，使用更放心。

如何获取

该 Skill 可以在以下平台进行下载和安装：

ClawHub: https://clawhub.ai/sipingme/browser-web-search

腾讯 SkillHub:
https://skillhub.cn/skills/browser-web-search

结语

browser-web-search 的诞生，宛如一座里程碑，见证了 AI Agent 从最初“仅会聊天的脑子”实现了向“具备感知与执行能力的执行官”的华丽进化。

其复用浏览器登录态这一独特的设计思路，宛如一把精准的钥匙，巧妙地解开了反爬难题这一复杂的锁扣。在数据获取过程中，它凭借这一设计，有效规避了各类反爬虫机制的阻碍，使得数据获取更加顺畅高效。同时，这一设计还如同一位忠诚的守护者，悉心保护着用户的隐私。它避免了数据在传输和处理过程中可能出现的泄露风险，让用户能够在安全的环境中使用服务。

倘若你正在着手构建属于自己的 OpenClaw 自动化工作流，那么 BWS 无疑是你最值得率先安装的首个 Skill。它就像是一颗璀璨的明珠，将为你的工作流增添强大的动力和无限的可能，助力你在自动化的道路上稳步前行。