让你的 AI Agent 不再上网抓瞎,这两个 GitHub 万星工具补齐

本文字数 2440，阅读大约需 5 分钟

用过 AI Agent 的人，多多少少都遇到过同一件事——让它写代码、改文档、跑命令都没问题。

但你让它「帮忙获取这个网站的内容」，它立刻就抓瞎。

不是获取不到，是效率低且经常容易出错。

以 Claude Code（Codex、Gemini CLI 这类同理）为例，默认读取网页用的是 WebFetch，抓回来的内容不纯净，可能混着导航栏、弹窗 HTML、广告位。

而且遇上稍微有些反爬机制的网站，例如微信公众号，只有再换成其他方案。

效率低，还浪费 Token。

我之前的解法是装一个叫 x-reader 的 MCP，专门处理网页抓取。用过一阵子，确实能解决问题，但用着用着发现问题不少：

• • 有一定偶发失败的概率
• • 重度 JS 渲染的页面它抓不全
• • 需要登录态才能看的页面，抓取不到

最近找到两个替代方案，刚好是互补的，一个负责常规公开网站，覆盖率非常广；一个负责前者搞不定的疑难杂症，作为兜底。

两个配起来用，AI Agent「上网」这件事算是真正补齐了。

它们是 Agent Reach 和 Browser Harness，两个都是 Github 万星的项目。

Agent Reach：默认入口

Agent Reach 解决的是「常规公开网站」的内容获取，差不多能解决 90% 的需求。

Github 地址：https://github.com/Panniantong/Agent-Reach

它本质上不是一个抓取工具，而是一个安装器。

它把市面上比较好用的开源 CLI 工具（推特、Reddit、小红书、B站、YouTube、微信公众号、微博、V2EX、雪球、小宇宙、抖音、LinkedIn、RSS 等）打了个统一的包，让你一条命令装齐、配齐、检查一遍能不能跑。

支持的平台总共 17 个，覆盖范围基本上能满足日常内容创作者的所有调研需求。中国主流社交和内容平台都在里面。

安装非常简单，把这一行话发给你的 Agent，剩下它会自己跑：

帮我安装 Agent Reach：https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md

底层执行的是这两条命令：

pipx install https://github.com/Panniantong/agent-reach/archive/main.zipagent-reach install --env=auto

跑完会告诉你哪些渠道已经能用、哪些需要手动配 Cookie（比如推特、小红书需要登录态）。

需要哪个再配哪个，不必一上来就全部装。

因为底层调用的是各种 CLI 的工具，难免会有些失效，需要更新。

更新也非常简单，同样是一句话：

帮我更新 Agent Reach：https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/update.md

为什么更新也要让 Agent 跑、而不是一行 pip upgrade，因为它本质是装一堆别人维护的 CLI，光升级自己不够，要让 Agent 帮你检查上游有没有改名、迁移、换工具。这个机制设计得挺周到。

它能搞定什么？

公开能看的内容，也就是你浏览器不登录就能看到的那些。某条公众号文章、某条推文、某个 YouTube 视频字幕、某个 GitHub 仓库的 README。

它搞不定什么？

主要是这几类：

• • 需要登录态才能看的私域内容（飞书自己的工作区、知识星球、公众号后台数据）
• • 重度 JS 渲染的页面（Cursor、Linear 这种设计驱动的官网，内容是异步注入的，抓回来一堆空白）
• • 需要交互才能展开的内容（推特某条爆款的完整嵌套回复树、Reddit 的深度评论）

而这部分内容恰恰是 Browser Harness 擅长的。

Browser Harness：兜底方案

Browser Harness 来自 browser-use 团队。

他们另一个项目 browser-use 在 GitHub 上 Star 接近 10 万，是浏览器自动化领域最有名的开源项目之一。

Browser Harness 是他们做的轻量版，思路完全不一样。

它不是「集成一堆工具」，是「让 Agent 直接接管你的真实 Chrome」。

Github 地址：https://github.com/browser-use/browser-harness

工作方式：通过一个叫 CDP（Chrome DevTools Protocol）的协议，开一个 WebSocket，把 Claude 的指令直接送到你正在用的 Chrome 里执行。

Agent 想点哪个按钮、想读哪段内容、想截哪个图，都直接走你的真实浏览器。

用的是你的真实 IP、你的真实 Cookie、你的真实登录态。它能看到的页面，就是你能看到的页面。

安装非常简单，可以自己手动安装，直接逐一执行以下命令：

git clone https://github.com/browser-use/browser-harnesscd browser-harnessuv tool install -e .

然后告诉 Claude Code 这个工具的存在——在 ~/.claude/CLAUDE.md 里加一行 import：

@<你 clone 的路径>/browser-harness/SKILL.md

当然，也可以一句话丢给你的 Agent：

帮我配置 https://github.com/browser-use/browser-harness阅读 `install.md` 文件，并按照步骤安装 browser-harness 并将其连接到我的浏览器。

最后在 Chrome 里打开 chrome://inspect/#remote-debugging，勾上「Allow remote debugging for this browser instance」即可。

我装的时候有个小坑：Chrome 144 之后，第一次连接时浏览器还会再弹一个「Allow remote debugging?」，你切回 Chrome 点一下 Allow 就好。我自己装的时候就卡了一下，以为是连不通。

更新也非常简单：

browser-harness --update -y

这个机制和 Agent Reach 完全不同——它自带 self-update。

每次运行时它会自检测一次有没有新版，看到提示直接跑这条命令就行，不需要 Agent 帮你做迁移检查。

虽然 Browser Harness 主要负责操作浏览器，但不太建议用它去做一些不可逆或没有明确成功条件的任务。

例如点赞可逆（再点一次取消）、加书签可逆、添加标签可逆。下单、付款、删数据、提交表单，这些不可逆。设计任务时尽量留在可逆这一侧。

把购物车清空可验证（购物车计数 = 0），帮我整理一下收件箱是模糊任务，agent 可能整理出你不想要的结果。

所以在我看来，Browser Harness 的最佳实践，特别适合这类应用场景：

• • 抓登录态后才能看的内容（公众号后台数据、飞书文档、知识星球帖子、自己小红书的草稿箱）
• • 抓重度 JS 渲染的网站（Cursor、Linear、v0 那种官网）
• • 需要交互才能展开的内容（推特嵌套回复、Reddit 深度评论、知乎/小红书完整评论区）
• • 跨多个网站的批量调研（N 个 AI 产品的官网各自打开 → 提取要点 → 汇总到 Obsidian）

（ 飞书的非公开文档，所以隐私打码了，但可以看到完整页面信息是能获取到的）

以及凡是已经有 API 可以完成的事情，GitHub 数据获取用 gh，公众号文章获取用 Agent Reach，则优先用 API，请求 API 远比模拟点击更稳。

值得一提的是，Browser Harness 还有「自我进化」机制，Agent 摸索过某个网站的操作之后，会把代码写进自己的 helpers 文件，下次遇到同样的网站就不会犯同样的错误，可以大大节省 Token 成本。

让两个工具自动协作

装好之后，下一个问题是，什么时候用哪个？

如果每次都要你自己判断「这个内容用 Agent Reach 还是 Browser Harness」，那就跟手动调用没区别了，也没解放多少生产力。

正确的做法是把规则写进项目根目录的 CLAUDE.md（如果你是用 Codex，则是 AGENT.md）里。

Agent 每次开会话会自动读这个文件，规则一次写好永远生效。

我自己的配置思路是这样：

• • 默认入口走 Agent Reach。任何外部内容、任何 URL，先用它
• • 遇到登录态、JS 重渲染、需要交互、禁止复制这四类场景，自动切到 Browser Harness
• • GitHub 例外，永远优先用 gh CLI，结构化最稳

具体写法不复杂，把上面这三条用自然语言写在 CLAUDE.md 任意位置即可。

配好之后，我说「帮我看看 X 平台的 Y 内容」，Claude Code 会自己选工具，不用我每次指定。

写在最后

有了这两个工具，AI Agent「上网」的能力，才算真正补齐。

Agent Reach 在前，覆盖大部分常规场景，几乎能满足内容创作者所有的日常调研需求。

Browser Harness 在后，专门解决前者搞不定的 10%。

如果你也有相关需求，或者你已经装了 x-reader 之类的 MCP，但用得不顺，都可以考虑是否需要更新迭代一下对应的工具。

项目地址：

• • Agent Reach：https://github.com/Panniantong/Agent-Reach
• • Browser Harness：https://github.com/browser-use/browser-harness
• • x-reader（开头提到的 MCP，依然能用，只是不是我现在的首选）：https://github.com/runesleo/x-reader

• AI 时代，你的上下文才是最值钱的资产

• 2026 年如何用好 AI，我发现这些能力更重要

• Openclaw 这么火，可你真的需要它吗？

• 万物皆可命令行：AI 时代，软件正在长出第二套界面

• 全网都在抄 Karpathy 的知识库，但大多数人只学到了皮毛

• 闪屏、粘贴改不了、看不到额度？让 Claude Code 用的顺手 4 个小技巧