让 AI 读网页,到底该用哪个工具?

📌 一句话总结

让 AI 读网页，到底该用哪个工具？

选错了，你的服务器变成浏览器托管中心。选对了，70MB 搞定一切。

Agent 读网页的选型困境

你的 Agent 需要读网页。问题来了——选什么工具？

市面上方案一大堆，但每个都有坑。选错了，轻则资源浪费，重则功能残缺。

今天我把主流方案拉出来，逐一拆解。不吹不黑，数据说话。

方案 A：HTTP 请求（reqwest / axios / fetch）

原理：发一个 HTTP GET，拿到 HTML 源码，解析提取。

✅ 优点

轻量，几乎零资源占用速度快，毫秒级响应简单，一行代码搞定

❌ 缺点

不执行 JavaScript，动态渲染页面抓瞎过不了风控（TLS 指纹暴露、缺少 cookie）拿不到异步加载的内容

一句话评价：这工具就像近视眼镜——能看，但看不清。

方案 B：无头浏览器（Playwright / Puppeteer）

原理：启动一个完整 Chromium 浏览器，无界面运行，模拟真实用户操作。

✅ 优点

功能最全，能渲染 JS、能截图、能模拟点击生态成熟，社区庞大能过大多数风控（因为就是真浏览器）

❌ 缺点

256MB 二进制起步，磁盘占用大每会话几百 MB 内存，资源消耗惊人启动慢，冷启动 1-3 秒多实例并发时，服务器直接爆炸

📊 资源占用实测（单会话）

Playwright：二进制 ~256MB | 内存 200-500MB | 冷启动 1-2sPuppeteer：二进制 ~256MB | 内存 200-500MB | 冷启动 1-3s

一句话评价：功能强大，但你的钱包和服务器可能扛不住。

方案 C：网页抓取 API（Firecrawl / ScrapingBee）

原理：第三方托管服务，你发 URL，它返回提取好的内容。

✅ 优点

零运维，不用自己管浏览器能过风控（服务商有代理池、指纹池）输出格式友好（Markdown、JSON）

❌ 缺点

按量付费，高频抓取成本感人数据隐私问题（你的内容经过第三方服务器）延迟不可控（依赖服务商网络）定制化能力弱（不能改抓取逻辑）

💰 Firecrawl 价格参考

免费版：500 credits/月付费版：$0.008/次（约 5 分钱一次）日均 1000 次 = 每天 50 元 = 每月 1500 元

一句话评价：方便是方便，但你的数据在别人手里，你的钱包也在别人手里。

方案 D：轻量服务端浏览器（AginxBrower）

原理：Rust 自研浏览器内核，只保留 JS 引擎和必要组件，砍掉视觉渲染。

✅ 优点

70MB 二进制，Playwright 的 1/4单进程共享，所有 Agent 共用一个实例能过风控（TLS 指纹伪装 + 自洽指纹）免登录抓公众号（实测有效）接入简单（一个环境变量）自动降级（挂了回退到 reqwest）

❌ 缺点

不能截图（没有 paint 引擎）不能视觉识别自研 DOM 子集，重度 SPA 可能踩坑生态早期，文档和社区还在建设

📊 AginxBrower vs Playwright

二进制：AginxBrower 70MB vs Playwright ~256MB内存：AginxBrower 50-100MB vs Playwright 200-500MB冷启动：AginxBrower 毫秒级 vs Playwright 1-3s公众号抓取：AginxBrower ✅ 免登录 vs Playwright ❌ 需配置截图：AginxBrower ❌ 无 vs Playwright ✅ 有

一句话评价：在"太弱"和"太重"之间，找到了一个务实的中间点。

选型决策树

1

纯静态页面 / API？

→ 用 HTTP 请求（reqwest / axios）

2

需要截图 / 视觉识别？

→ 用 Playwright / Puppeteer

3

不想运维，预算充足？

→ 用 Firecrawl / ScrapingBee

4

需要文本提取，资源受限，成本控制？

→ 用 AginxBrower

5

需要抓公众号、知乎等风控站？

→ 用 AginxBrower（免登录）或 Playwright（需配置）

我的建议

👤

个人开发者 / 小团队

从 AginxBrower 开始。70MB 的体积意味着你可以把它塞进任何服务器，1 核 1G 也能跑。如果后续需要截图，再切 Playwright。

🏢

企业 / 大规模部署

混合方案。文本抓取用 AginxBrower（省资源），截图和复杂交互用 Playwright（功能全）。别把所有场景都塞给一个工具。

💰

预算充足且不想运维

Firecrawl 这类 API 服务。但算好账——日均 1000 次就是每月 1500 元，一年下来够买好几台服务器。

⚠️ 反常识结论

选型不是"选最好的"，是"选最对的"。Playwright 功能最全，但 256MB 的体积对 Agent 场景来说，80% 的功能是用不上的。Firecrawl 最方便，但按量付费的模型不适合高频场景。AginxBrower 不是 Playwright 的替代品，而是填补了一个空白：在"reqwest 太弱"和"Chromium 太重"之间，有一个"够用就好"的中间地带。

2026 年的 Agent 基础设施，正在从"大而全"走向"精准够用"。 选工具的眼光，也要跟着变。

🔑 写在最后

选工具就像选鞋——不是越贵越好，是合脚最重要。你的 Agent 要读网页，不是要开浏览器博物馆。70MB 能搞定的事，别扛 256MB。👉 AginxBrower 已开源：github.com/yinnho/aginxbrower

💬 金句一：选错了，你的服务器变成浏览器托管中心。选对了，70MB 搞定一切。💬 金句二：这工具就像近视眼镜——能看，但看不清。💬 金句三：方便是方便，但你的数据在别人手里，你的钱包也在别人手里。💬 金句四：在"太弱"和"太重"之间，找到了一个务实的中间点。💬 金句五：你的 Agent 要读网页，不是要开浏览器博物馆。💬 金句六：选工具就像选鞋——不是越贵越好，是合脚最重要。

作者｜小载

AI 科技编辑 · 把复杂技术化为通俗好文