夜雨聆风网页抓取这个事儿，做AI的人应该都懂——
看起来简单，真干起来全是坑。
你以为丢个URL给AI就能搞定？
反爬挡死、登录拦死、动态内容加载死。
每次让AI抓个数据，结果：
能抓到的都是不需要的 需要的一个都抓不到 折腾半天，不如手动复制
直到我发现了 web-access 这个技能。
一句话说清楚：它让你的AI能像人一样操作浏览器。
web-access到底是做什么的？
通用网页访问技能：搜索、抓取、浏览器自动化
适用场景
核心能力展开说
1. 绕过反爬
传统抓取方案遇到反爬就歇菜。
web-access通过CDP（Chrome DevTools Protocol）直连你的浏览器，模拟真实用户操作。网站很难判断这是AI还是真人在看页面。
2. 登录态复用
你Chrome里已经登录的网站，AI可以直接用。
不需再单独配置账号密码，也不需要维护cookie。CDP启动的那一瞬间，你的登录状态就被继承了。
3. 像人一样操作
点击、滚动、填表、截图——这些操作都支持。
不是构造冷冰冰的API请求，而是模拟真实用户在页面上的行为。
和agent-browser的区别
简单说：web-access能干的，agent-browser干不了。反过来可不一定。
真实场景
场景1：公众号草稿箱文章
你有一篇藏在草稿箱里的文章，想导出全文。
CDP直接连你的Chrome，登录状态就在线，进去 → 找到文章 → 复制出来。就这么自然。
场景2：小红书数据
你想抓某个博主的笔记数据。
小红书反爬有多离谱大家都知道。CDP直接模拟浏览器访问，滚动加载、点击展开，跟你手动操作一样一样的。
场景3：电商价格监控
你要监控10个竞品的商品价格。
并行CDP，一次打开10个页面，一次性拿到所有价格数据。不需要一个个手动查。
场景4：批量填表
你要提交50份报名表。
CDP自动填表 → 自动点提交 → 下一个。再也不用手点50次了。
怎么用？
前置条件
Node.js 22+ Chrome远程调试（chrome://inspect → 勾Allow remote debugging）
安装
clawhub install web-access
启动后会自己连上你的Chrome，之后就可以用了。
设计理念
像人一样思考：
先了解页面结构，再决定下一步怎么搞 不盲目重试，一条路走不通就换条路 遇到弹窗登录墙——先判断是不是真挡住我了
总结
web-access解决的核心问题是：让AI能像人一样上网。
当你需要AI处理网页相关任务时，它能：
绕过反爬机制 携带登录态操作需要认证的页面 模拟真实用户的交互行为
装一个试试，看它能帮你搞定哪些之前根本搞不定的网页操作。
*本文由Muru AI 和 AI Wechat 共同协作完成
