做 AI Agent 的人都知道，数据采集是最头疼的环节。

模型再强，喂进去的数据拉垮，输出也好不到哪去。

最近我把市面上主流的几款爬虫工具都跑了一遍，从 45K stars 的明星项目到小众冷门工具，踩了不少坑，也找到了几个真香的。

今天把我的真实使用体验分享出来，帮你省掉试错的时间。

1. MediaCrawler（GitHub 45K+ ⭐）

一句话：国内社交媒体抓取的标杆。

如果你要做国内平台的内容采集，这个几乎是唯一选择。

支持平台：小红书、抖音、B站、微博、快手、知乎、百度贴吧

我的体验：

• 代码质量确实不错，项目结构清晰，上手文档也写得到位
• 社区非常活跃，更新频率高，平台规则变了基本都能及时跟进
• 支持 cookie 登录，能拿到较深的数据

不足：

• 只专注国内平台，Twitter、Reddit 等完全覆盖不了
• 部分平台需要手动登录获取 cookie，初次配置有一定门槛

适合谁：做国内舆情监控、内容分析、竞品追踪的团队和个人。

2. Agent-Reach（GitHub 8K+ ⭐）

一句话：想零成本抓多平台，它给你一个开始。

口号是”给你的 AI Agent 一双眼睛”，野心不小。

支持平台：Twitter、Reddit、YouTube、GitHub、B站、小红书

我的体验：

• 一条命令就能抓取多平台内容，上手确实快
• 零 API 费用，对个人项目和小团队很友好
• 支持平台广，国内外都有覆盖

不足：

• 稳定性是我最担心的。它依赖反向工程，平台一更新可能就挂了
• 文档和社区相比 MediaCrawler 还差一截
• 我实测过程中遇到了几次解析失败，需要手动排查

我的建议：个人项目、预算有限可以先用着；生产环境慎重，建议还是走官方 API。

3. jina-cli（GitHub 226 ⭐）

一句话：极简主义的网页解析利器。

不跟 MediaCrawler 比平台覆盖，它只做一件事——把任意网页转成 LLM 友好的格式。

我的体验：

安装简单，一条pip install搞定

• 输出干净，Markdown 格式直接喂给 LLM，零适配成本
• 抓新闻、博客、文档页面非常好用，速度快，格式标准

不足：

• 受登录墙限制，Twitter 时间线、付费墙内容抓不了
• 单页抓取没问题，批量采集不是它的强项
• stars 少，社区小，遇到问题基本靠自己

适合谁：做知识库构建、AI Agent 需要实时读取网页内容的开发者。

4. x-tweet-fetcher（GitHub 407 ⭐）

一句话：做 Twitter 舆情和 AI 早报的瑞士军刀。

这是我目前在深度使用的一个工具，专门为 Twitter 打造。

我的体验：

• 支持抓取推文串、mentions、时间线，功能聚焦但深入
• 内置 LLM 分析，能自动做内容筛选和摘要——我的 AI 早报就是用它巡逻 Twitter 账号的
• 自动巡逻 + 智能筛选，适合做持续监控

不足：

• 部署有点复杂，文档不够完善，初次上手需要折腾
• 社区相对小，遇到问题不一定有人及时回复
• 对 Twitter 的依赖意味着平台变动风险始终存在

适合谁：做 Twitter 舆情监控、AI 信息聚合、早报类产品的开发者。

怎么选？一表看懂

最后说两句

工具只是手段，没有”最好”的爬虫，只有”最适合你场景”的。

我的建议是：先明确你要抓什么、抓来干什么、稳定性和成本的优先级怎么排，然后再选工具。别为了追 stars 数选了个不适合自己的。

GitHub 链接如下

MediaCrawler：https://github.com/NanmiCoder/MediaCrawler

Agent-Reach：https://github.com/Panniantong/Agent-Reach

jina-cli：https://github.com/geekjourneyx/jina-cli

x-tweet-fetcher：https://github.com/ythx-101/x-tweet-fetcher