这可能是目前最适合AI的爬虫工具

Scrapling，本身是一套 Python 爬虫框架，但现在已经支持 Agent Skill 和 MCP了。

你可以直接让 Codex 这类 Agent：
→ 打开网页抓取数据
→ 处理 JavaScript 动态页面
→ 批量爬几百上千个页面
→ 自动处理代理、Session 和限速
→ 把整个网站转成 Markdown
→ 直接拿去做 RAG、知识库

更牛的是，它还能自适应抓取。
网页改版之后，原来的元素位置变了，它还能尝试重新找到。

以后很多爬虫任务，就不用自己一点点写了，
你只需要告诉 Agent 你想要什么数据，
它会自动编写代码、完成采集并返回结果。

GitHub：D4Vinci/Scrapling