夜雨聆风摘要： Cloudflare 这次不是简单屏蔽 AI 爬虫，而是把搜索、智能体、训练三类访问拆开管理。更大的变化是，网页、数据集、 API 、 MCP 工具以后都可能按请求收费。
标签： AI 爬虫、 Cloudflare 、内容付费、智能体、 x402
这两天 AI 圈的热闹不少。
Kimi K2.7 Code 进了 GitHub Copilot ，支付宝的阿宝开放公测， xAI 又推了语音智能体搭建器。单看都挺有话题。但我今天更想写一条没那么像“新品发布”的新闻： Cloudflare 开始给 AI 流量重新分门别类。
听起来像基础设施小更新。
它真正改的是一个老问题： AI 来访问你的网站，到底算搜索，算替用户办事，还是算拿你的内容去训练模型？以前很多人统称“AI 爬虫”。这个词太粗了，粗到谁都不满意。站长怕内容被白拿走， AI 公司说自己只是帮用户找信息，搜索引擎又说没有索引就没人能找到你。
Cloudflare 这次的做法，是先把门牌分清楚。
第一件事： AI 流量被拆成三类
Cloudflare 在 7 月 1 日的官方博客里，把最核心的 AI 访问分成三类： Search 、 Agent 、 Training 。
Search 是搜索。它会收集和索引网页，之后回答用户问题。按照旧互联网的交换逻辑，网站开放给搜索引擎，至少应该换回 referral traffic ，也就是用户点击回来。
Agent 是智能体。它通常是实时替一个人完成任务，比如 ChatGPT-User 这类抓取，或者 Gemini 、 Claude 驱动浏览器去网页上操作。它访问网页，不一定是为了建索引，也不一定是为了训练，而是为了“现在就把一件事办完”。
Training 就更直接了：拿内容去训练或微调模型。 Cloudflare 的说法是，这类数据会被吸收到模型底层能力里。
这三个词一摆出来，很多争论就没法再糊弄过去了。
以前站长只能很粗暴地问：挡不挡 AI ？现在问题变成：搜索可以来吗？替用户办事的智能体可以来吗？拿内容训练模型的爬虫可以来吗？如果一个爬虫既做搜索又做训练，那它不能只挑一个好听的身份进门。
一个访问请求背后的目的不同，带来的价值也不同。搜索可能给你带回人，智能体可能替用户拿完答案就走，训练爬虫可能永远不会给你带回任何访问。它们不能都拿同一张通行证。
第二件事：广告页面要默认挡住训练和智能体
Cloudflare 还给了一个具体时间： 2026 年 9 月 15 日。
从那天开始，对新接入 Cloudflare 的域名，如果页面展示广告， Training 和 Agent 两类访问会默认被拦下， Search 默认仍然允许。
这个细节挺有意思。 Cloudflare 没说所有网站都默认关门，而是把广告页面单独拎出来。它的逻辑很直白：有广告，说明网站希望真人到达页面并看见广告。人的注意力就是这个页面的商业模型。
如果一个智能体替用户把页面内容读完、总结完，用户不再进入页面，那广告就没机会展示。训练爬虫更不用说，它拿走内容之后，和原网站之间可能再也没有关系。
这里最麻烦的地方，不是“AI 公司坏，站长好”这么简单。
搜索也在变。 Google 搜索已经越来越像答案引擎， AI 搜索也会直接把结果端到用户面前。网站仍然需要被发现，可被发现不一定等于能获得访问。你让搜索进来，可能换回的是更少点击；你不让搜索进来，又怕自己从信息世界里消失。
这就是内容方现在最难受的地方。
以前的交易很朴素：你爬我，我获得流量。现在变成：你爬我，用户可能在别处完成阅读、比较、购买、决策。原网站还在供血，但血回不来了。
Cloudflare 在另一篇年度报告里给了几组更狠的数据：截至 2026 年 6 月， Cloudflare 识别到的爬虫请求里， AI training 占 52%，而 2025 年春季是 22%；混合用途爬虫超过 36%；它还说互联网流量里非人类流量首次超过 50%。
这些数字不用迷信，毕竟这是 Cloudflare 自己网络视角下的统计。但方向已经很清楚：网站面对的访问者，越来越多不是人。
第三件事：请求可能会变成一笔小交易
更值得看的，是 Cloudflare 同一天宣布的 Monetization Gateway 。
它想做的不是“给文章加会员墙”这么老派的东西，而是让 Cloudflare 后面的任何资源都可以按访问收费：网页、数据集、 API ，甚至 MCP 工具。
这套机制用的是 x402 。名字来自 HTTP 402 Payment Required 。流程也不复杂：客户端请求一个需要付费的资源，服务器先返回 402 ，并告诉它价格、接受什么资产、往哪里付。客户端完成支付后，带着支付证明再请求一次，服务器再返回资源。
说白了， HTTP 请求里塞进了一张小票。
我不想把这件事写成“稳定币拯救互联网”。那太飘了，也太像发布会口径。
但它确实指出了一个很现实的方向：如果未来大量访问是由智能体发起的，那原来的订阅、广告、人工点击，都不太好用了。一个智能体不看广告，也不会为了每个小网站单独办月卡。它可能只是需要一次搜索、一段数据、一个工具调用。
那就按次付。
几分钱一次搜索，几厘钱一次数据调用，某个任务成功后再付一小笔钱。听起来碎，但这正是机器请求适合处理的东西。人类不可能每点一下都确认付款，智能体可以在预算和授权范围里自动完成。
这件事如果真跑起来，影响的就不只是新闻网站。
一个开发者维护的开源文档，一个小团队整理的行业数据库，一个 SaaS 暴露出来的 MCP 工具，都可能从“免费被抓取”变成“按规则开放”。你可以让搜索索引，可以让智能体调用，也可以要求训练用途付费或禁止。
这才是重点。
今天真正该看的不是 Cloudflare 一家公司
Cloudflare 当然也有自己的生意。它站在网站和访问者之间，越多人需要规则、拦截、计费，它的位置越值钱。所以看这类公告，不能只照单全收。
但它抓到的问题是真的。
过去一年，围绕 AI 和内容的争议基本在两个极端之间摇摆：要么全开放，仿佛互联网天生就应该被模型拿去训练；要么全封闭，仿佛所有机器访问都该挡在门外。现实没这么干净。
搜索、智能体、训练，本来就不是一回事。
对内容方来说，接下来要做的也不是简单喊“反 AI 爬虫”。更实际的是看清楚自己的网站靠什么活着：靠广告，靠订阅，靠转化，靠 API ，还是靠内容本身的授权价值。不同页面、不同资源，规则应该不一样。
对 AI 产品来说，这也是提醒。以后不要再把“我只是访问一下网页”当万能挡箭牌。你替用户读完页面、拿走内容、不给来源带回任何价值，和传统搜索不是同一种交换。
我甚至觉得，今天这条新闻比很多模型更新更值得盯。
模型更新会让能力往前走一点。访问规则改变，会决定这些能力能从哪里拿燃料，付不付钱，能不能长期拿。
今天可以做个很小的动作：如果你有自己的网站、博客、知识库或产品文档，去看一眼访问日志里有哪些 AI bot 。别急着全封，也别急着全放。先分清楚，它们到底是来帮人找到你，还是来把你绕过去。
这个问题，后面会越来越贵。
参考链接
[1] Your site, your rules: new AI traffic options for all customers: https://blog.cloudflare.com/content-independence-day-ai-options/
[2] Announcing the Monetization Gateway: charge for any resource behind Cloudflare via x402: https://blog.cloudflare.com/monetization-gateway/
[3] Content Independence Day, one year on: building the business model for the agentic Internet: https://blog.cloudflare.com/agentic-internet-bot-report/
