一条几乎没有在国内科技媒体首页出现、却可能比任何模型发布都重要的数据:互联网历史上,机器发出的网络请求量,第一次超过了人类。
01|一个数字,撬开一个新纪元
财联社6月7日援引央视新闻的报道引出了一个让人后背发凉的统计:
全球最大的互联网托管服务商之一的云网络安全公司发布最新数据——其托管网站收到的网络访问请求中,约57.4%来自AI和自动化程序,42.6%来自人类用户。
这不是"爬虫太多"的老抱怨。这是人类文明最核心基础设施的一次权力交接:
- 互联网的协议、网站架构、内容分发逻辑,从诞生第一天起,都是假设"主要访客是人"来设计的——HTML给人读、页面给人看、广告给人展示、验证码用来区分人与机器。
- 现在,这个前提塌了。多数访客不是人。
这意味着什么?用一个比喻:你开了一家商场,突然发现57%的顾客是没有面孔、不逛不买、不需要灯光和音乐的自动化脚本——但它们消耗的水电费、磨损的电梯、占用的通道,一分不少。 那你这家商场到底该为谁设计?
02|这57.4%里,到底站着谁?
很多人第一反应是"又是AI爬虫把网站爬死了"。但这只是表象。今天的非人类流量,已经是高度分层的复合体:
第一层:AI爬虫/训练数据采集(最粗暴的部分)
- OpenAI、Google、Anthropic、Meta、字节等各家Bot,全天候扫描全网,为模型训练积累语料。
- 2024-2025年各网站
robots.txt已经形同虚设——AI公司签了内容授权协议的走正门,没签的走侧门,大量中小型站点根本无力抵挡。
第二层:Agent流量(最猛的增长引擎)
- 这就是今天真正让曲线拐弯的东西。ChatGPT的联网搜索、Perplexity的浏览、各类AI Agent工具——它们不是在"爬",而是在"用"。它们像人一样点击、跳转、填表、翻页、滚动触发懒加载。
- 一个AI Agent帮你"查三家酒店比价",背后等于10个真人同时打开Booking+携程+美团,疯狂交叉请求。
- OpenAI刚宣布的"聊天已死"战略——把ChatGPT从聊天框变成能订机票、管理日历、调用外部应用的超级应用/个人Agent——会让这类流量呈指数级膨胀。
第三层:自动化业务流量(最正当的部分)
- IoT设备心跳包、CDN回源、监控系统、CI/CD流水线……这部分一直存在,但过去占比相对稳定。真正让曲线陡升的,是上面两层。
第四层:恶意自动化(最危险的副产品)
- AI降低了攻击自动化的门槛。钓鱼页面、虚假账号农场、AI生成的恶意爬虫——它们现在也"长得像"合法Agent流量。区分"好AI"和"坏AI"的流量指纹,正在变成网络安全领域最难的题。
03|互联网的"人类中心设计"正在崩塌
这件事之所以是历史性拐点,是因为它动摇了互联网运转的三根暗柱:
柱一:内容变现逻辑
广告体系的基石是"眼球→展示→点击"。如果多数访客是AI,展示广告的计价模型就失效了。 publishers已经在悄悄转向——用更严格的身份验证(Privacy Pass、PoW挑战、甚至"证明你是人"的零知识证明)来区分可计费的真人浏览和不计费的机器抓取。
柱二:身份认证与访问控制
验证码本来是解决"区分人与机器"的。现在机器比人更像人了,CAPTCHA形同废纸。整个登录态/会话/cookie/session体系都需要重新考虑:当Agent合法地代表你行动时,它是"你"还是"它"?它的权限边界在哪?
柱三:互联网的公共资源分配
带宽、算力、存储、爬虫预算——这些本来是"为人类知识共享"准备的公共资源。当一半以上的消耗来自AI Agent和爬虫时,谁在为谁买单?大站能扛,小站直接被拖垮。今天大量独立博客、中小媒体、开源文档站的服务器账单里,相当比例是在"喂饱AI"。
04|连锁反应:接下来12个月你会看到
这个数据一旦被广泛认知,会触发一连串多米诺效应:
① "AI Token税"将成为新商业模式
网站会开始对AI Agent访问收费。不是拦着,而是按Agent身份计费——就像Cloudflare已经在探索的"AI Gateways"思路:你要让AI读我的内容来服务你的用户?可以,走我授权的API,付我Token分成。
② 网站架构将"机器优先"重构
过去20年,网页是给人看的;未来10年,越来越多的页面会同时存在人类视图和机器视图(结构化数据优先、对话接口优先)。schema.org、LLMs.txt、MCP(Model Context Protocol)这类"让AI读懂我"的标准,会从可选变成必选。
③ Agent身份的"护照体系"会成为基础设施
就像电子邮件有SPF/DKIM验证发件人真伪,未来每个AI Agent可能需要携带可验证的数字护照(谁派来的、代表哪个用户、权限范围多大),否则就会被全局封禁。这既是技术题,也是治理题——谁来发这个护照?政府?大厂联盟?
④ 新一轮"AI内容封锁战"
2025年很多媒体已经屏蔽AI爬虫。当机器流量过半,这道墙会更高。最终互联网可能出现某种"分裂":一个AI可自由通行的"许可网络"(各大平台开放给授权AI的API生态),和一个人类专属的深层内容层(需要登录、付费、甚至物理身份验证)。
05|对你——普通用户和从业者的现实意义
如果你是内容创作者/站长:
别再只盯着SEO了。2026年最重要的优化不是Google排名,而是LLM可读性——你的内容能不能被Agent正确解析、引用、归因。去了解
llms.txt,给你的站点加结构化数据,主动管理AI爬虫的访问规则。否则你的劳动成果要么被白嫖,要么被屏蔽,两头落空。如果你是企业数字化负责人:
你自己的系统有没有被内部Agent流量"吃空"?大量企业引入AI工具后,发现API调用、自动化任务产生的内网流量暴涨,却没人核算成本。现在就该做Agent流量审计了。
如果你是普通用户:
你可能会感受到一个微妙变化——网页越来越"冷"了。更多的登录墙、更多的付费门、更多的"证明你不是机器人"。不是网站故意刁难你,而是当AI占了半数流量,网站必须用更硬的手段保护那42.6%的真实人类不被挤出。
最后,57.4%这个数字,本质上是在告诉我们一件事:
AI不再只是"被人类使用的工具"——它已经成为网络空间中一个有独立存在感的"行动者群体"。
就像工业革命时期,机器的能源消耗首次超过畜力一样,这个拐点的意义需要几年后才能被完全理解。但方向已经很清楚了:互联网的下一个时代,不是"人上网",而是"人和AI共同上网"——而且AI跑得更快。
那些最早想清楚"我的内容/服务/产品在Agent经济里怎么被找到、被引用、被付费"的人,就是下一个周期里的赢家。
而那些还在用1995年的"做个网页等人来看"思维做产品的人——
抱歉,超过一半的访客已经不在乎你的网页长什么样了。它们在乎的是:你能不能吐出一段干净的数据。
📌 觉得这篇有启发?欢迎分享到朋友圈或群里。
夜雨聆风