跨界思辨

AI vs AI：当攻守双方都在AI化，用户是唯一输家

——反爬系统背后的利益博弈与开放API之路

6月20日我在文章《战争远未结束，规则已经改变》中提到的小艺Claw被百度采取了反爬策略的事，这两天看了一些专业讨论，发现哪里仅仅是百度，我几乎想通过Agent查任何专业性数据，都被内容提供者设置的专业反爬工具挡在"墙"外——整个网络世界早已经形成了一场网站对抗Agent爬取、Agent对抗反爬工具的反反爬"战争"！

这不难理解——AI直接给答案绕过了广告位，网站和平台在保护自己的收入链条。但这件事让我意识到一个更深的现实：AI Agent已经从概念走向了现实，可当它们真正要"上路"的时候，发现路全封了。

自动订餐的Agent到不了美团，科研助手翻不过知网的墙，比价工具被电商平台一顿暴打。这些日子我自己用Agent就一个感受：获取有效内容越来越难了，等的时间越来越长了，花的token越来越多了，最后我的Agent告诉我它无能为力。

你可能觉得这是Agent开发者的事，跟你没关系。但你想想——你让AI帮你查个东西，它回来跟你说"对不起，我被拦了"，你只好自己打开浏览器、过验证码、登录、复制粘贴。你花钱养了🦞，买了流量和Tokens，但网上的东西，你不配拿。

不过今天不想只聊"网站防Agent"这层——这已经过时了。2026年的现实比这复杂得多，也荒唐得多。

攻方在AI化，守方也在AI化。Agent有了Computer Use，能看屏幕、点按钮、填表单，手已经长出来了；反爬也上了AI，200多个维度监控你的鼠标轨迹，15毫秒内给你打分，怀疑你就弹验证码。两边都在升级，两边都越来越强。

然后呢？用户夹在中间，体验反而更差了。

这才是真正值得看的东西——不是"能不能爬"的技术问题，是一场AI对AI的军备竞赛，而用户是唯一的输家。

壹 · 攻方AI化：手长出来了，但没经验

Agent这边的进展，说起来挺唬人。

Google刚把Computer Use原生集成进了Gemini 3.5 Flash——AI能直接看屏幕、操作浏览器和桌面软件，不需要专用API，一口气能循环执行70多步操作。Anthropic的Claude更早，2024年10月就推出了Computer Use；OpenAI的Operator也在2025年初上了线。

这意味着什么？Agent的交互界面从API和文本拓展到了GUI——人能用的软件，AI也能用，不需要谁专门给它开个接口。手，长出来了。

验证码这边更夸张。传统字符扭曲验证码，AI视觉识别的破解率已经冲到99%以上。你费劲巴拉设计的那堆歪歪扭扭的字母，在YOLO目标检测模型面前跟明文差不多。

工具链也在进化。webclaw用Rust重写底层，TLS指纹模拟浏览器行为，不启动真浏览器就能绕过大多数反爬，性能快了20倍。BrowserClaw搞了个"快照+引用"模式，把页面可交互元素抽象成带编号的文本快照，AI只需读懂文本然后发一句"点击e1"——视觉识别和元素定位这两个最吃资源的环节，直接剥离了。

听起来是不是觉得Agent已经天下无敌了？

别急，真跑起来的惨状，够写一本血泪史。

通用Agent去爬Amazon畅销榜，Cloudflare五分钟就拦了。常规的反反爬手段——IP代理、UA伪装、基础指纹模拟——对Cloudflare v4.0几乎完全失效，爬取成功率不到1%。

登录后session半路失效，Agent就傻在那。DOM直接喂给LLM，90%是垃圾HTML，token烧得飞起还不出活。多账号并发？没戏——共享Cookie和设备指纹，平台一检测异常行为就批量封号。

最要命的是这个：每换一个新网站，Agent要从零摸索。页面结构不认识，按钮找不到，流程猜不对——容易死循环、偏离意图、草草收手。就像你把一个老司机扔到一个所有路标都是外星文的城市，方向盘在他手里，但他不知道往哪打。

花6天把Agent伪装得跟真人一模一样，爬取成功率可以提升到95%+——但6天啊，每换一个网站就要重来一遍，这谁扛得住？

所以结论是：Agent单点突破能力不弱，验证码能破、指纹能仿、工具链在进化。但系统对抗上，目前还是攻方吃亏。反爬是体系化防御，Agent是单点突破，每过一关还有下一关。

手长出来了，但路还是不熟。

贰 · 守方AI化：反爬也上了AI

说完攻方，看守方。这才叫真正的体系化。

2026年的反爬，已经不是当年那个靠IP频次加UA黑名单的草台班子了。现在主流平台部署的是"AI驱动的三位一体"：

第一层，TLS/设备指纹层。通过JA4等技术，精确识别请求到底是不是来自真实浏览器。你伪装得再像，TLS握手的时序抖动、HTTP/2帧序列这些底层特征，骗不了人。

第二层，前端行为分析层。监控鼠标轨迹、点击间隔、页面滚动——200多个维度，实时判断你是不是真人。你移动鼠标的加速度曲线、你点击前0.3秒的微抖动，这些人类自己都注意不到的特征，反爬系统全在算。

第三层，动态验证决策层。一旦怀疑你是爬虫，立刻弹出高难度验证码。不是那种歪歪扭扭的字母——是带干扰线图文的滑块拼图、SVG动态验证，极验2026年新推的这套东西，自动化攻击降低比例高达55%。

三层联动，层层递进。你过了第一层，还有第二层；过了第二层，还有第三层。而且第三层的验证码还在持续升级——AI能破传统验证码？那就换行为验证；行为验证也被破？那就上SVG动态验证。猫鼠游戏，永无止境。

但真正让人头皮发麻的是Cloudflare的进化路线。

2021年，它引入Browser Integrity Check，首次在边缘层验证TLS指纹和UA一致性。2023年，发布Adaptive Challenge，根据请求熵值动态选择挑战类型——无感JS执行、Canvas噪声扰动、WebGL指纹校验，三选一或全上。2025年Q4，上线Shield Synapse模块，通过Workers AI调用轻量化Transformer模型，15毫秒内完成设备行为链置信度评分——15毫秒，比眨眼还快。2026年，全面部署深度学习行为分析引擎，模型每日接收数亿条攻击样本再训练，对新型Bot流量具备分钟级响应能力。

从"规则判断"到"AI评分"到"深度学习实时进化"——反爬系统的AI化，比攻方还彻底。

还有一层数据：2023年Cloudflare对自动化爬虫的拦截率是89%，到2026年已经到了99.4%。常规反反爬手段对它几乎完全失效，爬取成功率只剩不到1%。

你再看绕过成本的变迁：2022年以前，Headless Chrome就能模拟，成本中等；2026年，要绕过主流反爬，需要硬件级仿真和微秒级时序控制——这不是写个脚本的事，这是造一台假浏览器。

对了，还有黑产那边。腾讯云已经捕获到AI Agent驱动的真实攻击案例——攻击方能"自适应学习"，被拦了就自动调整策略再试。防守方也在用AI检测AI。

这就是2026年的真实图景：攻守双方都在AI化，而且都在加速。攻方每突破一层，守方就加一层；守方每升级一次，攻方就找新的绕过方式。这不是猫鼠游戏了，这是军备竞赛。

两边都越来越强，那谁越来越弱？

叁 · 用户是唯一输家

答案不用我说，你也猜到了。

攻方升级，用户没感觉——Agent爬不爬得进去，跟用户有什么关系？守方升级，用户倒是有感觉——验证码越来越难、登录越来越烦、页面越来越慢。但这个"感觉"不是变好，是变差。

你想查个东西，Agent替你跑一趟，被拦了。你只好自己打开浏览器，输入网址，过验证码，登录，找到页面，复制内容，粘贴回来。这跟没有Agent有什么区别？区别是有的——你多花了一道验证码的时间。

更隐蔽的输法是这样的：你让Agent帮你比价三个平台，它只回来了一个——另外两个被反爬拦了。你以为你拿到了最优选择，其实你拿到的是"唯一没拦我的那个"。你输的不是时间，是决策质量。

传统验证码导致30%的用户直接流失。也就是说，每10个人里有3个，看到那堆歪歪扭扭的字母就走了。滑动验证好一些，注册转化率能回升10%到15%——但这是从"烂"到"凑合"的提升，不是从"凑合"到"好"。

更荒唐的是信息鸿沟的固化。大平台有资源部署AI驱动的反爬体系，小平台和公益信息网站连基础防护都买不起。结果是什么？头部的信息被牢牢锁住，公共的信息被爬虫耗光。真正需要信息的研究人员和普通用户，被隔在了墙外。

创新成本也在飙升。2026年，绕过主流反爬需要硬件级仿真和微秒级时序控制——中小开发者根本无力承担。每一个想创新、想提供更好服务的团队，都要先花大量精力去"突破"反爬系统。不是在做产品，是在做对抗。很多好东西，就这么被闷死在了摇篮里。

攻守双方都在升级，都在变强。但这场军备竞赛的弹药，是用户的耐心、时间和体验。两边都没输，输的只有用户。

那怎么办？

肆 · 破局：不是墙，是门

信息壁垒不是"有"或"无"的二元问题，是怎么设计一套规则让所有人都有得玩。

第一，分层开放的API体系。

不是所有数据都该开放，也不是所有数据都该封锁。关键是分清哪些该给谁、按什么条件给。

L1让公共信息回归公共，L2给中小开发者一条活路，L3和L4让平台该赚钱赚钱。谁都有饭吃，谁都不想把桌子掀了。

这不是空想。Dify的API安全体系已经跑了四层权限控制——身份认证、接口权限、数据权限、操作审计，全链路可追踪。智能体安全分级规范也发布了L1到L5五级递进体系。技术框架不是问题，问题是谁来推、怎么落地。

第二，利益分配——三种可以抄的作业。

光有分层还不够，得让数据提供方真金白银地赚到，否则没人愿意开放。

开放银行模式。2015年欧盟《新支付指令》（PSD2）要求银行开放客户数据，经客户许可后，银行向第三方提供API接口。但免费模式出了问题——银行承担绝大部分运行成本，第三方免费拿数据后对外收费，收益倒挂，不公平。2023年欧盟《数据法案》（Data Act）把数据提供方向数据使用方的补偿请求权确立为合法权利——我给你数据，你可以用，但你得给我钱。中国这边，浦发银行2018年推出API Bank，工行、招行、建行陆续跟进，2018年被称为"开放银行元年"。这条路已经走过一遍了，互联网平台完全可以照着走。

Mozilla/Commons Clause模式。开源但不免费商用——个人和研究免费使用，商业使用付费。核心逻辑就四个字：开放≠免费。保护数据提供方商业利益的同时，把创新门槛降到最低。

Cloudflare按次付费爬取模式。2025年7月推出，网站出版商可以选择向AI爬虫收取抓取内容的费用。用市场机制替代技术对抗——你不用费劲巴拉地反爬，我也不用费劲巴拉地绕，你标个价，我付个钱，完事。核心逻辑也是四个字：合规≠封闭。

三种模式，一个比一个务实。开放银行解决了"谁出钱"的问题，Mozilla模式解决了"谁免费用"的问题，Cloudflare模式解决了"怎么定价"的问题。合在一起，利益分配的闭环就通了。

第三，政策法规——四根桩子得打下去。

光靠市场自觉不够，得有制度托底。

桩子一：数据产权归属。"数据二十条"2022年提了一个关键判断——数据产权结构性分置，根据数据来源和生成特征，分别界定各参与方的合法权利。这意味着什么？意味着平台不能再说"我的数据我做主"了——你用户产生的行为数据，产权归你；平台采集加工后的衍生数据，产权归平台。各归各的，谁也不能一口全吞。2026年2月国家数据局局长专门去中国法学会授课讲这事，2025年12月最高法增加了数据权属纠纷等案由——方向有了，但细化到具体场景的执行规则，还得加快。

桩子二：反垄断防滥用。2022年《反垄断法》首次修改，第9条明确规定：经营者不得利用数据和算法、技术、资本优势以及平台规则等从事垄断行为。落到反爬这个场景上——你防爬虫可以，但如果你防的不是爬虫，是竞争对手的Agent，把反爬系统当排他性工具用，这就是垄断。数字经济的垄断比传统经济更隐蔽：数据互操作限制、算法合谋、网络效应导致强者愈强——反垄断执法得跟上。

桩子三：用户数据可携带权。《个人信息保护法》已经正式规定了可携带权——用户有权将自己的数据以标准格式导出，转移给其他服务商。这对用户意味着什么？意味着你不用再被"锁定"在一个平台上了——你对这个平台不满，但数据带不走，只能忍着。可携带权落地了，你的数据你带走，Agent替你调用你自己的数据，平台不能拦。用户才真正拥有自己的数据，Agent才能真正替用户干活。

桩子四：公共数据开放与信用体系。2025年1月构建了"1+3"政策体系——登记管理、授权运营、价格形成。2025年3月1日，国家公共数据资源登记平台正式上线，数据授权运营从"黑箱操作"转向透明化披露。一个扎心的数据：我国数据生产总量中仅2.9%被保存——绝大部分数据连存都没存下来，谈何开放？先存下来，再谈怎么用。行业协会还得牵头建信用体系——守规的Agent拿更高权限，违规者降级封禁。有信任才有流动，有流动才有生态。

第四，技术协同——该升级的升级。

robots.txt从"君子协议"升级成强制执行版——Cloudflare已经默认拒绝AI爬虫，相当于给了robots.txt牙齿。API网关统一接入，降低开发者的接入成本。OAuth 2.0这些成熟协议全面铺开——开放银行和API安全体系都在用，不是什么新东西，关键是推。

伍 · 终局

短期看，对抗还会继续。网站加固反爬，Agent寻找突破，猫鼠游戏，你来我往。而且两边都在AI化，只会越打越烈。

但长期看，双方都得冷静下来算一笔账。

对网站来说，完全封闭等于把自己排除在Agent生态之外。当用户习惯了"一句话解决问题"，谁还去打开你的网站？你防住了爬虫，也防住了用户。流量没了，广告收入一样归零——只不过不是被Agent抢走的，是被自己关门的。

对Agent来说，野蛮爬取只会让整个行业陷入对抗。今天封你IP，明天上验证码，后天起诉你——谁都无法正常运作。

真正的出路不是墙，是门。

标准化的开放API和合理的利益分配机制，是唯一走得通的路。当数据流动有了规则、有了价格、有了信任，反爬系统才能从"防御武器"变成"流量管理工具"，Agent也才能从"爬虫"进化为"合规的用户代理"。

技术、商业、法律，三个维度同时推，一个都不能少。

互联网的本质是连接，不是封锁。忘了这个，谁都走不远。

延伸阅读

1. Computer Use：AI直接操作图形界面（GUI）的能力，由Anthropic于2024年10月率先推出，Google于2025年发布专用模型并于2026年原生集成进Gemini 3.5 Flash，Agent交互界面从API拓展到任何人类可用的软件

2. Cloudflare Shield：全球最大CDN服务商的Bot防御体系，2021年引入TLS指纹校验，2025年上线Shield Synapse模块（15ms内AI评分），2026年全面部署深度学习行为分析引擎，爬虫拦截率从89%提升至99.4%

3. 开放银行（Open Banking）：2015年欧盟PSD2指令要求银行开放客户数据，2023年欧盟《数据法案》（Data Act）确立数据提供方补偿请求权，中国2018年跟进推出API Bank

4. 数据二十条：2022年提出数据产权结构性分置制度，根据数据来源和生成特征分别界定各参与方合法权利，数据产权作为新型财产权区别于物权和知识产权

5. 数据可携带权：《个人信息保护法》规定用户有权将数据以标准格式导出转移，定性为人格权兼具财产权属性，核心价值是打破锁定效应

6. BrowserClaw：采用"快照+引用"模式的Agent反爬工具，将页面元素抽象为带编号文本快照，剥离视觉识别和元素定位两个最耗资源环节

7. 极验SVG动态验证：2026年推出的新一代验证技术，行为特征分析超过100维，自动化攻击降低比例高达55%

夜已深 人已静 码不易