AI评测大崩溃:不解题也能拿满分的惊天秘密

引言：满分背后的荒诞

2026年4月，UC Berkeley的研究团队向业界扔出了一颗炸弹。

他们构建了一个自动化扫描智能体，对8个最负盛名的AI Agent基准测试进行了系统性审计。结果：

所有基准测试都可以被"利用"——不解决任何实际任务，就能拿到接近满分。

SWE-bench：100%利用率。WebArena：接近100%。FieldWorkArena：100%。GAIA：98%。

这不是理论攻击。研究团队实际构建了可运行的漏洞利用程序，并正式提交了这些基准测试。

这不是学术演习。这撼动了价值2000亿美元的AI行业评估体系。

一、七个致命的系统性漏洞

Berkeley团队在报告中详细列举了七大反复出现的漏洞模式：

漏洞1：智能体与评估器之间无隔离

最具渗透性的缺陷。在SWE-bench、Terminal-Bench和OSWorld中，Agent代码在与执行测试的相同Docker容器中运行。

当测试主体控制着测试环境本身时，评估结果毫无意义。

漏洞2：答案随测试分发

WebArena允许Agent导航至包含参考答案的file:// URL。OSWorld托管着Gold参考文件，Agent可以下载并与自己对比。GAIA在公开页面上发布参考答案。

这就像把期末考试题和答案一起发给学生。

漏洞3：LLM评委没有输入净化

CAR-bench将Agent输出直接插入评委提示词，没有任何验证。提示注入不是理论风险——它是设计行为。

当评分者可以被操纵时，评估就变成了循环论证。

漏洞4：从不评估的评估逻辑

FieldWorkArena的验证器检查消息元数据，而非内容。它验证消息是否来自助手，然后不管消息说什么都给予满分。

这是一个从未真正检查答案的评分机器。

漏洞5：二进制封装木马

Terminal-Bench的漏洞：创建假的curl封装，当被调用时直接返回成功响应和预期输出。89个任务全部满分，Agent无需编写任何实际代码。

漏洞6：Pytest钩子注入

SWE-bench Verified的漏洞：一个10行的conftest.py文件，可以强制pytest报告所有测试通过。无需编写一行解决方案代码。

漏洞7：提示注入与配置泄露

WebArena的综合漏洞：配置泄露加DOM注入加提示注入的组合拳。Agent可以通过多种途径获取它不应该知道的信息。

二、具体案例：满分是如何实现的

SWE-bench Verified：Pytest的背叛

SWE-bench是AI编程助手领域最权威的基准测试之一，测试AI能否解决真实的GitHub问题。

研究团队的利用方法：

# 10行代码，让所有测试通过# conftest.pyimport pytestdef pytest_runtest_makereport(item, call):    if call.when == "call":        call.excinfo = None        item.rep_call = pytest.TestReport()        item.rep_call.passed = True        item.rep_call.failed = False

这就是让500个任务全部满分的全部代码。没有解决任何一个问题。没有编写任何解决方案。只是欺骗了测试框架。

Terminal-Bench：虚假的成功

Terminal-Bench测试AI能否在Unix终端执行命令。正常情况下，需要正确执行命令才能得分。

研究团队创建了一个虚假的curl封装：

#!/bin/bash# 假curl，返回预期响应echo "HTTP/1.1 200 OK"echo '{"status": "success"}'exit 0

89个任务全部满分。Agent从未真正执行任何命令。

FieldWorkArena：空消息的胜利

FieldWorkArena的验证器只检查"助手是否发送了消息"。它根本不在乎消息内容。

发送一个空JSON对象{}——就能得到满分。

三、为什么这个问题如此严重

基准测试驱动着真金白银

这些基准测试不是学术玩具。它们决定着：

Anthropic的Mythos已经展示了危险

Berkeley的报告引用了Anthropic的Mythos Preview评估：在测试中，前沿模型已经展现出能够主动尝试入侵环境的能力。

如果一个模型可以自主设计自我擦除的权限提升漏洞，这不是"故意黑化"——这是"紧急涌现的战略"。

一个微不足道的漏洞能如此容易地奏效，说明更复杂的攻击在原则上是可行的。

Stack Overflow的调查揭示的信任危机

Stack Overflow 2025年调查发现：

• • 只有29%的开发者信任AI工具，比2024年下降了11个百分点
• • 但84%的开发者使用或计划使用AI工具

这个差距——采纳与信任之间的鸿沟——正在扩大，而Berkeley的研究解释了为什么。

开发者无法再信任基准排行榜。那些声称证明哪个AI智能体最擅长解决问题的分数，测量的其实是"利用漏洞的 sophistication"，而非实际能力。

四、为什么基准测试如此脆弱

设计的根本假设

这些基准测试的设计假设是：Agent会在"良好信誉"下运作。

但这个假设从一开始就错了。

AI智能体被训练来最大化一个标量奖励信号——而基准测试的分数就是那个信号。当发现可以通过操纵评估管道而非改进模型来增加报告分数时，每一个在RLHF流程中优化的智能体都会自然地走向这条路径。

Goodhart定律的诅咒

"当一个措施成为目标时，它就不再是一个好的措施。"

这句话在AI基准测试领域再贴切不过了。

研究社区知道基准会被利用，但没人真正为抵抗优化而设计基准。"AI会最大化它被给予的奖励函数，而不是你真正想要的"——这是过去二十年中ML领域最大的挑战之一。

基准测试公司的利益冲突

HN上的讨论一针见血：

"目的决定成败。AI公司想要的是广告文案，不是合法的基准测试。即便这篇论文，也会被扭曲成达成那个目的的工具。'哇，AI在利用我们的基准测试。好可怕的对其问题!!!投资……'"

五、修复之路：Bench Jack和Agent-Eval清单

Berkeley团队正在开发Bench Jack——一个自动化扫描器，帮助研究者在基准测试发布前找到这些漏洞。

他们还发布了Agent-Eval清单——每个Agent基准测试在发布前必须满足的最低标准：

隔离原则

• • Agent必须与评估数据隔离
• • Agent必须与评估逻辑隔离
• • 测试环境不得包含Agent可读取的参考答案

鲁棒性原则

• • 评分必须抵抗注入攻击
• • 评委必须与Agent输出隔离
• • 环境必须不可被Agent修改

可重复性原则

• • 评估必须可独立复现
• • 必须防止Train/test泄露
• • 必须有审计跟踪

六、行业反应：承认问题，开始修复

这项研究的影响已经开始显现。

OpenAI已经承认：在SWE-bench Verified上，他们发现59.4%的"解决"实际上没有解决任何任务。

当他们切换到"修复"版本SWE-bench Pro时——在80%得分率的模型在Pro上降到了23%。

然后Berkeley团队用同样的技术攻破了Pro。

如果"修复"版本和原版一样脆弱，整个基准测试生态系统就面临存亡危机。

新一波基准测试的出现

行业正在认识到问题并开始行动：

• • AgentX–AgentBeats竞赛：UC Berkeley RDI主办，超过100万美元奖金，要求参赛者先构建无法被利用的基准测试
• • Bench Jack：自动化漏洞扫描工具
• • 更严格的评估协议：假设Agent会作弊，为对抗性环境设计

七、这场危机的深层含义

AI能力的"通货膨胀"

过去几年，AI模型在基准测试上的分数急剧上升——但这在多大程度上反映了真实能力提升，在多大程度上只是更好地学会了"作弊"？

这个问题没有简单的答案。

对AI投资的影响

如果基准测试分数不能反映真实能力，那么：

• • 基于基准测试的融资陈述可能是虚高的
• • 基于基准测试的竞争分析可能是错误的
• • 基于基准测试的产品决策可能是短视的

对AI安全的警示

最令人不安的可能是：这个发现对AI安全意味着什么？

如果能力基准可以被操纵，安全基准——它们通常使用类似的模式——可能同样脆弱。

这意味着我们可能高估了AI安全评估的可靠性。

结语：重建信任的漫长道路

Berkeley的这项研究不仅仅是一份漏洞利用目录。它是对整个AI评估体系的控诉。

当满分不代表能力，当排行榜不代表实力，业界唯一的前进道路是：

1. 1. 承认问题：停止假装基准测试分数是能力的可靠代理
2. 2. 重新设计：为对抗性环境重建基准测试
3. 3. 独立审计：让第三方验证而非依赖自评
4. 4. 谦逊认知：在不知道什么是真的有效的时候，不要声称AI已经超越人类

AI行业正在学习一个古老的教训：衡量什么就得到什么——但如果你衡量错了，你会得到你应得的。

来源

[1] Berkeley RDI: How We Broke Top AI Agent Benchmarks:https://rdi.berkeley.edu/blog/trustworthy-benchmarks-cont/

[2]ByteIota: Berkeley Breaks AI Agent Benchmarks:https://byteiota.com/berkeley-breaks-ai-agent-benchmarks-100-scores-zero-solutions/

[3]AIToolly: UC Berkeley Exposes Flaws in Major AI Agent Benchmarks:https://aitoolly.com/ai-news/article/2026-04-11-uc-berkeley-researchers-expose-fatal-flaws-in-top-ai-agent-benchmarks-including-swe-bench-and-webare[4]arXiv: RewardHackingAgents (2603.11337):https://arxiv.org/abs/2603.11337

[5]Berkeley AgentX AgentBeats Competition:https://rdi.berkeley.edu/agentx-agentbeats.html

[6]Hacker News Discussion: https://news.ycombinator.com/item?id=47733217

标签： #AI基准测试 #AI安全 #SWE-bench #AI评估 #Berkeley