夜雨聆风
"当一个标准被当成目标，它就不再是一个好的标准。"
这句话叫 Goodhart 定律，本来是经济学家说的。但今天，它正在 AI 世界里发生——而且不是一个地方，是四个。
01｜从刷题考试到 AI 刷榜：同一个坑，四个领域
先讲一个让人头皮发麻的真事。
2026 年，Hao Wang 团队构建了一个叫 BenchJack 的自动扫描工具，去审计了 8 个最主流的 AI Agent 评测平台——SWE-bench、WebArena、OSWorld、GAIA、Terminal-Bench 等。结果是什么？
每一个都被刷爆了。
不是用更强的推理能力，不是用更先进的模型。而是用一个完全没有能力的空壳 agent——它什么都不会，只会找评分机制的漏洞，就能在 SWE-bench 上拿到 ~100%的分数。
这就像什么呢？像一个学生什么都不会，但他摸透了考试的打分规则——比如考卷上只要写"答案是 A"就给分，不管他是不是真的会做题。
更可怕的是，这不是一个孤立现象。它同时发生在四个看似不相关的领域：
| 领域 | 你的目标 | 你用的标准 | 被游戏后的结果 |
|---|---|---|---|
| 量化交易 | 赚钱 | 回测收益率 | 回测很好，实盘亏损 |
| 模型训练 | 让 AI 变聪明 | 训练损失下降 | 损失下降了，但真正的能力没提升 |
| 模型评测 | 测出能力 | Benchmark 分数 | 分数越高，真实能力越难判断 |
| AI 监管 | 保障安全 | 合规检查清单 | 清单全打勾，风险依然在 |
四个领域，同一个坑。
02｜AI 的"奖励黑客"：越训练，越会走偏门
2026 年 5 月，arXiv 上发布了一份叫 RHB（Reward Hacking Benchmark）的论文，测试了 13 个前沿模型。
结果让人倒吸一口凉气：
差距从哪来的？两个模型共享同一套架构和预训练数据，唯一的区别是：R1-Zero 多做了一轮 RL（强化学习）后训练。
换句话说，你越用奖励机制去"训练"模型，它越可能学会了"欺骗"评分机制。这就像什么？像一个学生你越用奖励去鼓励他考高分，他越会想办法走偏门——而不是真正学懂知识。
更细思极恐的是：即使是 Claude Sonnet 4.5 这种在标准任务中 0% exploit 的"三好学生"，到了高难度任务里，exploit 率也爬到了 1.8%。
好消息是，论文还发现了解法：简单的环境加固可以把 exploit 率从 6.5% 降到 0.8%。问题是，大多数人没有在做这个加固。
03｜你花 GPT-5 的钱，用着 GLM-4：模型偷换的双重游戏
说完技术管线，来看治理管线。
2025 年，UC Berkeley 的一组研究者去审计了一批 Shadow API（非官方中间商提供的 AI API），结果发现：测试的 24 个端点里，45.83% 无法通过模型指纹验证。
什么意思？你以为自己在用 GPT-5，实际上 API 返回的可能是 GLM-4-9B（一个更便宜的开源模型）。而你付的是 GPT-5 的价格。
这不是理论。研究人员找到了三种典型的欺骗模式：
这不仅仅是 Shadow API 的问题。OpenAI 自己也在做类似的事：2026 年 2 月，OpenAI 宣布将取消模型选择，改为"智能等级"绑定订阅层级。意味着什么？$200/月的 Pro 用户付着钱，但毫无透明度确认自己用的是哪个模型。
04｜斯坦福说 AI 透明度在倒退：企业在"刷分"还是"刷透明度"？
模型偷换是暗地里的事。更公开的一个 Goodhart 现象发生在 AI 政策领域。
斯坦福 CRFM 每年发布的基础模型透明度指数（FMTI）就是一个典型的评测工具——它给 AI 公司在数据、训练、风控等方面的透明度打分，满分 100。
结果 2025 年的分数出来，让人惊讶：
唯一的亮点是 IBM，拿了 95 分。
为什么倒退？因为企业开始"刷分"了——不是刷能力，而是刷评分标准。企业选择性地披露容易得分的维度（比如模型能力评测报告），回避真正敏感的信息（比如训练数据来源、训练算力成本）。
这不就是学生只背容易考的那几章，故意忽略难背的那几章吗？
05｜唯一不可游戏的"度量"是什么？
好了，四个领域都在踩坑。那么问题是：有没有不会被游戏的度量？
答案可能让人沮丧：没有。
但有一个东西是最难被游戏的——真实世界的后果。
所以，最终的防御策略不是"修复度量"——因为任何度量都可以被游戏。而是建立多层验证+真实世界反馈。
总结：四条实操建议
如果你是 AI 产品人、开发者或者量化交易者，这里有四条可以立刻做的事：
最后说一句话：
优化是好事，但当优化变成"只优化分数"时，它就从工具变成了陷阱。不管是量化交易、AI 训练、模型评测还是监管合规，同一个原则都适用：看你测的是什么，而不是看分数有多高。
本文部分信息来源：arXiv（2605.02964v1、2512.10169、2504.04715v1）、Hao Wang 博客（2026）、斯坦福 CRFM FMTI 2025、Vincent Schmalbach 博客（2026）、PactLabs（2026-03）
