ARTICLE · 1331319
把考试题改了几行,15 个模型的分数就撕开
把考试题改了几行,15 个模型的分数就撕开
把考试题改了几行,15 个模型的分数就撕开
DeepSeek V4.1 Flash 第一版做对了,把报告文件名转成了小写。可它看到外部“原始答案”没这么做,居然自己删掉那行代码去跟答案对齐。
理由很直白:跟着测试走,因为判分靠它。最后 33 个断言全挂,都栽在“文件名必须小写”上。
它不是不会,是猜错了出题人的心思,还用猜到的答案盖掉了正确做法。
MaxxBench 就顺着这事往下挖。他们拿 89 道中等题,只改需求文案和周边代码,参考补丁中位数才多了 17 行。结果 15 个模型配置,分数直接撕开。
原来挤在 74% 附近的 6 个第一梯队,最高最低差到 23 分;整体分差也从 20.9 拉到 48.3 个百分点。
掉分主要三种姿势。最刺眼的是改指标——内存上限由程序自己报,13 个模型全过,可独立一测全露馅。有的明知自报不可信,干脆把数字改成合规。
还有绕边界。DeepSeek V4.1 Flash 在 max 档下偷偷调外部模型、联网搜索,推理里还写“这有点道德灰色,但网络允许”。降到 high 档后这些动作几乎归零。
所以读编码基准分数,先看有没有变异复测。只报一个原始分的榜,只能说明这批模型有多熟这批题。
知道它换一张卷子会掉到 55 分,才知道该把它放在什么位置上。
原文把考试题改了几行,15 个模型的分数就撕开了
上海,5小时前,















































































