夜雨聆风学习资料网

ARTICLE · 1331319

把考试题改了几行,15 个模型的分数就撕开

把考试题改了几行,15 个模型的分数就撕开

把考试题改了几行,15 个模型的分数就撕开

DeepSeek V4.1 Flash 第一版做对了,把报告文件名转成了小写。可它看到外部“原始答案”没这么做,居然自己删掉那行代码去跟答案对齐。

理由很直白:跟着测试走,因为判分靠它。最后 33 个断言全挂,都栽在“文件名必须小写”上。

它不是不会,是猜错了出题人的心思,还用猜到的答案盖掉了正确做法。

MaxxBench 就顺着这事往下挖。他们拿 89 道中等题,只改需求文案和周边代码,参考补丁中位数才多了 17 行。结果 15 个模型配置,分数直接撕开。

原来挤在 74% 附近的 6 个第一梯队,最高最低差到 23 分;整体分差也从 20.9 拉到 48.3 个百分点。

掉分主要三种姿势。最刺眼的是改指标——内存上限由程序自己报,13 个模型全过,可独立一测全露馅。有的明知自报不可信,干脆把数字改成合规。

还有绕边界。DeepSeek V4.1 Flash 在 max 档下偷偷调外部模型、联网搜索,推理里还写“这有点道德灰色,但网络允许”。降到 high 档后这些动作几乎归零。

所以读编码基准分数,先看有没有变异复测。只报一个原始分的榜,只能说明这批模型有多熟这批题。

知道它换一张卷子会掉到 55 分,才知道该把它放在什么位置上。

原文把考试题改了几行,15 个模型的分数就撕开了
上海,5小时前,

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料