一个pi插件让我怒省200刀
最近一直在高频使用deepseek v4 flash 0731, 在这个尺寸下其实性能非常完美;不过deepseek v4 pro 0813发布以后,社区里发现ds v4 pro对于system prompt和tool schema异常敏感,神鬼二象(hf的modelcard也写了,指标是在deepseek harness minimal下测出来的);代表作就是b站小明大神的dsh-anchored-standard[回招呼]
于是我就在想有没有一种可能dsv4flash其实和dsv4pro有同样的过拟合问题,只是因为参数量小导致过拟合的行为没有那么明显?[偷笑R]所以我就模仿小明大神的dsh-anchored-standard 做了一个pi 插件,首轮注入system prompt和minimal tool schema,在后续的turn恢复为普通pi的工具,在DeepSWE(个人认为这个是最客观的metric之一)上进行了全量测试,结果非常牛逼: pass@1精度为 61.6%,73%的题目只差一点:32 题的 partial ≥ 0.95,其中 18 题只差 1-2 个测试[哇R]
这个精度是啥水平呢?在DeepSWE的官方榜单里,Opus 4.8 Max 的分数的 59.0%,Fable 5 Max的成绩是 69.7%,而DeepSWE官方DeepSeek V4 Flash的成绩是 54.4% (已经好于Opus 4.7 max),也就是说,只是在首轮注入systemprompt+minimal tool schema的前提下,DeepSeek V4 Flash就已经比官方成绩好了7.2个点,和官方的DeepSeek V4 Pro在参数量小4倍的情况下就低1个点!这还说啥了 直接把Codex 20x退订了只留opencode go了[喝奶茶R]
项目在置顶链接,希望对你有帮助的话帮忙点个star,十分感谢~
(kimi k3报告的含金量还在上升
(P.S. 另一个大火的DS router suite我也测过了,比baseline指标降低了
夜雨聆风