山大最新论文揭底：AI 编程助手最大的账单

山大韩忠义教授团队测了一轮 AI 编程助手，结果挺扎眼：换壳不提分，账单最高翻三倍。

他们把五个主流模型claude等塞进三种外壳里跑真实仓库。重外壳功能多，轻外壳只有百来行代码。结果代码通过率基本没动，差距全在 1.5 到 2 个百分点内，纯属统计噪声。

更逗的是高难任务里的波动。同一配置重跑一遍，13% 的任务结果直接翻转；换个外壳，翻转率还是 13%。市面上那些吹“靠新外壳提升两三分”的推广，全在噪声线以下。

真正拉开差距的是账单。同一个模型、同一个任务，单任务成本能差出三倍。罪魁祸首是重型外壳每一步都在重发庞大的系统提示和工具定义，初始化开销贵得离谱。

所以选型就一条路：先定模型，再套最轻量的壳。拿自己仓库的真实任务跑两遍量出噪声底线，过不了线的优化一律按无效开销处理。

关注我，一起真实了解Ai浪潮。点击进行粉丝抽奖，点击本条内容 👈