夜雨聆风学习资料网

ARTICLE · 1387462

用 AI 编程助手太烧钱?微软这套插件不换模型省 30%

用 AI 编程助手太烧钱?微软这套插件不换模型省 30%

上周我把一个攒了好几年的老仓库交给 AI 编程助手,连着改了一周。看账单我发现一个问题,钱不是花在写代码上,是花在让它一遍遍重新认识这个仓库——同一条约定,它每次都要重新问一遍。

用 AI 编程助手的人大概都干过同一件事:换个更便宜的模型、换个套餐,指望账单好看一点。但真正烧钱的往往不是模型单价,而是 agent 每开一个会话都要把仓库重新摸一遍——测试命令是什么、哪个环境变量必须先设、上次为什么卡住,它全不记得。

一是它记不住这个仓库发生过什么;二是它手里工具太多,每次请求都得把一堆工具定义重新发一遍。前面那个让你重复付钱,后面那个让每次调用更贵。

TokenEconomizer 是微软研究院和 UC Berkeley 做的,专治这两类浪费——不换模型、不换 agent,只在旁边把该记的记下来、把没用的砍掉。

01|先搞清钱烧在哪:不是模型贵,是它每次都重新发现一遍

它把浪费分成三类,一类一个办法治。

micro-skills 记事实。同一个仓库里,测试命令到底是 dotnet test 还是 dotnet test --no-restore、某个环境变量必须提前设、构建步骤有先后——这些每开一个会话都要重新发现一遍。它把反复出现的失败和周期性回顾总结成一句话,连着三个会话都确认过,就固定下来。

tool pruning 砍工具定义。每加载一个工具,它的说明就跟着每一次请求发出去。连着几个会话都没用过的工具,下一轮直接拿掉,一条命令就能加回来。

loop guard 治死循环。同一个错误反复冒出来的时候,就让裁判模型判断是不是卡住了,够确定就塞一句「换个思路」,每轮最多一次——它不会强行把你的会话掐掉。

TokenEconomizer 用三个机制砍掉三类重复开销:记事实、砍工具、防死循环。

02|实测:不换模型不换 agent,成本降 18.4% 到 30.9%

官方附带的那份实现,在 SWE-Bench 上做了对照:五组 agent 和模型组合,平均成本降了 18.4%–30.9%。

30 个仓库与组合的格子里,全部更便宜,没有一格变贵。这个比平均值更实在——它不是靠某一组极端省出来的。

不过这个成绩得分开看。Pass@1 是四升一降,不是全升。掉的那组是 Opus 4.8,降了 1.0。

所以别一看省了三成就觉得赚大了。省钱归省钱,解决问题比例,两个都得盯着。

03|把"每次重新发现"变成"记一次事实"

这个思路也很容易理解,跟当年给构建系统做增量缓存是一个道理。

以前每次构建都从头编译,后来我们学会把"这次没变的文件"记下来,只重新编译改动的部分。省的不是编译器变快了,是不再重复干已经干过的事。

TokenEconomizer 干的是同一件事,只不过对象从编译产物换成了仓库事实。测试命令、环境变量、构建顺序——这些就是"这次没变的文件",agent 不该每次都重新发现一遍。

这个思路你也没必要装插件,自己就能试:列一张清单,写下你每次开新会话都要跟 agent 重复说的事实。先不装插件,光把这张清单贴进第一次会话,也能省掉一轮摸索。

04|它装在哪、什么时候不省钱

插件形式,支持 Claude Code、Codex、GitHub Copilot CLI 和 Pi。

它不是某个语言生态的东西,是加在你现有编码工具上的一层——你用 C#、Java 还是 Python,装法一样,它记的是你这个仓库的事实,不是某种语言的语法。

有几种情况它一时半会儿省不下来。头几个会话它还在学,省不出效果;判断卡住、提取事实都要额外调一次模型,走的是你自己的额度。它省的是 agent 在仓库里兜圈子的钱,代价是多花一点在"判断"上。所以别只看账单上少了一点,算总账才知道是真的省了,还是把钱挪了个地方。

• 装之前先确认你在用的工具在支持列表里• 头几个会话别下结论,等它学完再比• 把额外调用的模型额度算进成本

先别急着换便宜模型。微软试过:模型不动、agent 不动,光把仓库里反复要重新查的事记下来,成本就能降三成。

05|几个别当成万能的地方

头几个会话别指望省钱。它得先确认哪些事实稳定、哪些工具没用,这段时间是在投入,不是回报。

还有,Pass@1 有一组是往下掉的。Opus 4.8 那组掉了 1.0,所以更便宜不等于更好。你要是很在意它能不能一次把问题修对,就得拿自己的任务再比一遍。

另外,额外调用走的是你自己的额度。判断卡住、提事实都要调模型,这部分钱不在原 agent 的账单里,得单独算进去。

最后,那些数字来自官方实验,不是你的仓库。18.4%–30.9% 是 SWE-Bench 上五组组合的平均值,换到你自己的项目上,省多少就不好说了,得自己实践。

开源地址:https://github.com/microsoft/TokenEconomizer

写在最后

省 30%只是其中一个方面,我认为还不是最核心的。这个数字是官方里的平均值,换个仓库就变。

我认为最重要的是,不需要再反复重新认识你项目。AI 编程助手烧的钱,很大一块不是花在解题上,是花在反复重新认识你的项目上。换更便宜的模型解决不了这个,因为它每次还是要重新问一遍。

使用这个工具,要分两种情况。

一个人做项目的话:先别装插件,花十分钟列一张"每次开会话都要重说一遍"的事实清单,贴进第一次会话。能省多少,你马上能感觉到。真觉得有用,再装它,让它自动记。

带小团队的话:挑一个固定的仓库、一组固定的任务,装和不装各跑两周,对比 token 账单和解题率两个数字,别只看省钱。跑通了再铺开,别一上来就全员装。

至于要不要现在就换更便宜的模型——先做完上面这一步再说。很多情况下,你缺的不是更便宜的模型,是让 agent 记住这个仓库的办法。

- End -

点击下方公众号卡片,关注我

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料