ARTICLE · 1394219
嫌Token太贵?微软这开源插件直接砍掉 31% 用量
让 AI 改一个 Bug,最烦的是什么?它先找半天文件,试错几次测试命令,好不容易开始改代码,又对着同一个报错来回折腾。你看着终端一直在动,以为快修好了,最后发现:问题还在,额度先没了。这笔钱,未必都花在了“写代码”上。
10 月底,微软研究院、微软安全团队联合 UC Berkeley 开源了一个叫 TokenEconomizer 的插件(Apache 2.0 协议,目前在 GitHub 上已经拿到 6000 多 Star)。它既不改模型权重,也不改 Agent 本体的源码,直接作为外部插件挂在 Claude Code、Codex 或 Copilot CLI 旁边,就能把平均账单砍掉 18.4% 到 30.9%。其中省得最多的,恰恰是之前被抱怨太贵的 Claude Code + Opus 4.8 组合,直接降了 30.9%。
这群研究者在动手之前做的一轮排查——他们顺着 API 账单把终端 Agent 的调用日志做了详细分析,发现了一些反常识的现象:很多开发者觉得自己在省 Token,实际上花的钱反而更多。
📌 本文看点
01
Token 烧在哪了
02
为何越省越贵
03
三招砍掉三成 Token
WHERE MONEY BURNS
Token到底烧在了哪?
平时用 AI一问一答,成本是线性的,但终端里的 Coding Agent 是个多轮状态机。每一次它调用工具读文件、跑单测,再把报错吞回去思考,发给云端的请求都会重新携带:系统提示词 + 全部已加载的工具 Schema + 到当前为止的完整对话历史。即便有 Prompt 压缩给重复前缀打折,只要对话轮次稍微拉长,上下文开销还是会像滚雪球一样膨胀。
研究团队用原生的 Claude Code(配 Opus 4.8)在 6 个开源仓库上跑了 60 个 SWE-Bench 修 Bug 任务,把日志扒出来统计了一遍,发现钱主要漏在三个地方:
跨会话的重复试错
你每天都在同一个业务仓库里干活,但 Agent 每次新开会话都像第一天入职。统计显示,当一个仓库积累过 5 个以上历史任务后,后续任务里居然有 30% 的工具调用是在重复之前早就在这个仓库做过的动作(而在不同仓库之间,这个比例只有 7%)。最典型的就是测试命令:每次进来先 blind-run 一遍 pytest,报错找不着命令,再摸索着换成 python -m pytest 或者项目自己的脚本,白白多转两三轮。
用不上的工具定义陪跑
测试环境里每次请求都会把 23 个工具的 JSON Schema 塞进上下文一起计费,但其中 16 个工具从头到尾一次都没被调过,真正干活的其实就那 3 个核心工具,包揽了 98% 的调用。如果你本地挂了一堆平时顺手装上的 MCP Server,哪怕根本没用到,它们的说明书也在每一轮对话里默默烧你的钱。
失败任务拉爆整体开销
数据显示,那 17% 最终没跑通的任务,花掉了总支出的 32%。Agent 一旦在某个 Bug 上钻了牛角尖,就会陷入“改两行 -> 跑单测报错 -> 再微调 -> 再报错”的死循环,而且越到后面上下文越长,每一轮空转都在烧最贵的上下文。
WHY IT BACKFIRES
为什么很多“省 Token”手段反而更费钱?
看到这些痛点,正常的工程直觉往往是两招:要么把模型思考深度(Reasoning Effort)调低点;要么装个社区的上下文压缩工具,比如压缩终端输出的 RTK、提供 AST 符号跳转的 Serena,或者像 Aider RepoMap 那样塞一份精简的代码结构图。
TokenEconomizer 团队把这些方案全拉到同一套基准上测了一遍。先说调低思考深度:把 Effort 从高降到 Medium 或 Low,账单确实能降(分别省 16.8%–28.9% 和 31.0%–45.5%),但任务一次通过率(Pass@1)全线下跌 1.8 到 10.3 个百分点。代码没写对,最后还得人肉返工,这方法没意义。
为什么局部省了字符,总账单反而变贵?背后其实就两个工程原因:
丢了关键信息,或者加了固定前缀,都会拉长轮次。RepoMap 会把最多 2048 个 Token 的代码地图塞进系统提示词,这意味着接下来每一轮对话都要为这 2048 个 Token 买单;Serena 会额外多塞一套 MCP 工具 Schema;至于压缩命令行输出,一旦不小心把某条关键的堆栈报错裁掉了,Agent 定位不到问题,就得多花两三轮去重新排查,省的那点输出 Token 根本兜不住多跑一轮的上下文成本。
打断了 Prompt Cache。现在的 API 计费非常依赖缓存命中。如果你在对话中途动态删改提示词、增减工具列表,前缀哈希一对不上,缓存直接失效,整段几十 K 的历史记录下一轮就得按昂贵的全价未缓存 Input 重新写入一遍。
「省 Token 这件事,没法靠“一刀切”的静态策略,得按仓库分别学,而且必须把缓存规则算进去。」
这也是为什么固定规则的压缩插件很难通吃所有项目。
THREE THINGS
TokenEconomizer 做了三件很克制的事
TokenEconomizer 的实现非常朴素,核心代码就是一套纯 Python 标准库写的本地控制器,不需要 GPU,也不用额外配 API Key,学到的经验全存在你本机的目录里。它把 Agent 当黑盒,只靠原生 Hook 和本地配置文件在每次会话结束后更新策略,一共做了三件事:
1. Micro-skills(只记真正管用的一行经验)
它不会把几千字的仓库文档全塞进上下文,而是回头翻看之前的会话日志,提炼出一行字的实操事实。
论文里举的 SymPy 例子很直观:默认情况下,Claude Code 进到 SymPy 会先盲试 pytest,报错后再去找替代命令,前前后后折腾 15 轮才修完。而控制器从历史成功记录里提取出一条经验:“除 pytest 外,该项目可用 python -c "import sympy; sympy.test(...)" 运行测试”。下次开局直接带过去,Agent 第一轮就跑对了测试,11 轮直接结束。
2. Tool Pruning(给工具栏瘦身,还专门卡了 60 分钟延迟)
对于 Read、Write、Edit、Bash 这些核心读写和终端工具,插件永远不会动。但对于其他外围工具或第三方 MCP,它会默默统计调用次数。只要某个工具在至少 2 个会话里连续 10 次 Prompt(或者连续 5 个会话)都没露过脸,插件就会把它拉入当前仓库的禁用名单。
在 Django 仓库上,屏蔽掉 19 个僵尸工具后,首轮请求的 Prompt Token 直接从 43,351 降到了 16,295。如果不小心剪错了,一条命令就能恢复并且以后不再碰它。
!懂行的工程细节 🕳
它检测到某个工具该删之后,不会立刻去改配置,而是故意等这个仓库静默超过 60 分钟才写入禁用列表(同时把本地配置文件路径顺手写进 .git/info/exclude,不弄脏你的 git status)。原因就是前面提到的 Prompt Cache——趁着你连续干活时改工具列表会立刻击穿缓存,反而是等云端缓存自然过期了再动手,才能稳稳吃到瘦身红利。
3. Failure-Loop Intervention(卡死时推一把,不行就叫停)
控制器会根据某个仓库历史成功任务的步数,动态算一个正常的轮次范围。如果当前任务反复报同一个错、或者对着同一块代码来回改却过不了测试,轻量规则会先报警,再让一个很小的裁判模型(Judge Model)做一次确认(置信度门槛 0.7)。确认陷入死循环后,它会在回合间隙往里塞一句转向提示,建议换个思路;如果还是绕不出来,插件不会替你强行杀进程,而是直接在终端弹窗提醒你:真卡死了,按 Esc 止损吧。
能省多少 Token?
论文里的评测口径比较老实:采用 Cache-Aware Cost(缓存感知成本),缓存读取按折后价算,插件自己跑分析和当裁判花的 Token 也全算进对应任务的账里。
在这个口径下,跑完 277 个 SWE-Bench 任务、横跨 5 种主流 Agent 与模型组合的结果是:
Claude Code + Opus 4.8
平均成本 -30.9%(和 RTK 叠加能到 -33.2%),Pass@1 微降 1.0 个百分点。
Claude Code + Sonnet 5
成本 -23.6%,Pass@1 反而从 74.7% 涨到了 76.0%。
Codex + GPT-5.6 Terra / Sol
分别省了 24.7% 和 26.1%,成功率小幅上升。
GitHub Copilot CLI + Sonnet 5
省了 18.4%,成功率同样小幅上升。
拉通 30 个“仓库 × 模型”格子,没有任何一个格子出现涨价;换到需要多轮搭建完整前端应用的 Web-Bench(102 个任务)上,也能省 16.0% 到 21.2%。
GET STARTED
简单上手
如果想拿自己的项目试试,安装只需要几步(Python 3.10+),以 Claude Code 为例:
# 克隆后注意保留目录,不要删
git clone https://github.com/microsoft/TokenEconomizer.git
claude plugin marketplace add "$PWD/TokenEconomizer"
claude plugin install tokeneconomizer@tokeneconomizer
进到目标代码仓库启动 claude,跑两行初始化命令就能看到面板(Codex 用户把前缀 / 换成 $;临时想绕过插件用 TE_DISABLE=1 claude 启动;恢复被禁用的工具跑 /tokeneconomizer:toolprune restore):
/tokeneconomizer:status
/tokeneconomizer:toolprune refresh-catalog
不过在指望它立竿见影之前,结合社区实测反馈,有四件事最好提前心里有数:
第一,它默认把 Micro-skills 关了。刚装好时,只有“工具裁剪”和“死循环提醒”是开着的。官方这么做有两个很现实的考量:一是提炼微技能需要定期跑分析模型,会吃掉你自己的额度;二是安全团队防着提示词注入——万一你拉了一个不信任的第三方仓库,里面恶意构造的命令输出被浓缩进持久化记忆里,后面每次对话都会中招。所以,建议只对你完全信任、每天泡在里面的 2~3 个主力仓库手动开启:/tokeneconomizer:config set microskills=on(如果连分析模型的 Token 也不想花,可以设为 envfacts,只靠零模型开销的规则提炼环境事实)。
第二,前 5 个任务不仅不省钱,可能还略贵一点。控制器刚进一个新仓库时什么样本都没有,既要分析又要攒验证次数,通常得熬过前 5 个任务,从第 6 个任务左右才开始稳定回本。那些看一眼就删的一次性小仓库,完全没必要用它(论文里每次都换新仓库的安全审计基准上,降幅就掉到了 6.4%–19.6%)。
第三,模型和客户端本身也在进化。论文里 30.9% 的高点是在默认高思考强度的 Opus 4.8 上跑出来的。到了更新的模型(比如 Opus 5.5 默认思考强度降到 Medium、缓存读取价格进一步下调),再加上新版 Claude Code 自身也在做工具延迟加载,原生浪费的空间本来就变小了,实际体感降幅大概率会温和一些。如果你用的是 Claude Pro/Max 这类包月订阅,装上它不会少扣你的月费,但它能帮你把每 5 小时或每周的 Rate Limit 额度撑出 20% 到 30% 的余量。
第四,不确定有没有用,可以先拿自带的 te probe 测一下。仓库里附带了一个本地探针命令,能跑一遍 8 轮模拟任务流,按真实缓存计费口径给你打出一份前后对比账单,省得被模糊的“压缩率”数字带偏。
THE END
写在最后
TokenEconomizer 更值得关注的,是它给 Coding Agent 外挂了一套能持续积累的项目经验库:测试该怎么跑、哪些工具用得上、什么情况下容易陷入无效重试。这些原本散落在会话日志里的经验,经过提炼和验证,变成下一次开工时可以直接用的依据。模型本身没有因此学会这个项目,但围绕它工作的系统,开始有了记性。
对长期维护代码的团队来说,这意味着每次任务结束后,除了留下代码,还有机会留下一点能降低后续成本的经验。随着项目推进,Agent 可以少交一些重复试错的学费,人也少做一些重复解释。AI 逐渐接近一个熟悉项目的同事,靠的正是这些能够积累、复用和更新的工作经验。
GitHub 仓库:https://github.com/microsoft/TokenEconomizer
论文地址:https://arxiv.org/abs/2610.22732
我是 学徒小黑,热衷于分享 AI 和工业软件观察。
如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。














































































