夜雨聆风学习资料网

ARTICLE · 1380406

省 token 的插件先收你 4,694 过路费:billion-context 实测

省 token 的插件先收你 4,694 过路费:billion-context 实测

我把同一个请求发了两遍。

第一遍直接打上游,一次假的 Anthropic 接口,什么都不改。第二遍走 billion-context 的本地代理,端口 8788,配置里只改了 upstream 一行。

同一个请求体,10,599 字节,2,627 个 token。上游收到的不一样了:28,869 字节,7,321 个 token,多出 6 个工具,system 里多出一段 12,336 字的说明书。

那一段就是它的"压缩哲学"。

我不是来拆台的。这个项目 98 天攒了 6,400 多星,把一份四个半月的生产日志写成论文,随代码一起开源,工程密度是真的。但"省 token"这三个字,在它身上有个前提条件,而这个前提条件藏在一句 FAQ 里——第一次压缩要等到大约 20 万 token 才触发。

也就是说,在你真正需要它之前,它每一轮都在收过路费。我量了一下,过路费是 4,694 个 token。

先把结论摆出来

billion-context 不是省钱工具,是长会话保险。 它买的是"会话跑到 800 轮不撞墙",不是"每轮便宜一点"。短会话装它,净亏;长会话装它,赚的是不用重开会话的那部分隐形成本。

判断依据就一条:它的固定开销是每请求 4,694 token 起,而它省下的钱只在折叠真正发生之后才产生。折叠的触发线是增长 50K token(README 里 compress.nudgeGrowthTokens 的默认值),按我自己造的这个会话长度算,大概要 500 轮以上才碰得到。

这两个数字放在一起,答案很清楚:这是一把为马拉松准备的伞,不是日常通勤的雨衣。

它到底怎么做到的

要理解那 4,694 个 token 花在哪,得先看懂它在干什么。

折叠,不是截断

主流 CLI 的做法是阈值触发:上下文快到窗口上限,把全部历史总结成一个大块,塞回去,原文丢掉。丢完就没了,摘要写漏了细节你只能认。这就是所谓 /compact。

billion-context 换了个布局。它把上下文切成三段:

  • 头部
    :一摞可恢复的摘要块,按世代分层
  • 中间
    :被折叠掉的原文,不删除,只是"停用"
  • 尾部
    :最近约 5 万 token 的工作区,保持原文

它管这个叫 fold(折叠)。摘要块还分世代:tier-1 块总结一段消息区间,tier-1 攒多了折成 tier-2,tier-2 再折成 tier-3。论文里的实测比例是 tier-1 占常驻 92%、tier-2 占 7%、tier-3 不到 1%,但 tier-2 加 tier-3 只占 8% 的体积却承载了 37% 的历史内容。

这就是它能说"单个会话吃到几十亿 token"的原因:摘要本身也在被压缩,每层的保留率逐层衰减,总量涨得比线性慢。

为什么不是"换个更大的窗口"

最直接的反驳是:现在窗口都到 1M 了,我为什么要压缩?

论文里引了一项我觉得最有说服力的对照研究(Compaction Cliff):20 个生产配置下,一轮 /compact 式摘要之后,安全规则的存活率掉到 53%,五轮之后只剩 10%。这条曲线是几何衰减——每压一次,早期内容被再摘要一次,ρ^k,ρ 大约 0.4 到 0.6,四轮下来只剩 3% 到 13%。

这解释了一个很多人都遇到过的现象:会话跑到后面,AI 开始犯前面已经纠正过的错。不是它变笨了,是那些纠正记录在第三、第四次压缩时被压没了。

折叠的思路是让每条内容"一生只被折一次"。折完之后那块摘要就常驻不变,不再参与后续压缩(论文里的数据:1,711 个 tier-2 块中只有 60 个被再蒸馏)。这样留存率停在一个常数,而不是随轮数复合衰减。

换更大窗口解决的是"什么时候撞墙",折叠解决的是"撞墙之后还记不记得"。两件事。

它要模型自己动手

关键设计是:压缩不是引擎按百分比砍的,是模型自己决定压哪一段。

代理往对话里注入了 6 个工具。我抓包看了一遍,名字和 token 开销如下:

六个加起来 1,203 个 token,每一轮都要发。

光有工具不够,还要告诉模型"什么时候该用"。这就是那 12,336 字符的压缩哲学:两种失败模式(过压和欠压)、唯一判据("这段内容当前步骤还需要吗")、保护区规则、摘要的 KEEP/DROP 清单、以及摘要必须自包含到"后来者不需要原文也能接着干"。

它甚至在提示词里规定摘要要用过去时标注("TASK AS OF THIS BLOCK"),防止后来的模型把旧决定当成新指令去执行。这条细节让我对它多了几分信任——这是被真实事故教过的人才会写的规则。

引用标签:那 22 token/条从哪来

抓包里还有一处改动容易被忽略。代理给每条消息都套了个壳:

<acp tokens="18" type="text" time="2026-11-11 14:02:42">m00001</acp>

m00001 是引用号。有了它,模型才能说"把 m00004 到 m00120 折了",decompress 也才知道该恢复哪一段。

代价是每条消息多 20 来个 token。我测了四组不同长度的会话,多出来的开销从 4,694 涨到 9,338,涨的那部分基本就是这些壳。

前缀缓存:它最像样的一个设计

这块是真的讲究。我数了一下,代理发出的请求里有 4 个 cache_control 断点:一个在 system 末尾,另外三个滚动打在消息的第 20、40、80 条上。Anthropic 的硬上限就是 4 个,它一个不多一个不少。

更关键的是我做了个哈希对比:31 条、61 条、121 条、241 条四种会话长度下,注入进去的 system 块 SHA-256 全是 06ac2251——逐字节一致。

这一条值钱。因为前缀缓存是按"从头开始完全一致的片段"算的,只要这段注入的提示词每次都一样,它就永远命中缓存,按 1/10 的价格计费。反过来,如果插件每轮往 system 里塞点变化的东西(比如当前时间戳、当前用量),整个前缀就废了,缓存全价。

论文里把这个当成核心卖点:历史只追加,压缩只停用后缀区间,缓存前缀永不失效。生产数据是活跃节奏下缓存读占比 94.2%。

硬数据:我自己跑的和它自己报的

我测的(本机,2026-11-11)

M1 Pro / 16GB / Node 22.22.2 / billion-context 0.1.213。方法:写一个假上游(本地 HTTP 服务,只记录收到的请求体、回一个最小合法 SSE),同一个请求体分别直发和经代理,用 tiktoken 的 cl100k 编码器数 token。

241 条那一组的增量可以拆干净:system 注入 2,776、工具 1,203、消息外壳 5,359。加起来 9,338,一分不差。

注意 tiktoken 的 cl100k 是 OpenAI 的分词器,跟 Anthropic 的实际计数会有个位数百分比偏差。我没用 Anthropic 的 count_tokens 接口,因为那需要真 key。这里比的是"同一个请求在两种路径下的相对差",口径一致,结论不受影响。

它自己报的(论文 v0.2,随包发布在 paper/ 目录)

  • 4.5 个月、3 台宿主、174,327 次模型调用,累计输入 187.6 亿 token(新鲜 17.5 亿 + 缓存读 170.1 亿),三宿主合计约 247 亿
  • 4,843 个会话用了折叠,其中 917 个留有用量记录;最长马拉松会话 8,584–12,049 次调用
  • 每调用上下文:均值 88K、中位 72K、p99 218K(Pi 宿主,204,800 窗口)
  • 摘要输出中位 185 token,97.5% 不超过 2K;单块压缩比中位 7.9×,工具主导块中位 24×(p75 45×)
  • 计费 token 降 31–54%,探针得分持平,重读调用少 63%
  • 内核约 1 万行 TypeScript,550 多个测试

这些数字我无法复核,只能核对它们是否自洽。有一处不自洽值得说:README 头条写"省 5 倍 token",论文正文写"计费 token 降低 31–54%"。5 倍是 80% 降幅,54% 是 2.2 倍,两个口径差得不算小。论文里倒是老实交代了——"5×"指的是被折叠区间那部分的压缩比,不是账单。

而账单口径,另一位实测者(moyu-green,2026-11-10,Linux + pi + DeepSeek)给的数字更冷:回忆轮首个上游请求,开压缩 150,044 token,关压缩 146,683,比值 0.98 倍——开了反而多一点。他明确写了"没测出官方约 5 倍"。

跟我测的方向一致。他量的是真实模型跑长会话,我量的是脚手架本身,两条路径都指向同一件事:省的钱不在请求里,在"你本来要重开会话"这件事里。

实测细节:装、跑、踩坑

装

npm install -g billion-context --prefix=$HOME/.local # added 93 packages in 3s

三秒装完 93 个包,落地 166MB:dist 44MB(单个 bundle index.js 就有 6.0MB)、node_modules 120MB、论文 1MB。

一个"轻量代理"占了 166MB 磁盘,这个数字本身就是一个信号:它不是一个薄薄的中转层,是一个带 SQLite 存储、会话索引、归档 GC、Web UI 的完整系统。

跑

启动到健康检查通过 0.7 秒,常驻内存 138MB,空闲 CPU 0%。这个开销可以接受。

跑起来它自己会起 4 个后台巡检,每 180 秒一次:自动更新策略、公告、release 列表、通知。域名是 raw.githubusercontent.com 和 api.github.com。不算偷偷摸摸,日志里全写出来了,但"本地代理每 3 分钟往外发四次请求"这事儿,装之前你大概不会想到。

踩的坑

第一个坑:假上游 + 假模型,折叠那一步跑不出来。

我让它回一个真实的 compress 工具调用,参数写成 m00004–m00120 加一段摘要,再补上 tool_result 继续下一轮——上游收到的历史里,那段摘要原封不动还在,没有被折叠。

原因大概是折叠会话状态跟真实客户端的会话 id 绑着,我这个"手搓请求"没有那个身份。所以我这次验证的是脚手架(注入多少、稳定不稳定、缓存友好不友好),没有验证折叠本身。这个边界我得说明白:凡是文中说"压缩比 24×"之类的,都是它的生产数据,不是我跑出来的。

第二个坑:它会悄悄合并消息。

我发了 241 条消息,上游收到 161 条。查下来是把我"用户文字"和"紧跟着的工具结果"合并成了一条 user 消息——因为 Anthropic 接口要求角色交替,两个连续 user 必须合。这是对的,但如果你在数自己的消息条数做对照,会以为丢了 80 条。

第三个坑:它的配置项多到需要一本字典。CONFIGURATION.md 光是环境变量就 200 多个,从 BILI_CACHE_KEEPALIVE_INTERVAL_MS 到 BILI_GUARDRAIL_REPETITION_RECOVERY。默认值大多合理,但"默认值合理"和"你能说清它在干什么"是两件事。

第四个坑其实是"踩"出来的解释。我把消息丢了 80 条的事想通了:论文里写了内核是 9 阶段流水线——assign-refs(分配引用号)→ sync-blocks(切块)→ merge-blocks(合并可压区间)→ prune → filter → hide-compress-calls(隐藏压缩工具噪声)→ nudge-inject(注入压缩提示)→ emergency-truncate(兜底硬截断)→ render-refs(渲染带引用标签的消息)。

我观察到的三件事,正好对上三个阶段:引用标签来自 assign-refs 和 render-refs,消息合并来自 merge-blocks,12,336 字的说明书来自 nudge-inject。

有意思的是 hide-compress-calls 这一阶段在我的测试里没有生效——我手工塞进去的那条 compress 工具调用,原封不动出现在下一轮上游收到的历史里。按设计它应该被藏掉,免得模型看到自己上一轮的压缩动作占着位置。这可能又是因为我这条请求没有真实会话身份,不能算 bug,但值得记一笔。

泼冷水

第一,短会话是纯亏。 4,694 个 token 的入场费,在 2,627 的请求上就是 2.8 倍成本。它的 FAQ 自己承认:想更早压缩要"删减系统提示词、关闭不需要的工具、精简 skill,把 nudge 调到 50K 左右"。翻译一下——它也知道自己占地方。

第二,它依赖模型自律,而论文自己承认模型不自律。 原文写得很直白:恢复工具"在被明确指示时有效,但模型不会自己想起来调用"。也就是说 decompress 这个安全网,在真实使用中有很大概率没人去拉。摘要写漏了,模型不会回头查,它只会基于漏掉的摘要继续干。

第三,质量的证据链还差一环。 论文的受控实验用的是 qwen3.8-27b、温度 0、探针套件(作者自陈饱和度 85–95%)。作者在"局限"里列了七条,第一条是"单用户、观察性、无随机对照"。这不是黑它——能把局限写得这么老实的研究不多——但你得知道,那些漂亮的数字来自一个人四个月的自我观测。

第四,许可证不是纯 MIT。 LICENSE 在 MIT 之外加了一条署名条款:用在用户可见的产品上,要在首页或关于页注明用了 billion-context 并附链接。GitHub 识别成 NOASSERTION。公司内部用问题不大,做成产品卖之前让法务看一眼。

第五,迭代节奏快到不像生产软件。 我查了 npm:2026-08-05 建包,到今天 8,797 个版本号,平均一天 90 个。绝大多数是 PR 预览标签,但这说明它还在高频实验期。README 里专门维护着"严重缺陷公告"章节——这既是负责,也说明坑是真的有。

谁该装,怎么试

该装的:你有一个跑了几百轮、跨天甚至跨周的编码会话;你被"上下文满了只能重开"这件事伤过;你愿意花一个下午做 A/B 对照。

别碰的:你平时问一句答一句,会话不超过一小时;你在意每一个百分点的成本;你没有精力核对上游 usage。

试的方法我给一个:拿你真实的一个长任务,跑两遍——一遍裸跑,一遍挂 bili——然后只看上游返回的 usage 字段,不看插件自己的回执。插件说"省了 78,392 token"的时候,你要能自己验证上游收到的输入确实少了那么多。moyu-green 那篇实测的价值就在这:工具回执说压缩成功,上游计量说输入没降。

这也是我看完这个项目最大的感受:上下文压缩这个赛道,现在最缺的不是更多压缩算法,是让人能自己验证的计量。 它给了 acp_status 和 acp_cache,方向对了,但你仍然得自己拿上游的 usage 去对账。

工具是好工具。只是那句"省 5 倍 token",最好读成"在你已经跑了 500 轮之后,它可能替你省下不少"。

数据来源:本机实测 2026-11-11(M1 Pro/16GB/Node 22.22.2/billion-context 0.1.213,假上游抓包 + tiktoken cl100k 计数);生产数据引自包内 paper/模型驱动的分层增量压缩-免训练多代上下文管理.md(v0.2,2026-09-07);旁证引自 moyu-green《billion-context 实测:压缩开关输入比 0.98 倍》(2026-11-10)。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料