夜雨聆风学习资料网

ARTICLE · 1392753

服务器的费用每个月可省几十美金:我做的插件再次被DSH收录了,长会话内存消耗降低10倍.

服务器的费用每个月可省几十美金:我做的插件再次被DSH收录了,长会话内存消耗降低10倍.

一个对话吃掉 1.2 GB 内存:我把它压到 82 MB

那天晚上我点开第二个对话,服务器当场就卡死了。

不是慢,是那种"鼠标还能动、但每动一下都要等两秒"的卡。我打开 btop 看了一眼:内存曲线贴着天花板,swap 在疯狂地进进出出。十分钟后它缓过来了,我也被教育了。

一台两核、不到 2 GB 内存、月付十二美元的云服务器。选它不是因为抠,是因为我只需要一个二十四小时开着的盒子:跑我的 agent,记住上下文,我不在的时候把活干了。前两周一切正常,直到我想同时开两个对话。

一、先别急着骂机器

我一开始也觉得是机器的锅。十二美元的机器,你还想怎样。

但数字不太对。一个会话,恢复的时候要吃掉 1.17 GB。不是跑久了涨上去的,是你点开它的那一下。

我量了一遍:那个会话的文件 68.6 MB,解开是 305 MB 的 JSONL,十万条事件。DSH 的加载方式很直接——整份读进来、解压、解析成对象、逐条冻结。这一步走完,内存站在 1.17 GB,耗时 3.5 秒。

而人眼在这一刻能看到的对话有多少?

437 个节点。折成文本 2.7 MB。占整个文件的百分之零点九。

也就是说,我每次点开一个对话,机器都把百分之九十九我永远不会再看第二遍的东西,完整地铺在了内存里。

你点开的不是一个对话,是一份完整的施工录像。

二、那百分之九十九是什么

我把日志按事件类型拆了一遍,结果有点好笑:

  • 51%
     是每条 assistant 消息挂着的逐字回放流(DSH 里叫 stream,记录模型一个字一个字吐出来的时序)。我从来没看过它,但它在文件里占了一半。
  • 四分之一是工具调用和返回值:读了哪些文件、跑了什么命令、返回了什么。
  • 剩下是消息本体、推理过程,以及已经被压缩折叠掉的旧历史。

真正构成"对话"的那部分,只有不到 3 MB。

三、改不动地基,就改它读的东西

最直接的办法是改 DSH 的持久化层:按天分片、懒加载、读多少算多少。

我试过,放弃了。原因是硬性的:DSH 恢复会话时要求事件从第 0 条开始连续,read(0) 一口气要全部,落盘格式也认这个连续性。你想只喂它最近三天,它当场判你不合法——不是它固执,是它整套事件模型(turn、step、工具调用配对、压缩折叠)都建立在这个前提上。

改这个前提等于改人家地基。我一个第三方插件,没这个资格。

所以我换了个思路:不改变它怎么读,改变它读什么。

DSH 每次压缩(你手动触发的,或者上下文到阈值自动触发的)都会在日志里留下一个"当前可见窗口",官方叫 surface。被折叠掉的东西本来就不在模型上下文里了,只是还躺在文件里。

那我就在"点开"这一下,把 surface 写成一份新的、合法的会话日志,原文件整份归档,让 DSH 自己去读那份小的。它读的还是自己的格式,走的还是自己的恢复路径,官方代码我一行没动。

四、结果

同一台机器,同一个会话:

之前
之后
会话文件
68.6 MB
82 KB
恢复耗时
3,492 ms
22 ms
恢复后内存
1,173 MB
82 MB
人可见消息
80 条
80 条,哈希不变

第一次触发会停一下:6.6 秒(另一台机器上 10.4 秒),因为要扫两遍三百兆的明文。这 6.6 秒跑在子进程里,峰值一百五十多兆,服务进程本身不涨。之后每次点开,只花一次文件查询的时间。

换到那台被我骂过的服务器上:服务进程的常驻内存从 1.2 GB 降到 513 MB,swap 从 870 MB 掉到 2.1 MB。同时开九个会话,整机内存稳在 750 到 860 MB,再没碰过天花板。

五、为什么值得写出来

因为省下来的不是内存,是钱。

同一份工作负载,之前需要一台内存大四到八倍的机器,现在一台两核 2 GB 的入门机型就能扛。云厂商不会因为你内存用得少给你打折,但它会按你买的那台机器收费——从"每月一两百美元起步的规格"降到"每月十二美元",这就是全部意义。

对个人开发者、对拿虚拟机跑 agent 的小团队,这个差别不是优化,是能不能长期开着的差别。

如果你也在小内存机器上跑 DSH,装起来就一行:

dsh plugin --profile web add dsh-session-slim

它已经在 DSH 社区插件目录里(Sessions & Messages 分类),代码 MIT 开源在 github.com/TuringCorp-net/dsh-session-slim。它会接管你点开会话的那一下,第一次慢几秒,之后都是秒开;原文件整份留在 archive/ 里,一条命令就能退回去。

所有数字都在仓库的 docs/RESULTS.md 里——机器、版本、测法、单次迁移的每一步耗时都写了。欢迎来对,也欢迎拿你自己的大会话来试。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料