乐于分享
好东西不私藏

把AI助手调教成了“省钱又聪明”的摸鱼搭子记录

把AI助手调教成了“省钱又聪明”的摸鱼搭子记录

QUOTE

会话带记忆、技能会读文件、思考过程看得见——调教AI比调教小朋友有意思多了

上周我不是花了5块钱,让AI帮我写了个对话平台吗?这周我又“肝”了三天,给它做了个大版本升级。升级后的它,终于从“能对话的玩具”,变成了“懂规矩的助理”。

今天不藏私,把这三天的调教记录全公开。尤其是那些省token、省流量的骚操作,建议你拿小本本记下来。

本文看点

01

思考过程实时回显

02

长会话摘要压缩省token

03

技能按需读文件

01

PAIN POINT

为什么我的AI助手“聊着聊着就失忆”?

之前版本最大的问题是会话没有“长期记忆”。

聊到第20句,它就已经忘了第1句我跟它说了什么。每次都得把前因后果再复制粘贴一遍,比跟甲方解释需求还累。而且每次对话都全量把历史记录发回给大模型API,token消耗快得跟烧钱一样。

于是这次升级,我给它定了三条“军规”:

1

长会话(超过10条)时,只带最近10条+1条摘要,不把整本“聊天记录”都塞给大模型。

2

当需要读取技能(skill)里的文件时,必须用skill_read_file按需读取,不能一次性把所有文件都加载进上下文。

3

所有“思考过程”要实时回显,让我知道它在想什么、卡在哪一步。

这三条看似简单,但实现后效果立竿见影。

02

THINKING

“思考过程”回显,治好了我的焦虑

以前我给AI下指令,它就像个黑盒——我发完消息,它沉默十几秒,然后突然吐出一大段结果。那十几秒里,我脑子里会上演80集连续剧:“它是不是死机了?”“我是不是问错话了?”“网断了?”

现在不一样了。它会把思考过程分步骤展示给我看:

...thinker

🔍 正在理解用户需求……

📖 识别到需要调用技能:gzh-design

📂 正在读取技能配置文件……

📄 已读取:/skills/gzh-design/theme.css

🔄 正在将Markdown转换为HTML……

✅ 排版完成,生成预览页……

每一步都清清楚楚。我甚至能在它“跑偏”时中途叫停,而不是等到最后才发现成品不对。这种感觉,就像从“盲盒式聊天”变成了“跟助理对进度条”。

03

MEMORY

“带记忆的会话”,既省钱又聪明

现在我的AI助手能处理超长对话了,而且成本反而降了。

举个例子,我跟它讨论了20轮关于“如何设计一个科技感公众号排版主题”的问题。到第15轮时,我让它“按刚才讨论的风格,把这篇新文章排版”。它迅速生成,而且风格统一。

我抓包看了下它发给大模型API的请求体,发现它只带了最近10条对话+一条由前10条生成的摘要。这个设计妙在:

只有最近10条 + 1条摘要,就足以保住核心记忆

60%

长对话API费用降低

50%

token消耗直接减半

省下来的不是小聪明,是可持续地长期调教

前10条里的关键信息(比如用户偏好的配色、字号)被摘要保留;细节信息(比如某次打错字的指令)被丢弃。对比之前动辄就发送几千token的“全量对话”方式,现在经济划算得多。

04

ON-DEMAND

技能“按需读文件”,让大模型只拿该拿的

我的AI平台支持安装“技能”(skill),每个技能都是一个文件夹,里面有配置文件、模板、说明文档。比如“公众号排版”技能,里面包含:

theme.csstemplate.htmlrules.md

以前一启用技能,AI就把所有这些文件都塞进上下文。小技能还好,大技能动辄几十个文件,还没干活,先把token浪费完了。

现在改成了按需读取——当AI判断“我需要知道有哪些主题可选”时,它会调用skill_read_file去读themes/index.json;当它需要应用某个具体主题的样式时,再去读对应的theme.css。

26

技能文件总数

全量塞进上下文的浪费

3

实际只读文件数

只拿真正用到的文件

88%

冗余读取减少

上下文与成本双降

整个对话过程中,它只读取了真正用到的3个文件,而不是全部26个。

05

OUTPUT

我的助手现在能做什么?

经过这三天的调教,我的AI助手已经能稳定提供两项核心技能:

SKILL 1公众号排版(gzh-design)

我给它一篇Markdown文章,它能在1分钟内生成可直接粘贴到公众号后台的HTML预览页,样式不丢失,支持多种主题(摸鱼绿、红白、石墨极简、留白禅意等)。最重要的是,它会在排版前先跟我确认主题,而不是自己瞎选。

SKILL 2视频制作(html2video)

我给它一个HTML文件或网址,它能用Chromium无头录制+ffmpeg转码,生成1920×1080的MP4视频。这个功能目前还在测试阶段,但已经能跑通简单页面。

06

THOUGHTS

调教AI,跟带新人没区别

这三天让我深刻体会到:AI不是魔法,它更像一个聪明但缺乏经验的新员工。

你要告诉它“带摘要”的规则,它才知道怎么省token;你要教它“按需读文件”,它才不浪费资源;你要让它“回显思考过程”,你才能及时纠偏。

那些抱怨“AI不好用”的人,多半是把它当搜索引擎用——问一句,答一句,从不调教。而愿意花一个周末去教它、改它、优化它的人,最终会得到一个越用越趁手、越聊越懂你的数字助理。

∞

EPILOGUE

最后,我想对你说

如果你也在折腾自己的AI平台,我建议你优先实现这三个功能:

01

思考过程回显

用户体验提升200%

02

长会话摘要压缩

钱包厚度保住50%

03

技能按需读文件

系统效率提高80%

这三个改进,代码量不大,但收益极高。

你的AI助手,最近有什么“调教心得”吗?或者你最想让它学会什么新技能?

END

如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料