QUOTE
会话带记忆、技能会读文件、思考过程看得见——调教AI比调教小朋友有意思多了

上周我不是花了5块钱,让AI帮我写了个对话平台吗?这周我又“肝”了三天,给它做了个大版本升级。升级后的它,终于从“能对话的玩具”,变成了“懂规矩的助理”。
今天不藏私,把这三天的调教记录全公开。尤其是那些省token、省流量的骚操作,建议你拿小本本记下来。
本文看点
01
思考过程实时回显
02
长会话摘要压缩省token
03
技能按需读文件
01
PAIN POINT
为什么我的AI助手“聊着聊着就失忆”?
之前版本最大的问题是会话没有“长期记忆”。
聊到第20句,它就已经忘了第1句我跟它说了什么。每次都得把前因后果再复制粘贴一遍,比跟甲方解释需求还累。而且每次对话都全量把历史记录发回给大模型API,token消耗快得跟烧钱一样。
于是这次升级,我给它定了三条“军规”:
长会话(超过10条)时,只带最近10条+1条摘要,不把整本“聊天记录”都塞给大模型。
当需要读取技能(skill)里的文件时,必须用skill_read_file按需读取,不能一次性把所有文件都加载进上下文。
所有“思考过程”要实时回显,让我知道它在想什么、卡在哪一步。
这三条看似简单,但实现后效果立竿见影。
02
THINKING
“思考过程”回显,治好了我的焦虑
以前我给AI下指令,它就像个黑盒——我发完消息,它沉默十几秒,然后突然吐出一大段结果。那十几秒里,我脑子里会上演80集连续剧:“它是不是死机了?”“我是不是问错话了?”“网断了?”
现在不一样了。它会把思考过程分步骤展示给我看:
🔍 正在理解用户需求……
📖 识别到需要调用技能:gzh-design
📂 正在读取技能配置文件……
📄 已读取:/skills/gzh-design/theme.css
🔄 正在将Markdown转换为HTML……
✅ 排版完成,生成预览页……
每一步都清清楚楚。我甚至能在它“跑偏”时中途叫停,而不是等到最后才发现成品不对。这种感觉,就像从“盲盒式聊天”变成了“跟助理对进度条”。
03
MEMORY
“带记忆的会话”,既省钱又聪明
现在我的AI助手能处理超长对话了,而且成本反而降了。
举个例子,我跟它讨论了20轮关于“如何设计一个科技感公众号排版主题”的问题。到第15轮时,我让它“按刚才讨论的风格,把这篇新文章排版”。它迅速生成,而且风格统一。
我抓包看了下它发给大模型API的请求体,发现它只带了最近10条对话+一条由前10条生成的摘要。这个设计妙在:
只有最近10条 + 1条摘要,就足以保住核心记忆
60%
长对话API费用降低
50%
token消耗直接减半
省下来的不是小聪明,是可持续地长期调教
前10条里的关键信息(比如用户偏好的配色、字号)被摘要保留;细节信息(比如某次打错字的指令)被丢弃。对比之前动辄就发送几千token的“全量对话”方式,现在经济划算得多。
04
ON-DEMAND
技能“按需读文件”,让大模型只拿该拿的
我的AI平台支持安装“技能”(skill),每个技能都是一个文件夹,里面有配置文件、模板、说明文档。比如“公众号排版”技能,里面包含:
theme.csstemplate.htmlrules.md
以前一启用技能,AI就把所有这些文件都塞进上下文。小技能还好,大技能动辄几十个文件,还没干活,先把token浪费完了。
现在改成了按需读取——当AI判断“我需要知道有哪些主题可选”时,它会调用skill_read_file去读themes/index.json;当它需要应用某个具体主题的样式时,再去读对应的theme.css。
26
技能文件总数
全量塞进上下文的浪费
3
实际只读文件数
只拿真正用到的文件
88%
冗余读取减少
上下文与成本双降
整个对话过程中,它只读取了真正用到的3个文件,而不是全部26个。
05
OUTPUT
我的助手现在能做什么?
经过这三天的调教,我的AI助手已经能稳定提供两项核心技能:
我给它一篇Markdown文章,它能在1分钟内生成可直接粘贴到公众号后台的HTML预览页,样式不丢失,支持多种主题(摸鱼绿、红白、石墨极简、留白禅意等)。最重要的是,它会在排版前先跟我确认主题,而不是自己瞎选。
我给它一个HTML文件或网址,它能用Chromium无头录制+ffmpeg转码,生成1920×1080的MP4视频。这个功能目前还在测试阶段,但已经能跑通简单页面。
06
THOUGHTS
调教AI,跟带新人没区别
这三天让我深刻体会到:AI不是魔法,它更像一个聪明但缺乏经验的新员工。
你要告诉它“带摘要”的规则,它才知道怎么省token;你要教它“按需读文件”,它才不浪费资源;你要让它“回显思考过程”,你才能及时纠偏。
那些抱怨“AI不好用”的人,多半是把它当搜索引擎用——问一句,答一句,从不调教。而愿意花一个周末去教它、改它、优化它的人,最终会得到一个越用越趁手、越聊越懂你的数字助理。
∞
EPILOGUE
最后,我想对你说
如果你也在折腾自己的AI平台,我建议你优先实现这三个功能:
01
思考过程回显
用户体验提升200%
02
长会话摘要压缩
钱包厚度保住50%
03
技能按需读文件
系统效率提高80%
这三个改进,代码量不大,但收益极高。
你的AI助手,最近有什么“调教心得”吗?或者你最想让它学会什么新技能?
如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。
夜雨聆风