夜雨聆风学习资料网

ARTICLE · 1146690

多模型 AI 助手:省钱的事交云端,保密的事

多模型 AI 助手:省钱的事交云端,保密的事

多模型 AI 助手:省钱的事交云端,保密的事

最近大模型越出越多,想对比一下效果,得在好几个网页和终端之间来回切。嫌麻烦,我就自己搭了个聊天机器人。

它叫 ZaneHouChat,能一键切换 DeepSeek、千问和本地的 Ollama。不光能聊天,还能传文档问答、记对话历史,甚至把每次花了多少钱、用了多久都算得清清楚楚。

最让我上头的是它的双模式设计。云端模式拼效果和成本,本地模式则全靠本机运行。只要一开离线,对话、文档和向量数据全在自己电脑里转,连 API Key 都不用填,断网照样能用。

不过真要把它跑通,中间也踩了不少坑。比如官方的 create_react_agent 接口被弃用了,得换成新的写法;流式输出默认不带 token 用量,必须手动加个参数才能统计花费。

还有缓存机制,自带的在流式响应时根本绕不过去,最后只能自己手写一层应用缓存来兜底。

代码虽然折腾了点,但把多模型调用、文档检索和消费统计全捏在一起,日常用起来确实顺手。

原文多模型 AI 助手:省钱的事交云端,保密的事交本地
上海,10月6日 23:47,2026年10月9日
已修改

相关学习资料