零成本、不出门:给 AI 助手配上本地大脑

做医学影像教程这些年了，我有一个很深的感受：大部分时间不是花在”想写什么”上，而是花在”怎么把想法变成成品”上。

选题、查资料、写正文、找配图、调排版、发到公众号——这条链路里任何一个环节卡住，整篇文章就出不来。后来我开始用 AI 辅助，效率确实提上去了，但新的问题来了：API 调用要钱，用多了心疼；模型在云端跑，病历和患者信息不敢往上传；有时候网络一断，什么也干不了。

今天这篇文章，就是把我解决这些问题的一套方案分享出来：给 AI 助手配一个本地运行的免费大脑。

一、为什么需要本地模型？

用一句话概括：免费、无限制、数据不出门。

很多医生朋友可能没太关注 AI 的成本结构，我简单算一笔账。主流云端模型的收费方式是按 token（可以理解为一个词或一个字）计费。我常用的几个模型，价格大概是这样：

表1：主流模型 API 定价对比（人民币，每百万 token）

注意看最后一行：本地模型，零成本。

这不是什么阉割版——Qwen3.5-9B 是阿里通义千问系列的开源模型，参数量 90 亿，对于日常对话、常规内容生成、基础的代码处理任务，表现完全够用。它的唯一”成本”就是你电脑的显卡和内存。

除了钱，还有两个更重要的理由：

隐私。 我做的是神经疾病方向，日常工作会接触到大量病历资料、影像数据。这些东西传到云端，哪怕厂家承诺不存储、不训练，心里也不踏实。本地模型不一样：所有数据在自家电脑上处理，不需要联网，不存在泄露风险。对医疗从业者来说，这个理由可能比省钱更重要。

稳定性。 云端模型有速率限制——每分钟只能请求多少次、每天最多用多少 token。一旦你开始把 AI 接入自动化流程（比如定时写文章、自动发公众号），这些限制很快就会成为瓶颈。本地模型没有这个问题，你想跑多少次就跑多少次。

二、具体怎么配？

整个配置过程分三步，我尽量用最通俗的方式讲清楚。

第一步：安装 LM Studio

LM Studio 是一个免费的开源软件，相当于”本地模型的运行器”。你可以把它理解成：在自家电脑上架了一台小型的 AI 服务器，不需要租云服务器，不需要懂编程。

操作流程：

🔹 去 LM Studio 官网下载安装包（Windows/Mac 都支持）

🔹 安装后打开，在模型库里搜索 Qwen3.5-9B

🔹 点击下载（大约 9 GB，取决于量化精度）

🔹 下载完成后，点击”加载”按钮，模型就跑起来了

加载模型后，LM Studio 会自动启动一个本地 API 服务，默认地址是 http://localhost:1234/v1。这意味着你的电脑现在就变成了一个”AI 服务提供方”，任何支持 OpenAI 接口格式的软件都可以调用它。

第二步：配置 OpenClaw

OpenClaw 是我用来管理 AI 助手的平台（桌面客户端我用的是 ClawX）。配置非常简单，只需要修改一个 JSON 配置文件 openclaw.json，添加本地模型的连接信息：

这段配置做了两件事：

🔹 告诉 OpenClaw：本地有一个模型，地址是 localhost:1234

🔹 把它设为默认主模型，同时保留云端模型作为”备胎”

第三步：配一个免费的记忆系统

AI 助手有一个很有用的功能叫”记忆搜索”——它能记住你以前聊过什么，在需要的时候自动检索。但这个功能依赖一个叫 Embedding 的技术，需要调用 API。

我原来用的 OpenAI Embedding，后来额度用完了（报 429 错误）。改用 Google Gemini Embedding 之后，问题就解决了：

{   "memorySearch": {     "provider": "gemini",     "model": "gemini-embedding-001"   } }

为什么选 Gemini Embedding？

🔹 免费：每天 1000 次请求，对个人使用绰绰有余

🔹 不限用途：不像 OpenAI 的 Embedding 额度和其他服务共用

🔹 接入简单：一个 API Key 就搞定

这样配置之后，AI 的推理走本地（免费），记忆搜索走 Gemini（免费），两者各司其职，整体成本为零。

三、实际效果如何？

配好之后，我用了一个晚上来测试，总结几个真实感受：

日常对话完全没问题。 问问题、整理资料、发邮件、做文本分析，这些本地模型都能胜任。响应速度取决于你的硬件——我用的是GTX 5080 16G显卡，延迟大约 2-5 秒，完全可以接受。

长文写作需要”备胎”配合。 让本地模型直接写 3000 字的公众号文章，容易出现结构松散、后半段质量下降的问题。我的解决办法是：让它先生成写作提示词，然后通过浏览器交互交给更强大的云端模型（ChatGPT）来写初稿，下载初稿回到本地最后再做一次校对。这样既省钱（大部分工作本地完成），又保证质量（关键环节用强模型）。

隐私场景特别安心。 涉及病历讨论、诊疗方案分析这些敏感内容，我全部用本地模型处理。不用担心数据传到外面，也不用在”方便”和”安全”之间纠结。

四、几个实用技巧

1. 随时切换模型

在对话中输入 /glm-5-turbo，就能临时切换到云端模型。任务完成后输入 /qwen3.5-9b 切回来。用 /status 可以随时查看当前使用的模型。

2. 关注上下文窗口

每次对话，AI 都会把之前的聊天记录一起”读进去”。聊得越多，消耗的算力越大。建议每聊 50-100 条消息后，开一个新对话（/new），重要内容让 AI 记到文件里。

3. 配置自动压缩

OpenClaw 支持自动压缩历史对话：当上下文使用超过 70% 时，自动把早期对话压缩成摘要，只保留最近几轮完整对话。这样既不影响使用，又能控制资源消耗。

五、写在最后

这套方案的核心思路其实很简单：日常任务用免费的本地模型顶上，复杂任务让云端模型兜底，关键环节人工把关。

它不是什么”黑科技”，更像是一个务实的成本优化策略。对医疗从业者来说，最大的意义在于：你可以在不增加额外支出的前提下，获得一个可靠、隐私、可用的 AI 辅助工具。

如果你也在用类似的 AI 工具，或者对本地部署有疑问，欢迎留言讨论。每个人使用场景不同，踩的坑也不同，交流起来可能比我一个人摸索更有价值。

「脑卒中与神经重症」公众号 | 关注我们，获取更多神经科学前沿资讯