我用开源模型搭了个本地AI助手,省了每月300块

我用开源模型搭了个本地AI助手，省了每月300块

事情是这样的。

上个月不是写了个文章吐槽AI工具涨价嘛，然后有读者留言说："你可以用开源模型自己部署啊。"

我当时没当回事——心想本地跑模型，那不得显卡烧钱？

结果上周试了一下，发现省了300块一个月。

说白了

主流AI工具一个月300块左右，但开源模型可以在自己电脑上跑。

Mistral Large 4 刚发布，1万亿参数，月底开源。我等不及，用了它家之前开源的模型。

不要被"万亿参数"吓到——很多开源模型几十亿参数就能干活。

问题来了

我自己电脑是 MacBook Air，没有显卡。

但现在有方法：

1. 用 Ollama — 一键安装，本地跑模型

2. 选对模型 — 不是越大越好，适合场景最重要

3. 调 API 封装 — 本地跑不动就调用 API，价格只有闭源的 1/10

我试了 Mistral 7B 本地版 + Ollama，速度还行，关键是不花钱。

答案是

300块一个月，省下来很简单：

1. 去 ollama.com 下载安装

2. ollama run mistral 就能跑

3. 如果要更强，上 70B 参数（需要 64GB 内存）

当然有代价：

- 本地模型能力比 GPT-4 弱一点

- 第一次配置要折腾一下

- 不是所有场景都适合

但对于写代码、读文档、改文章这种日常工作，够用了。

---

关注「阿源在迭代」，下回讲讲怎么调教本地模型让它更懂你的代码。

📖 本文收录于合集：踩坑解决式

作者：阿源在迭代 | 未经理授权禁止转载