本地跑千亿大模型,终于找到靠谱 AI 工具了.

前天跟大家分享了一个 AI Agent 办公工作台：PilotDeck，可接入本地模型，处理一些敏感文件更放心。

结果不少朋友留言说：本地部署模型简单，但使用参数小的模型干不了事，上千亿参数的大模型又跑不起来。

正巧这两天，我偶然在 GitHub 上看到了一个很火的开源项目：Strata，已狂揽了 26000+ Star。

使用它，能让我们在一台普通配置的游戏电脑上，也能跑起 1250 亿参数的大模型。

就是 Qwen3.8-Flash-Next 模型，这种体量的模型，平时都得放在显存几百 GB 的服务器上才跑得动。

而 Strata 只要一张 12GB 显存的 N 卡或 A 卡，Windows 和 Linux 都能装，数据全程留在自己电脑上。

速度方面，作者拿两台普通的游戏电脑测过，其中一台是 RTX 5070 显卡配 64GB 内存，每秒能写出 53 到 94 个 token。

按 README 里的说法，每秒 60 个 token，就已经比我们看字的速度还快了。

若是换成 AMD 的 RX 9070 XT 更低性能配置的显卡，也能跑到每秒 44 到 60 个。

在 RTX 5070 上跑的模型，只用一句提示词，就写出了一个用小方块搭起来的宝塔花园，直接在浏览器里就能跑。

那一张 12GB 的显卡，是怎么装下这么大一个模型的？

用通俗易懂的例子打了个比方，就像在厨房做菜，常用的东西摆在台面上，其余的先收进储藏室。

这个模型其实是由 24576 个「小专家」组成的，每写一个字，只需要叫上其中 10 个。

所以 Strata 把最常被叫到的几千个专家放在显卡上，全部专家都放进内存，显卡上没有的那部分，就交给 CPU 同时来算。

而且聊得越久，它越清楚哪些专家用得多，显卡上放哪些专家也会跟着对话来调整。

另外还有个「先猜后验」的办法，让一个小帮手先猜后面几个字，大模型再一次性检查，猜对的直接留下。

这样做，能够让回答的速度快 1.6 到 1.8 倍，最后给出的答案还是一样的。

装好之后，浏览器打开本地页面就能直接聊天，旁边还有个监控面板，能实时看到模型的运行情况，以及显卡、内存的占用。

更实用的是，它提供了跟 OpenAI、Anthropic 一样的接口，Claude Code、Codex 这些工具，把地址改成本地的就能接上。

比如 Claude Code，只需要设置一下这个环境变量：

ANTHROPIC_BASE_URL=http://127.0.0.1:8080

其他支持 OpenAI 兼容接口的应用，地址填 http://127.0.0.1:8080/v1，API Key 和模型名随便填都行。

安装时选上识别图片的话，还能把图片丢给它看，思考强度也能调，分关闭、低、中、高四档，关掉最快，难一点的问题就开到高。

同一个模型，Strata 还准备了好几种压缩程度不同的版本，安装时会根据电脑内存推荐一个。

平时主要拿来写代码的，可以选专门的 Coder 版，按它的作者测的，能拿到完整版 91% 的 SWE-bench 编程得分。

不过 Coder 版砍掉了一半的专家，写代码以外的事会弱一些，中文也是，日常聊天写东西还是选完整版更合适。

想要上手很简单，在自己平时用的 Agent 工具上，把下面这句话丢给它就行：

帮我在这台电脑上装好 Strata，项目地址是 https://github.com/Niko1221/Strata ，按仓库里 docs/AI_SETUP.md 的步骤来。

它会先检查显卡、内存和硬盘，挑好合适的模型，装好再启动，最后告诉我们怎么接到自己的应用里。

想自己动手的话，把项目下载下来解压，Windows 双击 START-HERE.bat，Linux 运行 ./setup.sh 就行。

在安装的过程中会问几个问题，比如用哪个版本、要不要识别图片，一路用推荐选项也可以。

接着会下载模型，大概有 70GB 大小，若中途断了也不要紧，重新运行一次还会接着下载。

第一次启动时，电脑可能会花 1 到 3 分钟，往内存里加载模型，等着就好，别急着把窗口关掉。

用 Mac 电脑的朋友需要注意，目前Apple 芯片的适配还是实验阶段，问题估计不少。

写在最后

以前想在本地跑大模型，要么就是跑一个小模型凑合着用，要想跑上千亿参数的大模型，得购买服务器或十几万的设备。

现在 Strata 把电脑的显卡、内存、CPU 和硬盘各个配置都调动起来，各干各的活，充分利用电脑的资源。

让绝大部分人在游戏性能级别的电脑里，也能本地部署跑起千亿参数大模型。

项目刚开源不足一个月，便连续发了 52 个版本，目前正在快速迭代更新当中，值得持续关注一下。

家里有性能不错的电脑，又想让 AI 处理一些不方便上传的文件，或者想省点 API 费用的朋友，可以装上试试。

GitHub 项目地址：https://github.com/Niko1221/Strata

今天的分享到此结束，感谢大家抽空阅读，我们下期再见，Respect！