夜雨聆风永远承诺：本公众号全号，所有字均为人工手敲！无一字为 AI 生成（除非标注）！
想本地部署 AI ，简单高效的话，那肯定得有一个趁手的本地 AI 部署工具。
最近阿里巴巴搞出来的 Qwen 3.8 27B 超级厉害！这个小参数模型，体积也就 17GB ，一个两三万的电脑就能运行的非常顺利彻底，能达到 46 Token/s ，智商很高。
（可能针对跑分深度优化，参数，也吊打 Qwen 3.7 plus 满血版闭源模型）
就这么小的模型，在大部分任务上的表现，跟那个年初火遍全球的 Claude opus 4.6 或者 GLM 5.1 用起来差不多。要知道，当时这两个模型，是划时代的厉害！基本上能让程序员脱离代码了，而现在一个 17GB 的小模型，先别说什么知识储备，就从代码编写智商上，就基本有那种感觉了。。。
现在是部署 小模型 的一个很好的时期！Token 自由的感觉谁不想有？（而且有无审查版本，当然不是做坏事，而是在开发时，有时候想调研一些内容，那种在线版的大模型，会道德圣人，扭扭捏捏宕机不干！）对于一些小团队，有个足够聪明的本地 AI ，这个太重要了。这个模型是真的能当离线主力模型！
我最近也在跃跃欲试，想搞一个本地模型，于是便简单研究了一下。我一个司马氏的朋友，最近部署了 Qwen 3.8 27B ，他的配置表：
运行起来的样子：
这个网站很特殊（因为需要验证年龄），我就不展示了，做出来的效果，跟我年初花大几百买的 GLM 5 基本上一个质量。（看样子是使用的 workbuddy）
今天，我就聊聊在部署 AI 时，要用的几个工具，以及简单的区别。简单说说哈~
Ollama
这个应该是最出名的了！
它不是偏向于 GUI 的界面，而是偏向于 终端 操作的。当然，它也确实有个简单的聊天窗口，但那个窗口太简陋了....
主要的噱头，就是一条命令就可以开始下载 AI 模型！
它的精华主要是在 命令行终端界面.... 上手不是很友好，初学者我就不建议大家捣鼓了。
（带个货哈哈，这个是我朋友熬夜大半个月整理的动画，家里有小孩子的，可以买点试试，或者初学英语的朋友也可以试试）
llama .cpp
这个，门槛更高了。
它也是主要通过命令行来操作的。更加的底层，甚至能控制怎么配置硬件去运行我们的模型。
它非常的灵活，但是没有什么界面... 对于资深的专家来讲，它更加的好用一点。毕竟足够的硬核和底层ma。
LM Studio
哈哈，这个是最舒服的！
它跟那个 ChatGPT 界面一样非常的友好。
它基本上不需要去打开 命令行终端 ，直接在 GUI 界面就能完成绝大部分的内容。。。
主要是一种操控感，能在一个界面，了解到目前正在发生的事。还是不错的。这个是新手最友好的我觉得。。。
KoboldCPP
这个稍微冷门一点。
不过比上面提到的三个，会比较均衡一点儿。
它没有 LM Studio 那么的界面舒服，也没有 Ollama 和 llama 那么的偏向于 命令行终端。介于中间。
没有那么完美的对话界面，但是能给人调控的选项比较多。比 LM Studio 能调的参数更多一点。需要有一定的门槛。
Msty AI
这个是一个付费的软件。
比上面的提到的很多，都要完整一点，更偏向于 GUI ，不依赖终端。不过遗憾的是，我感觉，它的绝大部分功能都是付费才能用.... 所以，没什么好探索的。
最后
因此，对于上手友好度，就是 LM Studio > KoboldCPP > Ollama > llama 。
反正就这个样子了。最好的选择，对于绝绝绝大部分人来说，LM Studio 是最好的。