乐于分享
好东西不私藏

OpenClaw 成本直降,一键部署本地模型!

OpenClaw 成本直降,一键部署本地模型!

这段时间 OpenClaw 火得一塌糊涂。

几乎每个人都想上手部署,但使用过后,纷纷喊它是一只无情的 Token 吞金兽。

为了省钱,我们自然就把目光转向了不用花钱的本地部署大模型了。

然而,还未开始动手,那些大模型各种参数大小、各种微调量化版本,看得一头雾水。

根本不知道,自己的电脑能运行哪些模型,折腾半天部署后却发现跑不起来,心直接凉了。

无独有偶,今天在 GitHub 上发现了 llmfit 这个开源终端小工具,正好能解决这个痛点。

在终端里,只要运行一行命令,它就会自动扒出本机的 CPU、内存和显卡型号。

然后根据几百个主流模型的参数和压缩程度,列出一张很直观的排位表。

它不仅直接标明能不能跑,还会算出非常具体的运行指标。

比如它会预估显卡跑某个模型时,每秒到底能蹦出 10 个词还是 20 个词。

适合用来写代码、聊天还是做推理,都会在黑框终端里写得清清楚楚。

它甚至聪明到能看懂那些结构复杂的混合专家模型。

同时还知道这些模型在工作时其实只会用到一部分脑力,所以算出的显存需求会比原本小得多。

平时常用的各种本地大模型运行工具它都能兼容。

在这个极简的界面里,我们可以直接浏览所有推荐清单。

选中合适的,按个字母 d 就能一键下载,体验很顺滑。

想要使用这个小工具,非常简单。

如果你是用 macOS 系统,执行brew install llmfit 命令就能装好。

如果用的是 Windows 系统,则通过 scoop install llmfit 安装也一样轻松。 

碰到那些没法自动识别显存的特殊设备。

我们还能手动输入参数,来强行指定显存容量。

比如敲一段代码告诉它显存有 24G,就能提前看看如果要升级显卡,到底能跑多大的模型。

不仅如此,作者也深知大家用 OpenClaw 跑云端模型有多烧钱。 

所以他专门为 OpenClaw 写了一个专属的 Skill 技能包。 

只要在终端敲一行命令,就能完成安装。

./scripts/install-openclaw-skill.sh

装好以后,AI Agent 就能自己去调用它评估咱们的本地硬件。 

接着自动帮我们把 Ollama 这些本地运行环境配置好。 

过去玩开源模型全靠硬件硬扛,试错成本实在太高。

现在有了这套工具把关,我们在本地折腾 AI 的门槛算是又降下了一大截。 

把算力精打细算,让硬件物尽其用。 这或许才是本地部署真正的乐趣所在。

GitHub 项目地址:https://github.com/AlexsJones/llmfit

今天的分享到此结束,感谢大家抽空阅读,我们下期再见,Respect!