乐于分享
好东西不私藏

0 成本用 OpenClaw! 本地大模型配置教程

0 成本用 OpenClaw! 本地大模型配置教程

  前面学习了怎么将openclaw装进U盘,这次学习怎么0成本使用openclaw。
Windows U 盘便携版 OpenClaw 制作教程,即插即用无残留
下面我们把模型也装进U盘,在全球最大的开源 AI 模型托管平台下载适合你电脑配置的模型,https://huggingface.co/models
怎么才能找到适合自己的模型呢?这里有个开源项目
https://github.com/AlexsJones/llmfit
本地跑大模型不踩坑!llmfit 一键检测硬件 + 自动推荐适配模型
还用到了llama.cpp的开源大模型本地运行引擎
https://github.com/ggml-org/llama.cpp

  当然我上传到github的也带.exe程序

https://github.com/898838605/openclaw-USB.git

下面是教程(默认已经完成了U 盘便携版 OpenClaw 制作教程

1、找适合自己设备的模型,双击打开llmfit

或者浏览器打开http://127.0.0.1:8787/,浏览器打开的前提是上面的不关闭,打开前几个就适合自己电脑的模型,复制名字可以到开源 AI 模型托管平台下载模型(这个推荐的好不好用我没有试过,我这里没有独显,所以没有按照他的推荐)

2、将下载好的模型放入models文件夹

就像这样

完了我们双击(启动本地模型apikey.bat)

选择你要运行的模型后回车

  • -ngl 0
     = 纯 CPU 跑,一点不用显卡
  • -ngl 99
     = 把模型所有层全都扔给 GPU 跑(默认就是 99)
  • 中间数字:比如 20、30、40,就是前 N 层给 GPU,剩下层给 CPU
上下文长度,这里你要根据你的实际情况,如果给openclaw用就设置大一些,如20000(但是有的模型上下文有上限)

生成最大 token 数,即输出最大数,如4096

API 密钥 –api-key(要调用apikey就需要填写,可以随便填写,但是要记住,因为openclaw调用时用的到)如:local-key

随便按任何键就可以启动服务了(这里让他持续输出运行日志,方便查错,而且这个不能关闭,如果关闭就调用不了模型了)

随后可以打开浏览器输入 http://127.0.0.1:8080/ 验证本地模型

输入API 密钥 local-key

本地测试成功
3、openclaw调用本地大模型(前面的运行的本地大模型不能关闭
打开(4、插件安装.bat)输入openclaw config

API Base URL  输入http://127.0.0.1:8080/v1/,或者你的本地IP

http://[IP]/v1/

 API Key  输入local-key,就是你前面设置的API 密钥 –api-key

蓝色框中的可以自由填写,只要你知道是哪个模型就行

模型设置完成后,选择Continue退出openclaw config

启动openclaw(6、启动openclaw gateway.bat)
现在用微信发个消息试试,我的是笔记本,跑的小模型,感觉能力有限

视频教学在腾讯视频号里