乐于分享
好东西不私藏

openclaw+ollama,实现小龙虾调用本地大模型

openclaw+ollama,实现小龙虾调用本地大模型

相信大家在“养虾”的时候,最头疼的还是它的token消耗量,选择公有云的套餐,不是免费额度不够用,就是需要付费,即便付费,也有使用额度的限制,影响小龙虾使用体验,今天就手把手教大家配置openclaw+ollama,让我们的小龙虾调用本地大模型,实现token自由。

首先你得有:

1、一台用来跑大模型的高性能服务器,我本地大模型服务器参数:
CPU
内存
显卡
磁盘
32核
64GB
NVIDIA显卡,GeForce RTX 4090,24GB显存
1TB
2、一个部署好的小龙虾。
一、部署Ollama
ollama部署可以参考我之前发的这篇文章
Ubuntu服务器部署ragflow+Ollama,搭建本地AI问答知识库
二、部署小龙虾
小龙虾部署参考我前面写的这篇文章
你也开始“养虾”了吗
三、openclaw接入Ollama大模型
在openclaw机器上,执行以下命令进入配置界面
openclaw onboard --install-daemon
选择Yes,到下一步
选择模型供应商为Ollama
选择Local only
输入ollama服务器地址,默认为http://127.0.0.1:11434
此时会列出你的ollama所有模型,选择默认的模型
配置渠道,选择跳过
配置Web search,也选择跳过
配置skills。也选择跳过
配置Hooks,暂时跳过
选择在WEB UI打开
执行openclaw dashboard查看访问地址
浏览器访问打开对话界面就可以和调用本地大模型的小龙虾进行对话了。
四、后记
1、如果ollama和小龙虾部署在同一台服务器上,那么在聊天界面就可以选择切换想要使用的对话模型,如果不在同一个服务器上,修改模型配置就需要重新执行以下命令来重新配置新的模型。
openclaw onboard
2、如果按照步骤配置模型,但没有列出本地的ollama大模型,尝试更新openclaw版本再重新配置。
3、openclaw配置后,访问WEB无法正常打开?在openclaw.json配置文件里的gateway模块下添加如下配置,并重启gateway服务
"dangerouslyDisableDeviceAuth": true