乐于分享
好东西不私藏

科研人的openclaw!保姆级攻略!配置本地大模型

科研人的openclaw!保姆级攻略!配置本地大模型

用本地模型最大的好处是:数据隐私可控无API调用费用还能离线使用,对处理敏感实验数据或高频使用的科研场景来说非常友好。

科研学术圈偷偷关注的公众号,你入圈了吗?

欢迎关注公众号,进群与来全国各地的科研人员交流心得、分享经验。无论是遇到技术难题还是寻求合作机会,这里都是您拓展人脉、激发灵感的理想之地。无论您是初学者还是资深专家,都能在这里找到适合自己的学习资源,拓宽科研视野,提升创新能力。

下面这份攻略,从工具选择到硬件配置,再到完整的部署步骤,帮你一步步搞定。


一、先选工具:Ollama还是LM Studio?

两位主流的“本地模型管家”,各有更适合的场景:

对比维度
Ollama LM Studio
操作界面
纯命令行
图形化界面
上手门槛
稍高,需记命令

,点击下载即可
适合人群
喜欢命令行/需远程调用
新手首选

/不熟命令行的用户
模型管理 ollama pull 模型名

 一键下载
“Model Hub”搜索→点下载,直观

简单来说:追求直观简单、不想敲命令,选LM Studio;想要更极客、方便远程调用,选Ollama。下面两种方案都会讲到。


二、硬件参考:我的电脑能跑什么模型?

这是科研人最关心的问题。你不需要顶配设备,合理选择“量化版本”就行。量化可以理解为给模型“瘦身”,牺牲少量精度换取更低的显存占用:

你的显卡配置
推荐模型及量化版本
能做什么
RTX 3060/4060 (12GB显存)
Qwen3.5-9B Q4_K_M (约6GB)
常规科研对话、代码开发、文本分析
RTX 4090/5090 (24GB显存)
Qwen3.5-27B/35B Q4_K_M (约16GB)
复杂推理、长文本处理、论文深度润色
GTX 1050Ti (4GB) 或 无独显
Qwen3.5-2B/0.8B (CPU也能跑)
基础功能体验、简单任务

如果用的是苹果M系列芯片(M1/M2/M3)的Mac,8GB内存以上就能玩转不少小模型了。


三、方案A:LM Studio保姆级部署流程(Windows/Mac通用)

第1步:安装LM Studio

访问官网下载对应系统的安装包,一路默认安装即可。

第2步:下载Qwen3.5模型

打开LM Studio,点击左侧“Model Hub”(模型中心)。
搜索qwen3.5,根据显存选版本:12GB显存选Qwen3.5-9B-i1-Q4_K_M,24GB显存可选Qwen3.5-27B量化版。
点击Download下载,完成后会出现在左侧“My Models”里。

第3步:一键开启API服务(关键!)

点左侧“Server”标签。
打开“Enable Server”“Enable OpenAI Compatibility”两个开关。
默认端口1234不用改。
“Advanced Settings”里,把Context Window设为100000(决定模型能一次处理多长的上下文)。
测试一下:浏览器访问http://localhost:1234/v1/models,如果显示模型列表就说明成功了。

第4步:配置OpenClaw,让它“认识”本地模型

打开配置文件openclaw.json(路径在C:\Users\你的用户名\.openclaw\下),添加以下内容:

“models”:{

“providers”:{

“local-gpu”:{

“baseUrl”:”http://localhost:1234/v1″,

“apiKey”:”随便填点啥”,

“api”:”openai-completions”,

“models”:[{

“id”:”qwen3.5-27b-v2-stage1″,

“name”:”Qwen3.5-27B(本地GPU)”,

“contextWindow”:100000,

“maxTokens”:100000,

“cost”:{“input”:0,”output”:0,”cacheRead”:0,”cacheWrite”:0}

}]

}

}

}

baseUrl 对应LM Studio的服务地址,id 要和你下载的模型名一致。

第5步:重启OpenClaw并验证

在终端执行重启命令,之后输入测试命令,看到成功提示就大功告成了。


四、方案B:Ollama命令行部署流程(更极客)

第1步:安装Ollama

去官网下载安装包,或直接用命令:

curl-fsSLhttps://ollama.com/install.sh|sh

第2步:下载并运行模型

一条命令搞定,以qwen3.5 9B为例:

ollama run qwen3.5:9b

首次运行会自动下载模型。其他模型去ollama.com/library查名字。

第3步:配置OpenClaw

Ollama的默认地址是http://localhost:11434。如果用“自动发现”模式,只需设一个环境变量,OpenClaw就能自动识别所有下载好的模型:

OLLAMA_API_KEY=”ollama-local”

如果想手动指定模型,编辑openclaw.json,把baseUrl设成http://localhost:11434/v1并列出模型ID就行。


五、科研场景的几点实用建议

  1. 任务分流,效率最高
  2. :对实验想法、未发表数据等敏感内容,走本地模型,数据不出电脑。日常文献搜索、格式校对这类非敏感任务,可以走云端免费API(如阿里云百炼),速度快还省本地算力。
  3. 小模型也够用
  4. :不要盲目追求大模型。对于文献摘要、代码补全这类明确任务,9B甚至4B的模型响应更快,体验也好。
  5. 养成好习惯
  6. :本地模型的核心优势是隐私,但仍建议定期备份你的OpenClaw配置和本地模型文件,以防万一。