夜雨聆风学习资料网

ARTICLE · 1366100

实用软件-Ollama:不联网也能在自己电脑跑大模型

实用软件-Ollama:不联网也能在自己电脑跑大模型

🌟 温馨提示: gisxk的宝藏推送常被平台“藏”起来!不想错过干货?速速🌟【星标】本号,更新第一时间达!操作超简单👇

图:本地是「你的机器→硬盘里的模型」,云端是「你的机器→外部服务器」,数据去向不同。

下载入口(官方地址)

用途
地址
官网下载
https://ollama.com
源码仓库
https://github.com/ollama/ollama
Windows 说明
https://docs.ollama.com/windows
模型库
https://ollama.com/library

Windows 要求(据官方文档)

  • Windows 10 22H2 或更新,Home / Pro 均可;
  • NVIDIA 显卡驱动 551.61 或更新;AMD 走 ROCm v7 / HIP7 或 Vulkan;
  • 程序本体至少占 4GB,模型另算,几十 GB 到几百 GB;
  • 安装不需要管理员权限,默认安装在家目录。

图:docs.ollama.com/windows 截图,2026-11-09。页内给出 OllamaSetup.exe /DIR= 与用户环境变量 OLLAMA_MODELS 两种换位置的办法。

三条常用命令

ollama run qwen3:4b

下模型并进入对话,/bye 退出。

ollama run <模型名>

换模型;已下载的不会重复下载。

ollama launch claude

在项目目录里给写代码的 agent 接本地模型,会提示是否安装 Claude Code。此条命令出自官方 quickstart,未实测。

模型体积参考(qwen3)

模型
体积
上下文
qwen3:0.6b
523MB
40K
qwen3:4b
2.5GB
256K
qwen3:8b
5.2GB
40K
qwen3:14b
9.3GB
40K

体积以模型库 tags 页为准,选择时先看自己的内存余量。

图:ollama.com/library 页面截图,2026-11-09。体积与上下文长度以页面现值为准。

装之前先想清楚的三件事

C 盘空间。用户环境变量里新建 OLLAMA_MODELS 指到别的盘,改完从托盘退出 Ollama 再启动。模型动辄几个 GB,全堆 C 盘早晚出问题。

8GB 内存别硬上大模型。2.5GB 只是权重文件,运行还要上下文缓存和系统本身占用。8GB 机器建议先试 0.6B,关掉浏览器再跑,能不能跑 4B 因机而异。

本地模型不是云端旗舰。本地跑的是量化版,写代码、读长文档这类要精度的活,和云端旗舰有差距。每个模型的许可不一样,商用前看模型页上的许可说明;软件本体是 MIT,模型不是。

说明

版本、系统要求、模型体积均按官方文档记录(写作时 v0.40.15)。生成速度未实测,不给 tokens/s 数字。

点击下方公众号名片

关注“gisxk”公众号

获取更多资源

End

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料