还记得第一次用 ChatGPT / DeepSeek 的时候吗？

打字进去，等它转圈圈，然后一段话回来——挺酷的。

但问题也很明显：

你永远在别人的服务器上。

网断了，没了。

高峰期，排队。

聊到隐私话题，心里打鼓。

我当时就想：有没有AI是装在我自己电脑里的？不用联网，不用等，什么东西问它都行？

之前折腾过docker部署DeepSeek，但因下载的模型太小，真正运行起来并不理想，但是现在....

有的，兄弟，包的。而且已经非常简单了。

并且好用！

把你电脑变成一个人工智能

我打个比方你就明白了。

你现在的电脑是一间毛坯房。

CPU是地基，内存是房间大小，硬盘是储物间。

装修需要请施工队（装软件）。

Ollama就是这个施工队。

它干一件事：

让你的电脑能跑AI模型。

装好了，你就像在毛坯房里铺了地板、刷了墙——可以住人了。

Qwen3（通义千问3）是通义家的开源模型，相当于你买的家具。

Ollama负责把家具搬进来摆好，你要做的就是选这套家具里的哪一件。

为什么是Qwen3不是ChatGPT？

因为它免费、不联网、数据不上云、还支持中文。

不是ChatGPT太贵，是Ollama+Qwen3你装一次就一辈子是自己的。

第一步：选对设备（决定你的体验）

Ollama不挑电脑，但不同配置决定了你选哪个模型。

如果你是Mac用户

关键看内存，不是CPU。

一句话：16GB以上选qwen3:8b，24GB以上选qwen3:14b。别一上来冲最大模型，先跑通再升级。

MacBook Pro > MacBook Air。因为Air没有风扇，跑模型时间长了会发热降频。但短时间试用完全没问题。

如果你是Windows用户

关键看显存（VRAM），不是内存。

Windows和Mac最大的区别：Mac用的是共享内存（RAM），Windows用独立显存（VRAM）。

纯CPU也能跑，9B模型约10个token/秒（大约一秒蹦几个字），慢但能用。

第二步：安装Ollama（3分钟）

Mac安装

方法一：官网下载（推荐）

1. 1. 打开 https://ollama.com
2. 2. 点一下 Download，会自动下载Mac版安装包
3. 3. 打开 .dmg 安装包，把Ollama拖到Applications里
4. 4. 打开启动台，点一下Ollama——顶部状态栏会多一个小羊驼图标 ✅

不用跑终端、不用配路径、不用装依赖。双击就完了。

方法二：终端一行命令

适合喜欢用命令行的朋友：

curl -fsSL https://ollama.com/install.sh | sh

Windows安装

方法一：下载安装包（推荐新手）

1. 1. 打开 https://ollama.com/download
2. 2. 下载 OllamaSetup.exe
3. 3. 双击运行，一路默认
4. 4. 安装完后，系统托盘会出现Ollama的羊驼图标 ✅

Windows版本无需管理员权限，默认装在用户目录下。如果C盘空间紧张，安装时可以指定路径。

方法二：一行命令安装

打开PowerShell（右键开始菜单 → Windows PowerShell），粘贴：

irm https://ollama.com/install.ps1 | iex

如果提示执行策略被阻止，用这个：

powershell -ExecutionPolicy Bypass -Command"irm https://ollama.com/install.ps1 | iex"

Windows用户注意：如果装了360/腾讯电脑管家，安装时可能会弹窗拦截。允许通过就行。

第三步：下载并运行你的第一个AI模型（2分钟）

不管Mac还是Windows，安装好后打开终端（Mac用终端.app，Windows用PowerShell），输入：

ollama run qwen3:8b

第一次运行它会自动下载模型（约5.2GB），取决于你的网速，等几分钟就好。

下载完你就看到这个：

>>> Send a message (/? for help)

恭喜，你的电脑已经成了一个AI。 🎉

试着跟它聊两句：

>>> 用一句话解释为什么程序员喜欢半夜写代码？

它会回答你。实时生成，逐字出现，没有加载转圈，没有任何「服务器繁忙」。

>>> /exit

退出用 /exit 或 Ctrl+D。

下次再聊，输入同样的命令，

模型还在——不用重新下载。

第四步：给AI装个图形界面（3分钟）

终端聊天虽然很硬核，但确实不太方便。推荐装一个图形界面。

Open WebUI（推荐，功能最全）

Docker安装：

docker run -d -p 3000:8080 \  --add-host=host.docker.internal:host-gateway \  -v open-webui:/app/backend/data \  --name open-webui \  --restart always \  ghcr.io/open-webui/open-webui:main

然后浏览器打开 http://localhost:3000，注册一个账号（存在本地），就能看到和ChatGPT一样的界面了。

Python安装（不用Docker）：

pip install open-webuiopen-webui serve

浏览器打开 http://localhost:8080。

其他桌面客户端

不想折腾Docker的，这几个直接用：

去各自官网下载安装，配置里填Ollama的API地址 http://localhost:11434 就行。

还有ollama原生的 Chat -UI

模型怎么选？一张表说清楚

推荐组合（按配置）

模型管理命令

ollama list              # 看我下载了哪些模型ollama pull qwen3:8b     # 手动下载一个模型ollama run qwen3:8b      # 运行一个模型ollama ps                # 看当前加载了哪些模型ollama rm qwen3:8b       # 删除一个模型ollama stop qwen3:8b     # 卸载模型释放内存

国内模型全家桶

Ollama支持的通义系、DeepSeek、智谱GLM都在这里：

五个技巧:

把Ollama接入OpenClaw：你的本地AI也能接入Agent

很多朋友把openclaw部署在云上，但如果你在本地用自己的OpenClaw搭AI助手，

Ollama可以作为模型后端直接接入——不需要任何其他的付费 API Key，不依赖云服务。

配置非常简单。

在OpenClaw的配置文件中，增加一个Ollama provider：

# config.yamlmodels:providers:ollama:baseUrl:"http://127.0.0.1:11434"# 你的Ollama地址models:-id:"qwen3:8b"name:"qwen3:8b"agents:defaults:model:primary:"ollama/qwen3:8b"# 用本地模型fallbacks:-"ollama/qwen3:14b"

然后设置环境变量让OpenClaw知道用Ollama：

export OLLAMA_API_KEY="ollama-local"

跑通验证：

openclaw models list --provider ollamaopenclaw infer model run --model ollama/qwen3:8b --prompt "Reply with exactly: ok"

不需要API Key、不需要注册账号、不需要翻墙——OpenClaw直接调用你电脑上的Ollama，用你下载好的模型给你回答问题。

PS：更简单的方法，你安装完ollama并下载完模型后，直接告诉openclaw：

我已经通过ollama部署了本地LLM,请帮我接入：--《你下载的模型名称》--

完事儿！恭喜你已经拥有了第一胎自己本地部署并且属于你自己的 LLM。

个人体感把它作为openclaw或者Hermes的副手LLM，去做一些文字处理的工作，会非常省token！

常见问题（踩坑记录）

Mac用户

发热正常吗？正常。Mac跑模型风扇会转起来，看活动监视器里的「内存压力」——绿色就安全。如果长期黄色或红色，说明模型选大了。

选MacBook Pro还是Air？长期跑模型选Pro。Air没风扇，模型跑久了会过热降频。偶尔玩一下Air没问题。

Windows用户

安装时提示执行策略被阻止？PowerShell默认限制执行远程脚本。用这个绕过：

powershell -ExecutionPolicy Bypass -Command"irm https://ollama.com/install.ps1 | iex"

防火墙弹窗怎么办？

本地用localhost:11434一般不触发防火墙。

如果你设了OLLAMA_HOST=0.0.0.0（允许局域网访问），Windows Defender会弹窗——允许通过就行。

装好后怎么改模型下载路径？

默认下载到 C:\Users\你的用户名\.ollama。

想改到D盘：

1. 1. 打开系统环境变量
2. 2. 新增变量 OLLAMA_MODELS，值设 D:\ollama_models
3. 3. 保存后重启Ollama（托盘右键退出 → 重新启动）

命令行显示方块乱码？

Windows 10旧终端字体会把Ollama的进度图标显示成方块。

把终端字体改成 Cascadia Code 或 Consolas 就好。

通用问题

下载模型太慢？国内网络环境下下载5GB左右的文件可能要等一会儿。建议：

• 换个时间段试试（凌晨快一些）
• 先跑个小的（qwen3:0.6b只有523MB）
• 如果一直下载失败，可以用镜像站手动下载后放到 ~/.ollama/models/blobs/ 目录

Ollama和ChatGPT有什么区别？

所以不是本地AI比ChatGPT强，是本地AI是你的——不依赖任何人。

写在最后

做这件事其实起因特别简单——我一直觉得「AI应该装在自己电脑里」是一件理所当然的事。

但大部分人以为它很难。以为要懂编程。以为要有服务器。以为要花很多钱。

其实不需要。

你想写公众号文章的时候，可以让它帮你理思路。你想翻译一段英文的时候，不需要打开网页。你加班到半夜想找人说话，它就在那里，随叫随到。

但如果你不是一个人用，而是在一家企业

事情就不只是「方便」这么简单了。

2023年8月，《生成式AI服务管理暂行办法》正式施行。

加上《网络安全法》《数据安全法》《个人信息保护法》，企业使用AI的合规门槛已经非常明确：

员工问AI的问题里如果涉及客户信息、内部文档、商业数据，这些数据发到境外API（比如OpenAI），就是在做数据出境。

需要备案。需要安全评估。

出了任何事，责任全在企业方。

所以金融、医疗、政务这些行业，已经把「本地部署」当成了必选项，不是可选项。

Ollama + 企业知识库，是目前最成熟的开源方案。

核心思路很简单：

企业内部文档（PDF/Word/Wiki）        ↓ 向量化   本地向量数据库        ↓ 检索匹配   Ollama本地模型推理        ↓   员工得到答案（数据没离开过服务器）

整个链路，数据不出内网。

目前主流的方案里，几个值得关注的：

而你需要的，就是十分钟和一台电脑。

#Ollama #Qwen3 #本地AI #大模型部署 #AI教程

🪪 作者：大象 — 推动让普通人轻松上手AI

相关阅读：

GitHub到底是什么？小白一看就懂

零成本Obsidian搭建你的私人本地知识库

读完这篇，你也敢说懂AI了：保姆级OpenClaw+Claude Code术语全攻略（万字长文）