本地跑一个可以联网的AI助手

每个月花几十块钱订阅 ChatGPT 或 Claude，用着用着就发现一个问题：

稍微敏感一点的内容被拒答，私密的工作文件不敢粘贴进去，更别说有时候网络抽风根本连不上。

花了钱，还用得提心吊胆。

实际上，有一套完全免费的方案，可以让你在自己电脑上跑一个 AI 助手——对话记录不上传、没有审查限制，而且通过简单配置，还能联网搜索实时信息。

这篇文章就讲这一套：Ollama + Open WebUI + 联网搜索，从安装到用起来，完整走一遍。

01你的电脑够不够跑本地大模型？

先说一个很多教程跳过的问题：不是每台电脑都适合跑本地模型。

判断标准很简单：

• 内存 8GB：只能跑 7B 以下的小模型，速度慢，勉强能用
• 内存 16GB：可以流畅跑 7B 模型，体验接近 ChatGPT-3.5
• 内存 32GB 或有独立显卡（VRAM 8GB+）：可以跑 13B 及以上模型，质量明显更好

苹果 M 系列芯片是目前跑本地模型性价比最高的硬件，统一内存架构让 16GB 内存的 MacBook 跑 7B 模型比同等配置的 Windows 电脑快 2-3 倍。

Windows 用户有 NVIDIA 独显的话，记得后面选 GPU 加速版本。

02第一步：安装 Ollama，30秒搞定模型管理

Ollama 是目前最主流的本地模型管理工具，可以理解成"本地模型的 App Store"。

安装方法：

1. 浏览器打开 ollama.com
2. 点击 Download，选择你的系统（macOS / Windows / Linux）
3. 安装包不到 200MB，正常安装即可

安装完成后，打开终端（macOS 按 Command+空格 搜索"终端"，Windows 搜索"PowerShell"），输入：

ollama run qwen2.5:7b

回车，它会自动下载通义千问 2.5 的 7B 版本，约 4.7GB，下载完直接进入对话。

为什么推荐 qwen2.5:7b 作为入门模型？

阿里开源，中文理解能力在同规模模型中最强，日常对话、写作、代码辅助都能胜任。比同规模的 Llama 系列处理中文快30%以上（依据：Open LLM Leaderboard 中文评测基准）。

如果你内存够用，也可以试试 qwen2.5:14b，回答质量更上一层。

03第二步：装上 Open WebUI，告别命令行

在终端里打字对话太反人类。Open WebUI 是一个开源的网页界面，装完之后打开浏览器就能用，长得跟 ChatGPT 几乎一模一样。

前提：需要先安装 Docker Desktop

1. 打开 docker.com，下载 Docker Desktop 并安装
2. 安装完成后打开 Docker Desktop，确认左下角状态灯是绿色（运行中）

然后一条命令安装 Open WebUI：

docker run -d -p 3000:8080 \--add-host=host.docker.internal:host-gateway \-v open-webui:/app/backend/data \--name open-webui \--restart always \  ghcr.io/open-webui/open-webui:main

Windows 用户在 PowerShell 里把反斜杠 \ 换成反引号 ` 再运行。

等它下载完（约1GB），浏览器打开 http://localhost:3000，注册一个本地账号，就能看到熟悉的对话界面了。

左上角下拉菜单选择 qwen2.5:7b，开始对话。

关键点：所有数据存在你自己电脑的 Docker 容器里，不联网、不同步、不上传。

[IMG: open webui browser interface dark mode chat window local model]

04第三步：让它联网搜索——这才是真正好用的地方

本地模型有个致命缺陷：训练数据有截止日期，问它今天的新闻、最新政策、实时股价，它只会胡说。

解决方案是给它接一个搜索引擎接口。

用 SearXNG 做本地搜索中间层（免费，无需API Key）：

SearXNG 是一个开源的聚合搜索工具，可以同时查询 Google、Bing、百度等多个引擎，结果汇总后喂给 AI。

安装命令：

docker run -d \-p 8080:8080 \--name searxng \  searxng/searxng

安装完成后，回到 Open WebUI：

1. 点击右上角头像 → 管理员面板 → 设置
2. 找到"网络搜索"选项
3. 搜索引擎选择 SearXNG
4. SearXNG URL 填入 http://host.docker.internal:8080
5. 保存

回到对话界面，输入框下方会出现一个"联网搜索"开关，打开它，问一句"今天有什么重要新闻"，它会先搜索，再结合搜索结果给你总结回答。

反常识的地方： 很多人以为本地 AI 联网搜索是高级功能，实际上整套搭建下来不花一分钱，而且因为走的是你自己的网络，搜索速度比某些付费 AI 产品还快。

05整套方案的真实体验

用了一段时间之后，有几点感受值得说清楚：

比付费产品好的地方：

• 私密文件可以放心粘贴，不用担心数据泄露
• 没有对话次数限制，不会用着用着突然说"今日额度已用完"
• 可以本地存档所有历史对话，不会因为账号被封而丢失

不如付费产品的地方：

• 7B 模型的推理能力和 GPT-4o 有明显差距，复杂问题容易答错
• 生成速度受限于本地硬件，性能差的电脑体验不好
• 多模态能力（图片理解、语音）需要额外配置

如果你的需求是：日常问答、写作润色、代码辅助、总结文档、联网查信息——7B 模型基本够用。

如果你需要做复杂的逻辑推理、数学解题、专业学术分析——还是老老实实用 Claude 或 GPT-4o。

06你需要准备的完整清单

• Ollama（免费）：模型下载和运行
• Docker Desktop（免费）：运行 WebUI 和搜索容器
• Open WebUI（免费开源）：网页对话界面
• SearXNG（免费开源）：联网搜索中间层
• qwen2.5:7b 模型（免费）：4.7GB，下载一次永久使用

总花费：0元。

唯一的成本是第一次安装的时间，按照这篇文章的步骤，1小时以内可以全部跑通。

觉得有用，收藏这篇备用，等哪天你的 ChatGPT 账号出问题，或者遇到需要处理敏感文档的场景，直接翻出来按步骤操作。

转发给身边那个每个月都在抱怨 AI 订阅费太贵的朋友。

你在搭建过程中遇到什么报错，或者用的是什么型号的电脑，评论区告诉我，下期出一篇《常见报错排查手册》专门解答。