不花一分钱,在自己电脑上跑 AI 大模型,这几个项目全搞定了

4个开源项目，让我取消了ChatGPT Plus订阅

我问过身边很多开发者同一个问题：

"你现在还在付 ChatGPT Plus 的钱吗？"

得到的回答基本分三类：

"在付，每个月 20 刀，心疼但没办法。"

"停了，太贵了，现在将就用免费版。"

"早不用了，我自己本地跑模型。"

第三类人，通常说完之后会给你一个意味深长的眼神

说实话，我之前一直觉得"本地跑大模型"是一件很玄的事——

要配环境、要装驱动、要写一堆配置文件，搞不好跑起来还没有网页版好用。

直到我真正去试了这几个开源项目。

试完之后我就做了一件事：把 ChatGPT Plus 的订阅取消了。

今天这篇文章，我把这 4 个项目全部整理出来，每个都亲自上手测试过，安装步骤能有多简单就多简单。

不管你是 Mac、Windows 还是 Linux，不管你是不是程序员，看完都能跑起来。

🔥 先说说为什么值得折腾这件事

在介绍工具之前，我想先说三个字：

值得吗？

值。

理由就三条，说完我们直接上工具。

第一，钱的问题

ChatGPT Plus 20 刀/月，Claude Pro 20 刀/月，Gemini Advanced 20 刀/月。

你要是都订了，一个月快 60 刀，一年将近 700 刀。

换成人民币，差不多 5000 块。

本地跑模型，电费另算，但模型本身：免费。

第二，数据的问题

你有没有想过，你跟 ChatGPT 说的那些话，都存在哪里？

如果你用它处理公司项目、客户数据、内部文档——这些内容全部上传到了境外服务器。

本地跑模型，数据不出你的电脑，想说什么说什么。

第三，网络的问题

这个不用我多说。

好，理由说完了。下面进入正题，4 个工具，我按照从简单到进阶的顺序排列，建议从头看起。

📦 工具一：Ollama

GitHub 94,000+ Stars

地址：github.com/ollama/ollama

支持平台：macOS / Linux / Windows

支持模型：Llama 3 / Mistral / Gemma / Qwen / DeepSeek 等 100+

如果你只装一个工具，装这个。

Ollama 干的事情说白了就是：把运行大模型这件复杂的事，变成一行命令。

你不需要知道什么 CUDA、什么 GPU 驱动、什么模型量化，Ollama 全帮你搞定了。

装完之后，你想跑哪个模型，一行命令拉下来直接用。

安装方式，真的就这么简单：

macOS / Linux 用户，打开终端：

curl -fsSL https://ollama.com/install.sh | sh

Windows 用户直接去官网下载安装包，双击安装，跟装普通软件一样。

装完之后，运行你的第一个大模型：

ollama run llama3 # 运行 Llama 3ollama run qwen2 # 运行 Qwen2ollama run deepseek-coder # 运行 DeepSeek

就这一行，它会自动下载模型、自动加载、直接进入对话界面。第一次下载需要等一会儿（模型文件几个 G），下载完之后每次启动秒开。

实际跑起来是什么感觉？

我在 M2 MacBook Pro 上跑 Llama 3 8B 的版本，响应速度大概在 30-50 token/秒，写代码、回答问题、翻译文档，日常使用完全够用。

Ollama 支持哪些模型？

通用对话：Llama 3 / Mistral / Gemma 2
中文增强：Qwen 2 / Yi / ChatGLM
代码专用：DeepSeek Coder / CodeLlama / StarCoder
轻量快速：Phi-3 Mini / Gemma 2B
多模态：LLaVA（可以看图说话）

划重点： Ollama 是后面三个工具的基础，建议先装好它，再往下看。

📦 工具二：Open WebUI

GitHub 42,000+ Stars

地址：github.com/open-webui/open-webui

支持平台：Docker / pip 本地安装

依赖：需先安装 Ollama

用命令行跟 AI 对话，有人觉得很酷。但大多数人用习惯了 ChatGPT 的网页界面，突然换成黑框框，多少有点不适应。

Open WebUI 就是来解决这个问题的。装完之后，你会得到一个和 ChatGPT 网页版几乎一模一样的界面，对话历史、多会话管理、模型切换全都有。

安装方式：

如果你装了 Docker（推荐），一行命令搞定：

docker run -d -p 3000:8080 \  --add-host=host.docker.internal:host-gateway \  -v open-webui:/app/backend/data \  --name open-webui \  ghcr.io/open-webui/open-webui:main

运行完之后，打开浏览器访问 http://localhost:3000，注册一个账号（纯本地账号，数据不上传），就可以开始用了。

没有 Docker 也没关系，pip 安装同样可以：

pip install open-webuiopen-webui serve

Open WebUI 还有几个隐藏的好功能：

① 上传文件直接对话

PDF、Word、TXT 文档，直接拖进去，让 AI 帮你总结、提取信息、回答问题。

② 支持同时跑多个模型对比

选好两个模型，同一个问题分别问，左右对比答案。

③ 对话历史全部本地保存

和 ChatGPT 不同，你的所有对话记录都存在你自己的电脑上，永远不会丢，也不会被看到。

📦 工具三：LM Studio

GitHub 28,000+ Stars

地址：github.com/lmstudio-ai/lmstudio

支持平台：macOS / Windows / Linux

特点：图形界面，无需命令行，开箱即用

前两个工具都需要用到命令行。如果你看到"终端"两个字就头皮发麻，那 LM Studio 是为你准备的。

整个使用流程，全程鼠标操作，完全不需要敲任何命令。

使用步骤：

1 去官网下载安装包，双击安装

2 打开 LM Studio，左侧搜索栏搜索模型名

3 点击下载，等待完成

4 点击「Load Model」，加载完成

5 开始对话

模型库直接内置在软件里，搜索、下载、加载，全在一个界面完成。

开发者福利：兼容 OpenAI API

LM Studio 可以在本地启动一个兼容 OpenAI API 格式的服务。意思就是说——你写的任何调用 ChatGPT API 的代码，一个字不改，直接换个 base_url，就能跑在本地的模型上。

client = OpenAI(    base_url="http://localhost:1234/v1",  # 只改这一行    api_key="not-needed")response = client.chat.completions.create(    model="llama3",    messages=[{"role": "user", "content": "你好！"}])

对于想在本地测试 AI 应用的开发者来说，这个功能省了太多事。

📦 工具四：Jan

GitHub 24,000+ Stars

地址：github.com/janhq/jan

支持平台：macOS / Windows / Linux

特点：设计最精美，扩展能力强，支持联网搜索

如果说前三个工具解决的是"能用"的问题，Jan 解决的是"好用"的问题。

第一次打开 Jan，你可能会愣一下——这东西做得也太好看了吧？

整体风格接近原生 macOS 应用，该有的功能一个没少：

对话历史管理
多模型切换
文件上传与处理
联网搜索（这个很少见）
扩展插件系统
自定义 AI 角色/人设
本地 API 服务

特别要说的是「联网搜索」功能：

大多数本地模型有一个硬伤——知识有截止日期。你问它 2024 年之后发生的事，它可能不知道。

Jan 通过接入搜索引擎插件，让本地模型也能实时获取网络信息。本地运行 + 联网能力，两者兼得。

安装同样简单，去 Jan 官网下载对应系统的安装包，双击安装即可。

💻 配置建议：什么电脑跑什么模型

配置	推荐模型
内存 8GB	Phi-3 Mini / Gemma 2B轻量快速，日常问答没问题
内存 16GB	Llama 3 8B / Qwen 2 7B综合能力强，性价比最高
内存 32GB	Llama 3 70B（量化版）接近 GPT-4 的水平
有独立显卡	显存越大，能跑的模型越大8GB 显存可流畅跑 13B 模型
M 系列 Mac	天生适合本地跑模型统一内存架构，16GB 当 32GB 用

中文效果怎么样？

Qwen 2 / Yi 系列的中文表现非常好，阿里和零一万物专门做了中文优化
DeepSeek 的代码能力和中文能力都很强，值得优先试试
Llama 3 中文表现一般，建议搭配中文微调版本使用

🗺️ 四个工具怎么选？

你是什么情况？

不想用命令行，要图形界面

　├─ 在意界面美观和功能丰富 → 选 Jan

　└─ 只要简单能用 → 选 LM Studio

不介意命令行，要更强的定制

　├─ 想要 ChatGPT 同款网页界面 → 选 Ollama + Open WebUI

　└─ 只是想快速跑个模型试试 → 只装 Ollama 就够

补充说明：

四个工具都可以同时装，互不冲突
开发者建议：Ollama（必装）+ Open WebUI（必装）+ LM Studio（API 测试用）
普通用户建议：Jan 或 LM Studio 二选一

最后说几句

其实我挺感慨的。

两年前，"在本地跑大模型"还是一件需要折腾几天的事——要编译源码、要配 CUDA 环境、要解决各种奇怪的依赖冲突。

现在，Ollama 一行命令，LM Studio 双击安装。开源社区把这件事的门槛，降低到了普通人都能完成的程度。

而且这些工具本身全部免费，背后维护它们的开发者，拿到的报酬是 GitHub 上的一颗 Star。我觉得这件事挺了不起的。

你现在用的是哪个 AI 工具？有没有自己本地跑模型的经历？评论区聊聊，我都会看的。

— END —