乐于分享
好东西不私藏

不花一分钱,在自己电脑上跑 AI 大模型,这几个项目全搞定了

不花一分钱,在自己电脑上跑 AI 大模型,这几个项目全搞定了

4个开源项目,让我取消了ChatGPT Plus订阅

我问过身边很多开发者同一个问题:

"你现在还在付 ChatGPT Plus 的钱吗?"

得到的回答基本分三类:

"在付,每个月 20 刀,心疼但没办法。"

"停了,太贵了,现在将就用免费版。"

"早不用了,我自己本地跑模型。"

第三类人,通常说完之后会给你一个意味深长的眼神


说实话,我之前一直觉得"本地跑大模型"是一件很玄的事——

要配环境、要装驱动、要写一堆配置文件,搞不好跑起来还没有网页版好用。

直到我真正去试了这几个开源项目。

试完之后我就做了一件事:把 ChatGPT Plus 的订阅取消了

今天这篇文章,我把这 4 个项目全部整理出来,每个都亲自上手测试过,安装步骤能有多简单就多简单。

不管你是 Mac、Windows 还是 Linux,不管你是不是程序员,看完都能跑起来。

🔥 先说说为什么值得折腾这件事

在介绍工具之前,我想先说三个字:

值得吗?

值。

理由就三条,说完我们直接上工具。

第一,钱的问题

ChatGPT Plus 20 刀/月,Claude Pro 20 刀/月,Gemini Advanced 20 刀/月。

你要是都订了,一个月快 60 刀,一年将近 700 刀。

换成人民币,差不多 5000 块

本地跑模型,电费另算,但模型本身:免费。

第二,数据的问题

你有没有想过,你跟 ChatGPT 说的那些话,都存在哪里?

如果你用它处理公司项目、客户数据、内部文档——这些内容全部上传到了境外服务器。

本地跑模型,数据不出你的电脑,想说什么说什么。

第三,网络的问题

这个不用我多说。

好,理由说完了。下面进入正题,4 个工具,我按照从简单到进阶的顺序排列,建议从头看起。


📦 工具一:Ollama

GitHub 94,000+ Stars

地址:github.com/ollama/ollama

支持平台:macOS / Linux / Windows

支持模型:Llama 3 / Mistral / Gemma / Qwen / DeepSeek 等 100+

如果你只装一个工具,装这个。

Ollama 干的事情说白了就是:把运行大模型这件复杂的事,变成一行命令

你不需要知道什么 CUDA、什么 GPU 驱动、什么模型量化,Ollama 全帮你搞定了。

装完之后,你想跑哪个模型,一行命令拉下来直接用。

安装方式,真的就这么简单:

macOS / Linux 用户,打开终端:

curl -fsSL https://ollama.com/install.sh | sh

Windows 用户直接去官网下载安装包,双击安装,跟装普通软件一样。

装完之后,运行你的第一个大模型:

ollama run llama3    # 运行 Llama 3ollama run qwen2     # 运行 Qwen2ollama run deepseek-coder  # 运行 DeepSeek

就这一行,它会自动下载模型、自动加载、直接进入对话界面。第一次下载需要等一会儿(模型文件几个 G),下载完之后每次启动秒开。

实际跑起来是什么感觉?

我在 M2 MacBook Pro 上跑 Llama 3 8B 的版本,响应速度大概在 30-50 token/秒,写代码、回答问题、翻译文档,日常使用完全够用。

Ollama 支持哪些模型?

  • 通用对话:Llama 3 / Mistral / Gemma 2
  • 中文增强:Qwen 2 / Yi / ChatGLM
  • 代码专用:DeepSeek Coder / CodeLlama / StarCoder
  • 轻量快速:Phi-3 Mini / Gemma 2B
  • 多模态:LLaVA(可以看图说话)

划重点: Ollama 是后面三个工具的基础,建议先装好它,再往下看。


📦 工具二:Open WebUI

GitHub 42,000+ Stars

地址:github.com/open-webui/open-webui

支持平台:Docker / pip 本地安装

依赖:需先安装 Ollama

用命令行跟 AI 对话,有人觉得很酷。但大多数人用习惯了 ChatGPT 的网页界面,突然换成黑框框,多少有点不适应。

Open WebUI 就是来解决这个问题的。装完之后,你会得到一个和 ChatGPT 网页版几乎一模一样的界面,对话历史、多会话管理、模型切换全都有。

安装方式:

如果你装了 Docker(推荐),一行命令搞定:

docker run -d -p 3000:8080 \  --add-host=host.docker.internal:host-gateway \  -v open-webui:/app/backend/data \  --name open-webui \  ghcr.io/open-webui/open-webui:main

运行完之后,打开浏览器访问 http://localhost:3000,注册一个账号(纯本地账号,数据不上传),就可以开始用了。

没有 Docker 也没关系,pip 安装同样可以:

pip install open-webuiopen-webui serve

Open WebUI 还有几个隐藏的好功能:

① 上传文件直接对话

PDF、Word、TXT 文档,直接拖进去,让 AI 帮你总结、提取信息、回答问题。

② 支持同时跑多个模型对比

选好两个模型,同一个问题分别问,左右对比答案。

③ 对话历史全部本地保存

和 ChatGPT 不同,你的所有对话记录都存在你自己的电脑上,永远不会丢,也不会被看到。


📦 工具三:LM Studio

GitHub 28,000+ Stars

地址:github.com/lmstudio-ai/lmstudio

支持平台:macOS / Windows / Linux

特点:图形界面,无需命令行,开箱即用

前两个工具都需要用到命令行。如果你看到"终端"两个字就头皮发麻,那 LM Studio 是为你准备的。

整个使用流程,全程鼠标操作,完全不需要敲任何命令。

使用步骤:

1 去官网下载安装包,双击安装

2 打开 LM Studio,左侧搜索栏搜索模型名

3 点击下载,等待完成

4 点击「Load Model」,加载完成

5 开始对话

模型库直接内置在软件里,搜索、下载、加载,全在一个界面完成。

开发者福利:兼容 OpenAI API

LM Studio 可以在本地启动一个兼容 OpenAI API 格式的服务。意思就是说——你写的任何调用 ChatGPT API 的代码,一个字不改,直接换个 base_url,就能跑在本地的模型上。

client = OpenAI(    base_url="http://localhost:1234/v1",  # 只改这一行    api_key="not-needed")response = client.chat.completions.create(    model="llama3",    messages=[{"role""user""content""你好!"}])

对于想在本地测试 AI 应用的开发者来说,这个功能省了太多事。


📦 工具四:Jan

GitHub 24,000+ Stars

地址:github.com/janhq/jan

支持平台:macOS / Windows / Linux

特点:设计最精美,扩展能力强,支持联网搜索

如果说前三个工具解决的是"能用"的问题,Jan 解决的是"好用"的问题。

第一次打开 Jan,你可能会愣一下——这东西做得也太好看了吧?

整体风格接近原生 macOS 应用,该有的功能一个没少:

  • 对话历史管理
  • 多模型切换
  • 文件上传与处理
  • 联网搜索(这个很少见)
  • 扩展插件系统
  • 自定义 AI 角色/人设
  • 本地 API 服务

特别要说的是「联网搜索」功能:

大多数本地模型有一个硬伤——知识有截止日期。你问它 2024 年之后发生的事,它可能不知道。

Jan 通过接入搜索引擎插件,让本地模型也能实时获取网络信息。本地运行 + 联网能力,两者兼得。

安装同样简单,去 Jan 官网下载对应系统的安装包,双击安装即可。


💻 配置建议:什么电脑跑什么模型

配置
推荐模型
内存 8GB
Phi-3 Mini / Gemma 2B轻量快速,日常问答没问题
内存 16GB
Llama 3 8B / Qwen 2 7B综合能力强,性价比最高
内存 32GB
Llama 3 70B(量化版)接近 GPT-4 的水平
有独立显卡
显存越大,能跑的模型越大8GB 显存可流畅跑 13B 模型
M 系列 Mac
天生适合本地跑模型统一内存架构,16GB 当 32GB 用

中文效果怎么样?

  • Qwen 2 / Yi 系列的中文表现非常好,阿里和零一万物专门做了中文优化
  • DeepSeek 的代码能力和中文能力都很强,值得优先试试
  • Llama 3 中文表现一般,建议搭配中文微调版本使用

🗺️ 四个工具怎么选?

你是什么情况?

不想用命令行,要图形界面

 ├─ 在意界面美观和功能丰富 → 选 Jan

 └─ 只要简单能用 → 选 LM Studio

不介意命令行,要更强的定制

 ├─ 想要 ChatGPT 同款网页界面 → 选 Ollama + Open WebUI

 └─ 只是想快速跑个模型试试 → 只装 Ollama 就够

补充说明:

  • 四个工具都可以同时装,互不冲突
  • 开发者建议:Ollama(必装)+ Open WebUI(必装)+ LM Studio(API 测试用)
  • 普通用户建议:Jan 或 LM Studio 二选一

最后说几句

其实我挺感慨的。

两年前,"在本地跑大模型"还是一件需要折腾几天的事——要编译源码、要配 CUDA 环境、要解决各种奇怪的依赖冲突。

现在,Ollama 一行命令,LM Studio 双击安装。开源社区把这件事的门槛,降低到了普通人都能完成的程度。

而且这些工具本身全部免费,背后维护它们的开发者,拿到的报酬是 GitHub 上的一颗 Star。我觉得这件事挺了不起的。

你现在用的是哪个 AI 工具?有没有自己本地跑模型的经历?评论区聊聊,我都会看的。

— END —