变废为宝,AI时代旧电脑的大用处

最近我一直在折腾本地大模型。

一方面是因为模型越出越多，越来越强。

另一方面则更现实，因为穷

所以在大家都沉迷于买最新版mac mini时，我转身就从布满灰尘的柜子深处掏出了陈年旧机：

Lenovo ThinkPad P51，

16GB 内存，

Intel Xeon E3-1505M v6，

Quadro M2200，

Ubuntu 24.04.4 LTS。

很多人看到这样的配置，第一反应可能是：

“就这？能认真玩本地 AI 吗？”

我的答案是：不但能，而且很适合拿来建立一套真正能用起来的本地 AI 工作流。

大家可以掏出自己的旧电脑，将配置丢给AI问一问具体，接下来我给大家分享一下我的使用感受。

当然，前提是要先想明白三件事：

这台电脑为什么值得继续用来跑本地模型，它现在到底能做什么，以及你接下来应该怎么用，才不会折腾半天又回到“好像能跑，但没什么实际价值”的状态。

所以这篇文章，我就按我当时掏出它的心理路程来写：

Why，What，How。

Why：为什么它值得跑本地 AI？

先说最重要的一句。

我这台电脑，AI的评价很中肯——不适合追最大最热的模型，但很适合做真正高频、稳定、低成本的本地 AI 练习和应用。

所以我从来没有盯着 14B、32B、70B，甚至想一步到位追求“和云端差不多”。

现在我的AI local model list：

gemma3:4b

phi4-mini-reasoning:3.8b

phi3:3.8b

bge-m3:latest

(刚删除了qwen3.5:9b, 6.6GB，干啥风扇都要嗡嗡嗡转，最简单的introduce yourself要deep think十多分钟……机器顶不住，体验就不好，风扇狂转，速度又慢)

我的这台P51，是很典型的老牌移动工作站，CPU 够稳，内存 16GB 也还在能用区间，Linux 环境对开发和工具链很友好。

(之后或许可以写一篇如何0基础安装ubuntu系统)

虽然Quadro M2200放到今天已经谈不上什么强显卡了，但它依然比很多纯核显机器更有本地部署的基础。

更关键的是，将本地的AI模型尺寸控制得当：我选择的2.2GB 到 3.3GB这一档，几乎无痛使用。

我搭了一个自己平时随时打开、随时调用的，真能长期用下去的AI系统。

这种方便快捷又免费的长期可用性，用下来真的很香。

What：这几个模型，适合做什么？

这部分其实最关键的。

因为很多人不是卡在“跑不起来”，而是卡在“跑起来了，但不知道拿来干嘛”。最具体的案例，就是著名的“龙虾热”。

工具不是重点，更不是终点，只是地基而已。

我们一个一个看。

1. gemma3:4b 是我现在的主力模型

体积3.3GB，对我现在的内存和硬盘压力都还算友好。

4B 这个级别，虽然谈不上什么“顶级智力”，但如果目标是本地日常使用，它已经够承担很多事情了。

我实际是把它内嵌到了obsidian里，加了一堆最常用的action，配合快捷键进行无缝调用，比如：

写一段短文。

改一段表达。

总结笔记。

整理思路。

改写邮件（中转英，英转中）

简单问答。

把一个模糊想法梳理成结构。

甚至random writing后优化排版

……

gemma3 这一系模型，一个很大的优点是整体风格比较稳。诸如此类的零碎小工作，它都很好的完成了任务，符合我的预期，又不会让我分心，不需要切换窗口，连手都不用离开键盘。

2. phi4-mini-reasoning:3.8b 更适合做“想一想”的任务

这个模型从名字上就已经把定位写得很清楚了：reasoning

也就是说，它更偏向推理、分析、拆解，而不是单纯流畅生成。

在我这台机器上，速度会慢一些，但逻辑性确实比gemma3强。

比如：

让它帮我分析两个方案的差别。

让它推演某个逻辑链。

让它帮你列出决策因素。

或者在写东西之前，先让它陪我做结构化思考。

使用下来是有点低于预期的，还不如我在免费的claude窗口里调用skill进行头脑风暴或逻辑推演，但胜在无缝衔接。

我不用为了一个简单分析去打开网页、切账号、等服务响应。

直接ctrl+alt+T，终端里唤醒，几秒钟就能开始协助我。

这种节奏感，是网页端很难办到的。

3. phi3:3.8b 是一个更轻巧、偏通用的备胎

phi3:3.8b 的体积比 phi4-mini-reasoning 更小，只有2.2GB。

这意味着它更轻、更省资源，也更适合在机器状态一般、同时开着很多程序的时候使用。

这个模型特别适合干一类事：

快。

轻。

不用太深。

比如快速改写一句话，快速给一个草稿，快速做格式整理，快速辅助命令行操作说明，或者快速做一些短轮问答。

它其实和gemma3有点重合，是在gemma3之前的主力模型，对于这台电脑的能力边界探索，起了一些帮助吧，或许我后面会考虑删除它了。

4. bge-m3:latest 并不是聊天模型，但它很重要

这是一个向量嵌入模型，不能用来直接对话聊天，但更适合拿来做检索、召回、知识库这类底层工作。

简单说，bge-m3 更适合辅助这样的问题：

“我这堆笔记里，哪几段和这个问题最相关？”

“这批文档里，哪一部分最接近当前查询？”

“我能不能先把资料向量化，再让另一个模型基于检索结果来回答？”

有了它，就不只是停留在“和本地模型对话”这一步了，下一步便是搭建RAG，也就是检索增强生成系统的可能性。

把一个生成模型 + 一个检索模型组合起来，前者负责回答，后者负责找资料。

本地AI模型的优势，正式从快捷，变成自用。不会只是聊天工具，而是接入我的workflow开始打辅助。

所以，总的来说，从模型结构上看，我现在的本地AI模型组合：

一个偏通用，一个偏推理，一个偏轻量（或许不需要），一个偏检索。

日常使用感觉真的很丝滑。

How：AI搭配，干活不累

根据自己的电脑情况，安装三个AI，主力+推理+检索

不用去追求多，也不要追求大，地基打完立即开始探索自己的真实应用，千万不要停留在工具的堆砌阶段，只能自我感动。

真正能稳定复用的场景才是我们下载本地模型的初心。

今天试这个，明天试那个，最后 Ollama list 越来越长，真正常用的还是没有几个。

莫忘初心啊大家。

所以，当大家把配置丢给AI，然后开始下载模型。我用Linux系统进行代码示范，具体大家都可以问AI。

# 下载ollama并配置好curl -fsSL https://ollama.com/install.sh | sh#检查版本ollama --version#选择模型进行下载ollama pull gemma3:4b#在终端里运行模型ollama run gemma3:4b---#查看已经下载了的AI模型ollama list#删除AI 模型ollama rm gemma3:4b

打地基就是这么简单

这六个代码几乎就包含了你在本地电脑上使用AI模型的绝大部分场景了，其它的如何搭建工作流，如何日常嵌入你的工作，真的，因人而异。

你可以先探索自己的路，关注我，后续我也会分享我是如何使用的。