所以在大家都沉迷于买最新版mac mini时，我转身就从布满灰尘的柜子深处掏出了陈年旧机：我的答案是：不但能，而且很适合拿来建立一套真正能用起来的本地 AI 工作流。大家可以掏出自己的旧电脑，将配置丢给AI问一问具体，接下来我给大家分享一下我的使用感受。这台电脑为什么值得继续用来跑本地模型，它现在到底能做什么，以及你接下来应该怎么用，才不会折腾半天又回到“好像能跑，但没什么实际价值”的状态。
Why：为什么它值得跑本地 AI？
我这台电脑，AI的评价很中肯——不适合追最大最热的模型，但很适合做真正高频、稳定、低成本的本地 AI 练习和应用。所以我从来没有盯着 14B、32B、70B，甚至想一步到位追求“和云端差不多”。(刚删除了qwen3.5:9b, 6.6GB，干啥风扇都要嗡嗡嗡转，最简单的introduce yourself要deep think十多分钟……机器顶不住，体验就不好，风扇狂转，速度又慢)我的这台P51，是很典型的老牌移动工作站，CPU 够稳，内存 16GB 也还在能用区间，Linux 环境对开发和工具链很友好。(之后或许可以写一篇如何0基础安装ubuntu系统)虽然Quadro M2200放到今天已经谈不上什么强显卡了，但它依然比很多纯核显机器更有本地部署的基础。更关键的是，将本地的AI模型尺寸控制得当：我选择的2.2GB 到 3.3GB这一档，几乎无痛使用。我搭了一个自己平时随时打开、随时调用的，真能长期用下去的AI系统。
What：这几个模型，适合做什么？
因为很多人不是卡在“跑不起来”，而是卡在“跑起来了，但不知道拿来干嘛”。最具体的案例，就是著名的“龙虾热”。体积3.3GB，对我现在的内存和硬盘压力都还算友好。4B 这个级别，虽然谈不上什么“顶级智力”，但如果目标是本地日常使用，它已经够承担很多事情了。我实际是把它内嵌到了obsidian里，加了一堆最常用的action，配合快捷键进行无缝调用，比如：gemma3 这一系模型，一个很大的优点是整体风格比较稳。诸如此类的零碎小工作，它都很好的完成了任务，符合我的预期，又不会让我分心，不需要切换窗口，连手都不用离开键盘。2. phi4-mini-reasoning:3.8b 更适合做“想一想”的任务这个模型从名字上就已经把定位写得很清楚了：reasoning也就是说，它更偏向推理、分析、拆解，而不是单纯流畅生成。在我这台机器上，速度会慢一些，但逻辑性确实比gemma3强。使用下来是有点低于预期的，还不如我在免费的claude窗口里调用skill进行头脑风暴或逻辑推演，但胜在无缝衔接。我不用为了一个简单分析去打开网页、切账号、等服务响应。直接ctrl+alt+T，终端里唤醒，几秒钟就能开始协助我。3. phi3:3.8b 是一个更轻巧、偏通用的备胎phi3:3.8b 的体积比 phi4-mini-reasoning 更小，只有2.2GB。这意味着它更轻、更省资源，也更适合在机器状态一般、同时开着很多程序的时候使用。比如快速改写一句话，快速给一个草稿，快速做格式整理，快速辅助命令行操作说明，或者快速做一些短轮问答。它其实和gemma3有点重合，是在gemma3之前的主力模型，对于这台电脑的能力边界探索，起了一些帮助吧，或许我后面会考虑删除它了。4. bge-m3:latest 并不是聊天模型，但它很重要这是一个向量嵌入模型，不能用来直接对话聊天，但更适合拿来做检索、召回、知识库这类底层工作。“我能不能先把资料向量化，再让另一个模型基于检索结果来回答？”有了它，就不只是停留在“和本地模型对话”这一步了，下一步便是搭建RAG，也就是检索增强生成系统的可能性。把一个生成模型 + 一个检索模型组合起来，前者负责回答，后者负责找资料。本地AI模型的优势，正式从快捷，变成自用。不会只是聊天工具，而是接入我的workflow开始打辅助。所以，总的来说，从模型结构上看，我现在的本地AI模型组合：一个偏通用，一个偏推理，一个偏轻量（或许不需要），一个偏检索。
How：AI搭配，干活不累
根据自己的电脑情况，安装三个AI，主力+推理+检索不用去追求多，也不要追求大，地基打完立即开始探索自己的真实应用，千万不要停留在工具的堆砌阶段，只能自我感动。今天试这个，明天试那个，最后 Ollama list 越来越长，真正常用的还是没有几个。所以，当大家把配置丢给AI，然后开始下载模型。我用Linux系统进行代码示范，具体大家都可以问AI。# 下载ollama并配置好curl -fsSL https://ollama.com/install.sh | sh#检查版本ollama --version#选择模型进行下载ollama pull gemma3:4b#在终端里运行模型ollama run gemma3:4b---#查看已经下载了的AI模型ollama list#删除AI 模型ollama rm gemma3:4b
这六个代码几乎就包含了你在本地电脑上使用AI模型的绝大部分场景了，其它的如何搭建工作流，如何日常嵌入你的工作，真的，因人而异。你可以先探索自己的路，关注我，后续我也会分享我是如何使用的。
夜雨聆风
