夜雨聆风
「配图摄影 by 辉友Dora」
前阵子苹果发布会之后，我订了一台 128G 内存的 MacBook Pro 顶配版。朋友知道后第一反应是：你又不做视频剪辑，买这么大内存干嘛？
答案很简单：跑本地模型。
先说为什么需要本地模型。有一次，因为某种原因，我常用的云端大模型全都不能用了。那种感觉特别痛苦——不是不方便，是没法工作。我当时就想，如果手里有一个能用的本地模型，哪怕没那么强，心里也会宽慰很多。从那之后我就一直在找合适的本地方案。
其实不只是断网。日常中需要本地模型的场景比你想得多。
我平时录制很多语音笔记，里面有不少东西不适合发到公有大模型上，用本地模型做转录和整理，数据从头到尾没出过我的电脑，安心。用别人的模型处理东西，格式上虽然是那么回事，但往往不能完全满足你的要求——你想让它按你的模板输出，它偏要加点自己的「创意」；而本地模型你可以反复调试，提各种个性化需求，说白了你说了算。我在配置 OpenClaw 的时候也接了本地模型做托底——飞机上、高铁隧道里、云端高峰期变慢变笨的时候，Agent 不至于停摆。今天的 Token 其实供不应求，大家下午用大模型经常觉得它反应迟钝，这不是错觉，厂商卖得越多人均体验越差。有一个不依赖网络的本地方案兜底，关键时刻你会感谢自己的。
保密、可控、托底，这三个需求加在一起，本地模型不是锦上添花，是刚需。
那为什么需要大内存？因为本地模型跑在你自己的电脑上，吃的就是你的算力和内存。而且这里有一个很直接的关系：内存越大，能跑的模型参数就越多；参数越多，模型就越聪明。说白了，你电脑的内存上限，就是你本地模型的智商上限。
我之前用 M4 Pro 48G 的 MacBook Pro 跑 Qwen3.5-35B，聪明、稳定、速度快，已经很惊喜了。这里有个细节：35B 是 MoE（混合专家）架构，每次推理只激活一部分参数，所以跑起来反而比 27B 的 Dense（稠密）架构更快。参数更多，速度更快，一举两得。但 48G 跑 35B 已经接近上限了，想同时干别的事就捉襟见肘。换成 128G，我就能跑更大参数的模型，或者同时跑多个模型互相配合，天花板一下子就高了。
每个人真正高频使用的场景其实是有限的，很多时候就是转录一段录音、整理一份笔记、翻译一段文字。在这些特定场景下，一个配好的本地小模型，效果不见得比云端大模型差，响应速度和稳定性反而更好。
不过本地小模型跟 Agent 的结合还有一个新挑战值得关注。大模型配 Agent，最常碰到的是 Token 费用——贵，但跑得起来。小模型配 Agent 呢？费用不是问题了，但效率会是瓶颈。语言模型不保存状态，Agent 的记忆全靠把历史信息塞进 context，每次对话都要重新加载。大模型上勉强能用，小模型上就很吃力——context 窗口小、推理慢，低效被成倍放大。如何更高效地解决这个问题，我觉得会是接下来的热点方向。
我的建议是，大家在做今年的生活和工作预算时，一定把本地算力的配置留出来。不一定非得像我一样上顶配，但至少选一个内存够跑主流本地模型的配置。二十年前，谁家先装了宽带，谁就先看到了一个不一样的世界。今年的算力，就是当年的宽带。
算力只是基础设施。真正改变工作方式的，是跑在算力上的那些工具。你在这台机器上跑的，不只是一个模型，而是一整套属于你自己的工作方式。
很多朋友问我：如果电脑已经能跑本地模型了，接下来最值得做的一件事是什么？我的答案通常是——装一个 Agent。因为模型解决的是「能不能算」，而 Agent 解决的是「能不能替你把事做完」。
在知识星球的语音「非程序员零基础 OpenClaw 实战课 Part 3a」里，我一步一步讲了怎么在自己的电脑上安装 OpenClaw。第一次装的时候，我自己也踩了不少坑：模型连不上、机器人不回消息、各种报错看不懂。但一旦你把这一关走通，你会发现它开始真正接入你的工作流——不管是在飞机上、网络不稳定的时候，还是云端变慢的时候，它都能作为一个稳定的托底存在。
这一讲我会把整个安装流程拆开讲清楚：需要准备什么环境、模型怎么接进来、哪些地方最容易出问题、遇到错误该怎么排查。听完之后，你基本就能在自己的电脑上跑起来一个真正属于你的 Agent——它不只是一个聊天工具，而是可以长期使用、不断调教、甚至逐渐「变成你自己的」一个 AI 助手。
接下来我还会继续在辉哥奇谭知识星球往下讲两件更关键的事：一是装好之后，怎么让 Agent 真正替你干活，而不是停留在「能聊但没用」；二是本文提到的「本地模型」，到底该怎么选、怎么配，不同内存和模型组合之间的差异到底在哪里。
收听方法：扫描下方二维码。
