本地大模型装好了,我却卸载了

模型装好了，能回答问题，外网调用也打通了。折腾了一轮，我最后还是把它卸载了。

10月14日，我在一台32GB统一内存的 Mac mini 上，试用了千问 Qwen3.8-27B 的 MLX 6bit 版本。27B 指约270亿参数，6bit 是压缩模型权重的一种精度配置。运行工具用的是 LM Studio，推理走适配苹果芯片的 MLX。

我想让它干的事很具体：写公众号、编写代码、整理本地资料。选型时，我还特意提出，尽量找这台电脑能带动、能力更强的模型。

最后留下的经验却是：把模型装进去，只完成了很小的一步。

文件装得下，工作未必接得住

这版模型的文件约22.8GB。下载、校验、加载都做了，模型也确实返回过正常回答。但连续测试中，系统交换空间增长，模型多次触发内存保护。

这里容易混淆两种空间。22.8GB 是模型文件占用的磁盘空间；模型运行时，还要和系统、浏览器、客户端一起争用内存，处理对话也有额外开销。不能拿32减去22.8，就把差额当成随时可用的稳定余量。

试用中，服务最初实际加载的上下文只有4096 Token，后来又调整过。Token 是模型处理文字时使用的单位，上下文则限制了一次能装入多少输入和生成内容。

模型介绍里的长上下文能力，和这台机器当前配置能稳定使用的容量，是两回事。客户端填一个更大的数字，也不会凭空多出内存。

短问题可以成功，换成长任务仍可能出问题。我当时想要的，恰好是要带资料、读代码、接工具的工作。

一句短问题，背后可能带着一大包东西

接入智能体客户端后，出现过提示词超过上下文长度的错误。起初看界面，很容易以为只是输入、输出参数没有填对。

排查记录里，有一次请求实际输入约4.45万 Token，并带着24个工具定义。用户在输入框里写下的文字，只占整份请求的一部分。

智能体为了调用文件、执行任务，会附带系统说明、工具定义以及对话历史。工具定义要告诉模型有哪些工具、什么时候使用、参数怎么填。这些内容也要经过模型处理。

因此，简单问答能返回结果，并不能证明同一套配置能接住智能体任务。请求还没开始正式干活，就可能先花大量时间读取说明，或者已经超出容量。

测试时，一笔长请求出现了取消、断连记录，另有请求没有留下正常完成记录。仅凭这些，无法把所有等待都归因于某一个环节；客户端超时、输入处理和模型负载，都需要分别排查。

但对使用者来说，结论很直接：任务没有顺利完成，就还不能当作主力工具。

客户端关了思考，服务端还在想

另一处麻烦出在思考模式。Chatbox 里已经尝试关闭，普通请求却仍进入思考流程。

检查后发现，客户端、兼容接口和模型提示模板之间没有对齐：关闭参数没有按预期传到实际控制思考的那一层。

这项问题后来修好了。测试中，默认关闭和显式关闭都能直接返回正文，显式开启仍能返回思考内容；流式输出、外网调用和重新加载后的行为也做了验证。

这段过程值得保留，因为它说明，遇到问题时不能只盯着模型本身。客户端支持某个开关，并不保证当前服务端会按同样的方式理解它。接口能连接，也不代表每个参数都已正确生效。

兼容性问题解决了一部分，内存余量和长任务的适配仍然是另一笔账。

我想省下工作，结果多了一项维护工作

我希望把时间用在文章、代码和资料上。这次试用却还需要持续处理加载配置、内存占用、请求长度、思考参数和服务状态。

这些工作本身有学习价值，但没有自动变成我需要的生产力。最后，我决定移除这套试用：模型权重、专用运行环境、外网入口和监控模块都清理掉，把资源留给其他工作。

这不是一份完整的模型能力评测。没有做过同机不同量化精度、不同引擎、不同规模模型的系统对照，不能据此认定千问27B能力差，更不能说32GB电脑上的本地模型都没有价值。

这次能说清楚的是：这套27B、6bit配置，配上当时的客户端和任务，没有成为我愿意长期使用的主力方案。

如果你也准备尝试，可以先拿一项真实工作验收。比如处理一份常用资料、修改一段日常代码，看它能否连续完成、结果要改多少，以及其他软件还能不能正常使用。先把这件事跑顺，再考虑接入更多工具。

对我来说，看到模型回答“部署成功”，还不能算成功。能把本来要做的工作交出去，再把可用结果拿回来，才值得把它留下。