老显卡别扔：4GB显存跑AI助手，指令遵从比

英伟达 10 月 23 日放了个叫 Nemotron 3.5 Bolt E4B 的模型，跑起来只吃 4GB 显存。你手上那块 6GB、8GB 的老显卡，插上就能跑个本地 AI 助手。

这模型最绝的是特别听话。在测“会不会偷偷不听话”的榜单上拿了 84.79 分，比同尺寸的 Gemma 4 和 Qwen 3.5 高出一大截。你让它只输出 JSON，它就绝不寒暄；你让它别乱调工具，它真就不调。

不过它也有明显的偏科。长文档推理和多轮客服任务明显落后，聊天文采也不如原模型。而且那个“4GB”指的是显存占用，实际下载文件是 6.18GB，想跑视觉也不行。

好在速度够快。在 RTX 5070 上实测生成速度能到 133 token/s，首字延迟才 0.55 秒，做语音助手完全够用。近五年的独立显卡都能轻松带动，旗舰卡反而纯属浪费。

这模型最适合干三件事：一是把敏感邮件自动分类归档，数据不出本机；二是给 8GB 设备里的轻量语音助手当大脑；三是给主 Agent 当门卫，每次调工具前先过它判断该不该发。

塞得进去只是入场券，能不能听话干活才是本地 AI 的下一道门。