本地部署 69GB 的模型,下载 72 分钟读盘 30 秒.

我算了一笔账，算完之后对「本地部署慢」这件事有了完全不同的理解。

先说结论：你等模型的时间，绝大部分不是在等硬盘。

一、那 0.54 秒里，硬盘只占了 0.27 秒

我用同一台机器（双路 Xeon E5-2673 v4，NVMe ext4）做了两组测量。

第一组是硬盘本身的读写速度，「dd」 直接测，512 MiB：

最后一行我要专门说一下。4.0 GB/s 这个数很好看，但它是假的——读的内容被 page cache 接住了，测的是内存速度，不是硬盘。所以任何拿「缓存命中」当硬盘性能的跑分，我都会先把它划掉。

第二组是模型实际加载：610 MB 的 Qwen3-0.6B，三次 warm 加载 0.537 / 0.543 / 0.556 秒。

现在把两个数放一起：

610 MB ÷ 2.3 GB/s ≈ 0.27 秒

从盘上读完这 610 MB，理想情况只要 0.27 秒。但实际加载花了 0.54 秒。

差的那 0.27 秒，一分钱硬盘都没花。 它在解析 GGUF 的头部、建映射、初始化运行时、分配张量。这部分时间，你换再贵的盘也省不掉。

这就是我要说的第一件事：模型加载慢，一半以上不是因为硬盘慢。

二、真正拉开 144 倍的是「第一次拿到模型」

上面算的是加载。真正的成本在更前面一步：模型怎么到你机器上。

我拿今天那个 35B 的模型算。Clover-35B-A3B-Preview，官方模型卡写的 BF16 权重 69 GB（这个数来自官方，不是我实测的，我今天没跑成它）。

两条路：

69 GB ÷ 16.1 MB/s ≈ 4285 秒 ≈ 71.4 分钟69 GB ÷ 2.3 GB/s ≈ 30 秒

72 分钟对 30 秒，144 倍。

这两个数是我按实测带宽换算的，不是掐表测的——但换算的两个输入（16.1 MB/s 的下载带宽、2.3 GB/s 的读盘速度）都是这台机器上实测出来的，误差不会大到改变量级。

三、这笔账到底该怎么记

大多数人讨论本地部署的成本，算的是电费和显卡。这两项确实是钱，但它们不是第一次拦住你的东西。

第一次拦住你的是：你得先把那几十 GB 从外面搬进来。

我这里的 16.1 MB/s 已经算不错的家用带宽了。按这个速度：

· 一个 7B 的 Q4 模型（约 4.5 GB）：4.6 分钟

· 一个 70B 的 Q4 模型（约 40 GB）：41 分钟

· 一个 35B 的 BF16 模型（69 GB）：72 分钟

而且这只是一次。你要是折腾量化对比——同一模型试 Q4 / Q5 / Q8 三个版本——时间直接乘三。

所以「本地部署到底值不值」这个问题的第一笔账，不是显卡钱，是时间钱。

按我这边一小时的时间成本折算，光是把三个量化版本拉下来对比，就要两个多小时纯等待。这段时间你什么都干不了，只能看着进度条。

而如果你有第二台机器、或者一个 NAS，把这些权重放进去一次，之后所有机器都从内网读——2.3 GB/s，69 GB 三十秒。同样一份权重，第二次用就是免费的。

四、一个可执行的动作

如果你正在或者准备折腾本地部署，做一件事就够了：

给模型文件单独留一块本地盘，把常用的权重集中放进去。

不用买贵的。我测的这块盘顺序读 2.3 GB/s，顺序写 1.1 GB/s，这是很普通的 NVMe 水平。你要的不是峰值，是别再让同一份权重从公网走第二遍。

反过来，如果你正在考虑为「加快模型加载」换一块更快的盘——先别换。加载 0.54 秒里只有 0.27 秒在读盘，你把盘的读速翻倍，加载最多变成 0.40 秒。花一块盘的钱，只省 0.14 秒，这笔账不划算。

一块 1TB 的 NVMe 大概 400 块。你为了加载快 0.14 秒去换它，等于花 400 块买回 0.14 秒——把这 400 块花在容量上，能多存七八个 69GB 的模型，省的是 72 分钟。

该花钱的地方是存储容量和网络路径，不是顺序读的峰值。 这句话我想说得直白点：换盘提不快加载，但能让你少等 72 分钟。

参考来源

· 硬盘读写与模型加载时间：本机实测（双路 Xeon E5-2673 v4 / NVMe ext4），2026-10-30 00:08–00:30

· Clover-35B-A3B-Preview 的 69 GB BF16 权重：Hugging Face 「Diffuspace/Clover-35B-A3B-Preview」 官方模型卡（Apache-2.0，2026-10-28 发布），非实测

· 下载带宽 16.1 MB/s：本机 curl 单连接实测（639.4 MB / 38 s）

声明：文中的「72 分钟」「30 秒」「144 倍」「4.6/41/72 分钟」均为按实测带宽换算的推导值，非逐个掐表实测；换算输入均为本机实测。Clover 未在本机运行。

这台机器到底跑不跑得动，先算一遍再下单

买错一张卡，沉没的不只是差价。把模型和机型对上，结论十秒出。

🧮 适配器 · 199 个模型 × 133 台机型　｜　🔧 采购核验 · 买前核卡 / 到手验收

🚀 部署单 · 37 类场景照着做　｜　🩺 排错台 · 143 类报错给根因

📚 方案库 · 76 份现成方案　｜　🔍 核验器 · 141 个项目商用判定

扫码进入「丘山录」小程序

🔔 深耕 AI 干货 | 点名片订阅，上新早知道

#丘山录  #本地部署  #模型下载  #存储实测  #算力账本