夜雨聆风学习资料网

ARTICLE · 1398730

下载一个大模型要 40 分钟?我把速度从 0.75 提到 84 MB/s

下载一个大模型要 40 分钟?我把速度从 0.75 提到 84 MB/s

下一个 14.7GB 的模型,单连接只有 0.75 MB/s,照这速度要等五个多小时。我拆成 8 段并发,速度冲到 84 MB/s——112 倍。中间踩了三个隐蔽的坑:HEAD 拿不到文件大小、整段读进内存把自己卡死、估算字节数导致末段错位。

起因:0.75 MB/s,一个模型要下五个小时

本地跑大模型,第一关就是下模型。一个 14.7GB 的 GGUF 文件,用普通方式从 ModelScope 拉,速度卡在 0.75 MB/s 不动。

算一笔账:14.7GB ÷ 0.75 MB/s ≈ 五个半小时。这还只是单个模型,换模型、测五个模型,全这么等,一天就过去了。

我不想等,就花了点时间把下载这条链路从头捋了一遍。最后的结果是:同样一个文件,8 段并发跑到 84 MB/s,快了 112 倍。但这条路不是「开 8 个线程」那么简单——中间有三个坑,每一个都能让你功亏一篑。

陷阱一:HEAD 请求拿不到文件大小

要分段下载,第一步得知道文件总大小,才能切段。

正常思路是发一个 HEAD 请求读 Content-Length。但 ModelScope 的 HEAD 会 302 跳到 CDN,跳完之后 Content-Length 拿不到,返回是空的。

解决办法是绕开 HEAD,用 Range 请求去探:

# ① 用 Range 探测总大小(HEAD 会被 302 骗) headers = {"Range": "bytes=0-0", "Authorization": "Bearer <TOKEN>"} r = requests.get(url, headers=headers, allow_redirects=True) # Content-Range: bytes 0-0/3145728000  →  总大小 = 3145728000 total = int(r.headers["Content-Range"].split("/")[-1])

只请求第 0 个字节,服务器会在 Content-Range 里告诉你总大小——bytes 0-0/3145728000 斜杠后面那个数就是。这个数必须是精确值,后面会讲为什么。

教训:拿不到 Content-Length 时,别急着换下载源,先用 Range: bytes=0-0 探一下。

陷阱二:单连接限速,但连接数不限

知道大小之后,就能切段了。这里有个关键判断:CDN 是对单连接限速,不是对总带宽限速。

实测下来,单连接大约卡在 1 MB/s(实际 0.75 MB/s),但连接数基本不设限。既然如此,把一个文件切成 8 段,开 8 个连接同时下,速度就能叠上去。

核心算法不复杂:

# ② 把文件切成 N 段并发下载 N = 8 chunk = total // N for i in range(N):     start = i * chunk     end = total - 1 if i == N-1 else (i+1)*chunk - 1     # 每段用 Range 请求,4MB 块流式写盘,绝不整段 read()     with requests.get(url, headers={"Range": f"bytes={start}-{end}"}, stream=True) as resp:         with open(f"part{i}", "wb") as f:             for block in resp.iter_content(4*1024*1024):                 f.write(block)        # 关键:流式写,不堆积内存

下完所有段,按顺序拼回去就行:

# ③ 所有段完成后按顺序拼接 # cat part0 part1 ... partN > model.gguf

注意最后一段的边界要单独处理(end = total - 1),否则会漏字节。

陷阱三:整段 read() 进内存,把自己卡死

这是三个坑里最坑的一个,也是最反直觉的。

我第一版图省事,每段直接 resp.content 一把读进内存再写盘。8 段并发,每段大约 974MB——8 × 974MB ≈ 7.8GB 全怼进内存。

结果:GC 压力暴涨,socket 开始超时,下到 3.6GB 时只剩 4 个连接还在挣扎,剩下的全断了。不是网速问题,是内存把自己吃垮了。

修法就是上面代码里那个 iter_content——按 4MB 一块流式写盘,绝不整段读进内存。这样内存占用恒定,8 个连接都能稳定跑满。

铁律:并发数不是开越多越好。先把内存账算清楚,再谈速度。

另外五个坑,都写进脚本了

除了三个主陷阱,实测还踩了五个细节坑,我把它们和解法一起固化进了脚本:

1.估算字节数导致末段 range 错误——必须用 ModelScope 的精确字节数。曾因估算导致 shard2 少了 968 KB,PLE 张量直接被判 truncated。

2.curl -C - 断点续传在 hf-mirror 上会算错长度——文件偏大或残缺(tensor data not within file bounds)。改用自己控制 Range 分段更可靠。

3.文件被 curl 占用时删不掉(SHFileOperationW 0x20)——先 Stop-Process curl 再删。

4.GitHub release 直连被重置(curl 56)——先 curl -sIL 拿 Content-Length,再用 curl -L -C - 循环重试直到大小达标。

5.ghproxy.net 配 fetch_model.py 会 SIGTERM(探测大小失败)——别用这条路。走 ModelScope resolve/master 直连,它支持 Range/206,实测 62–83 MB/s。

这五个坑单看都不难,但每个都足以让你半夜对着一个残缺文件发呆。写进脚本,就不用每次重新踩。

三个可复用脚本

整个过程沉淀了三个脚本,都在 D:\AI\scripts\:

脚本
作用
fetch_model.py
多段并发下载(流式 + 续传 + 自动探测大小)
repack_parts.py
把卡住的分片再横向拆分(未完成段拆 N 份并发)
bench_new.py
预热 + 3 轮中位数测速(cache_prompt=false 防 KV 命中)

repack_parts.py 是个补充——有时候某一段就是慢,8 段里 7 段下完了、1 段还卡着,这时候把那段再拆成 N 份并发,能救回来。

验证:112 倍是怎么测出来的

最后用 14.7GB 的模型实测:

  • 单段:0.75 MB/s
  • 8 段:84 MB/s(112 倍)
  • ModelScope resolve 直连补齐:3 分 42 秒

光看速度还不够,我逐个校验了每个 shard 文件的字节数,和官方给的精确值一致——确认不是「下得快但下错了」。

还有个配套的测速陷阱值得记:新模型首轮测速不作数。同一模型首轮 23 t/s、次轮 172 t/s,差 7.4 倍。原因是冷启动那轮开销大。所以 bench_new.py 里做了预热,再取 3 轮中位数,不然你会被首轮数据骗到。

结论:先算清楚,再并发

回到最初那个问题:大模型下载慢,怎么办?

答案不是简单粗暴地「多开几个线程」,而是先搞明白三件事——文件大小怎么准确拿到(Range 探测)、限速是单连接还是总量(决定并发有没有用)、内存扛不扛得住(决定并发数上限)。这三个想清楚,112 倍是顺理成章的结果。

一句话:并发不是开越多越好——先算清楚内存,再谈速度。

实测通过,直接可用。我把这套多段并发下载的核心算法、三个可复用脚本的用途、五个细节坑的解法,以及测速避坑的方法整理成了一份速查表,照着就能自己搭一套。

需要的话,回复「下载」自取。

我是 Z先生,一个把踩过的坑都写成可复现流程的人。这里只发真机、真数据、真踩坑的本地 AI 实战记录——不搬运、不空谈,每篇都有实测数据和复现路径。想看更多这类内容,点个关注,下一篇继续拆。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料