ARTICLE · 1398730
下载一个大模型要 40 分钟?我把速度从 0.75 提到 84 MB/s
下一个 14.7GB 的模型,单连接只有 0.75 MB/s,照这速度要等五个多小时。我拆成 8 段并发,速度冲到 84 MB/s——112 倍。中间踩了三个隐蔽的坑:HEAD 拿不到文件大小、整段读进内存把自己卡死、估算字节数导致末段错位。
起因:0.75 MB/s,一个模型要下五个小时
本地跑大模型,第一关就是下模型。一个 14.7GB 的 GGUF 文件,用普通方式从 ModelScope 拉,速度卡在 0.75 MB/s 不动。
算一笔账:14.7GB ÷ 0.75 MB/s ≈ 五个半小时。这还只是单个模型,换模型、测五个模型,全这么等,一天就过去了。
我不想等,就花了点时间把下载这条链路从头捋了一遍。最后的结果是:同样一个文件,8 段并发跑到 84 MB/s,快了 112 倍。但这条路不是「开 8 个线程」那么简单——中间有三个坑,每一个都能让你功亏一篑。
陷阱一:HEAD 请求拿不到文件大小
要分段下载,第一步得知道文件总大小,才能切段。
正常思路是发一个 HEAD 请求读 Content-Length。但 ModelScope 的 HEAD 会 302 跳到 CDN,跳完之后 Content-Length 拿不到,返回是空的。
解决办法是绕开 HEAD,用 Range 请求去探:
# ① 用 Range 探测总大小(HEAD 会被 302 骗) headers = {"Range": "bytes=0-0", "Authorization": "Bearer <TOKEN>"} r = requests.get(url, headers=headers, allow_redirects=True) # Content-Range: bytes 0-0/3145728000 → 总大小 = 3145728000 total = int(r.headers["Content-Range"].split("/")[-1])只请求第 0 个字节,服务器会在 Content-Range 里告诉你总大小——bytes 0-0/3145728000 斜杠后面那个数就是。这个数必须是精确值,后面会讲为什么。
教训:拿不到 Content-Length 时,别急着换下载源,先用 Range: bytes=0-0 探一下。
陷阱二:单连接限速,但连接数不限
知道大小之后,就能切段了。这里有个关键判断:CDN 是对单连接限速,不是对总带宽限速。
实测下来,单连接大约卡在 1 MB/s(实际 0.75 MB/s),但连接数基本不设限。既然如此,把一个文件切成 8 段,开 8 个连接同时下,速度就能叠上去。
核心算法不复杂:
# ② 把文件切成 N 段并发下载 N = 8 chunk = total // N for i in range(N): start = i * chunk end = total - 1 if i == N-1 else (i+1)*chunk - 1 # 每段用 Range 请求,4MB 块流式写盘,绝不整段 read() with requests.get(url, headers={"Range": f"bytes={start}-{end}"}, stream=True) as resp: with open(f"part{i}", "wb") as f: for block in resp.iter_content(4*1024*1024): f.write(block) # 关键:流式写,不堆积内存下完所有段,按顺序拼回去就行:
# ③ 所有段完成后按顺序拼接 # cat part0 part1 ... partN > model.gguf注意最后一段的边界要单独处理(end = total - 1),否则会漏字节。
陷阱三:整段 read() 进内存,把自己卡死
这是三个坑里最坑的一个,也是最反直觉的。
我第一版图省事,每段直接 resp.content 一把读进内存再写盘。8 段并发,每段大约 974MB——8 × 974MB ≈ 7.8GB 全怼进内存。
结果:GC 压力暴涨,socket 开始超时,下到 3.6GB 时只剩 4 个连接还在挣扎,剩下的全断了。不是网速问题,是内存把自己吃垮了。
修法就是上面代码里那个 iter_content——按 4MB 一块流式写盘,绝不整段读进内存。这样内存占用恒定,8 个连接都能稳定跑满。
铁律:并发数不是开越多越好。先把内存账算清楚,再谈速度。
另外五个坑,都写进脚本了
除了三个主陷阱,实测还踩了五个细节坑,我把它们和解法一起固化进了脚本:
1.估算字节数导致末段 range 错误——必须用 ModelScope 的精确字节数。曾因估算导致 shard2 少了 968 KB,PLE 张量直接被判 truncated。
2.curl -C - 断点续传在 hf-mirror 上会算错长度——文件偏大或残缺(tensor data not within file bounds)。改用自己控制 Range 分段更可靠。
3.文件被 curl 占用时删不掉(SHFileOperationW 0x20)——先 Stop-Process curl 再删。
4.GitHub release 直连被重置(curl 56)——先 curl -sIL 拿 Content-Length,再用 curl -L -C - 循环重试直到大小达标。
5.ghproxy.net 配 fetch_model.py 会 SIGTERM(探测大小失败)——别用这条路。走 ModelScope resolve/master 直连,它支持 Range/206,实测 62–83 MB/s。
这五个坑单看都不难,但每个都足以让你半夜对着一个残缺文件发呆。写进脚本,就不用每次重新踩。
三个可复用脚本
整个过程沉淀了三个脚本,都在 D:\AI\scripts\:
fetch_model.py | |
repack_parts.py | |
bench_new.py | cache_prompt=false 防 KV 命中) |
repack_parts.py 是个补充——有时候某一段就是慢,8 段里 7 段下完了、1 段还卡着,这时候把那段再拆成 N 份并发,能救回来。
验证:112 倍是怎么测出来的
最后用 14.7GB 的模型实测:
单段:0.75 MB/s 8 段:84 MB/s(112 倍) ModelScope resolve 直连补齐:3 分 42 秒
光看速度还不够,我逐个校验了每个 shard 文件的字节数,和官方给的精确值一致——确认不是「下得快但下错了」。
还有个配套的测速陷阱值得记:新模型首轮测速不作数。同一模型首轮 23 t/s、次轮 172 t/s,差 7.4 倍。原因是冷启动那轮开销大。所以 bench_new.py 里做了预热,再取 3 轮中位数,不然你会被首轮数据骗到。
结论:先算清楚,再并发
回到最初那个问题:大模型下载慢,怎么办?
答案不是简单粗暴地「多开几个线程」,而是先搞明白三件事——文件大小怎么准确拿到(Range 探测)、限速是单连接还是总量(决定并发有没有用)、内存扛不扛得住(决定并发数上限)。这三个想清楚,112 倍是顺理成章的结果。
一句话:并发不是开越多越好——先算清楚内存,再谈速度。
实测通过,直接可用。我把这套多段并发下载的核心算法、三个可复用脚本的用途、五个细节坑的解法,以及测速避坑的方法整理成了一份速查表,照着就能自己搭一套。
需要的话,回复「下载」自取。
我是 Z先生,一个把踩过的坑都写成可复现流程的人。这里只发真机、真数据、真踩坑的本地 AI 实战记录——不搬运、不空谈,每篇都有实测数据和复现路径。想看更多这类内容,点个关注,下一篇继续拆。















































































