夜雨聆风学习资料网

ARTICLE · 1307737

装一个本地AI要多久?我掐表走一遍,23 分钟卡在加载

装一个本地AI要多久?我掐表走一遍,23 分钟卡在加载

上周三晚上九点,我把自己那台 16G 内存的旧笔记本重装了一遍本地 AI,机器是三年前的轻薄本,没有独立显卡。

从点下下载按钮,到它开口答第一句,表停在一小时零七分。

你要是不想为这件事搭进去一整个周末,先看这四段各花多久,比翻十篇教程管用。

一、总账先摆出来:67 分钟

我把表掐在四个地方:下模型、装环境、加载、调通。

  1. 下载模型文件:18 分钟
  2. 装运行环境:11 分钟
  3. 加载第一个模型:23 分钟
  4. 改到它能正常回答:15 分钟
 

加起来 67 分钟。这是第二次装的时间。

第一次装我用了两个半小时,多出来那一个多小时,全花在查报错上。所以第一次装的人,别拿两个小时当预算,按三个小时排。

第一次装,直接按三个小时排,两小时一定赶。

先说清楚:这四段各有多长跟你的机器有关,比例大体不变。

下载看网速,加载看内存和硬盘,调通看你踩过没踩过。能算的我算给你,算不出来的我标明白是估的。

二、下载这一步能算,别赌

模型体积是死的。7B、4 位量化这一档,文件 4.5G 左右;再往上是 9G、19G,一层层翻。

拿 4.5G 除以你的宽带:20M 的线要 31 分钟,50M 要 12 分钟,100M 要 6 分钟。

 

我家 50M,实测 18 分钟,比算出来的慢,因为中间断了两次。换算和实测差出来的那几分钟,就是断线、限速和对方服务器的脾气。

先把体积和网速对一遍,再决定下哪一档,比下完再后悔省时间。

三个坑都在这:

1. 硬盘留两倍体积。4.5G 的模型,中途还要一份临时文件,剩 5G 就写不完。

  1. 别用手机热点。4.5G 就是 4.5GB 流量,比时间贵。
  2. 断了就续传。有些工具一删,下好的部分也一起没了。
 

三、装环境:十分钟的活,报错占一半

装运行环境、拉模型,命令不超过三行。我这次 11 分钟,其中 7 分钟在改路径:目录名里带空格和中文,它读不到。

 

这里说一句不同意的:一键安装包看着省事,实际更费时间。

它把模型和运行环境捆在一起,出问题时你分不清是哪一层坏的;体积还翻倍,一次要下十几 G。

我更愿意分开装。哪一步错了改哪一步,报错原文也能对上号。你搜到的答案,才可能真的是你那个错。

四、加载卡住,多半不是硬盘

第三步那 23 分钟,最容易被当成「硬盘慢」。

4.5G 从硬盘读进内存,按每秒 100M 算大约 45 秒;机械盘慢一倍,也不到两分钟。

剩下的二十多分钟,我在处理内存不够:加载到八成,进程直接退出,屏幕上什么提示都没有。

它不报错,是因为它没崩,是被系统清掉的。

 

后来我把模型降到 2G 那一档,一次就进去了。这一档占内存三四个 G,16G 的机器跑得开,8G 的也能试。

还有一个容易被忽略的点:没有独立显卡的机器,显存是从内存里切出来的。你以为是显存不够,其实是内存先被吃掉,两边一起紧张。

所以加载卡住,先看内存占用,再看硬盘。16G 的机器跑 9G 的模型很难,那不是设置问题,是放不下。

五、什么算装好

能打开界面不算,能答对才算。我给三个问题:

  1. 用中文问它一件昨天的事,句子通不通
  2. 说一个名字,隔两轮再提,看它记不记得
  3. 让它算一道三位数乘法,看它敢不敢编

三个都过,再谈把它接进你每天要干的活。有一个不过,就是模型太小或者量化太狠,换一档,别在设置里绕。

这一步没做完就急着接活,后面所有「它不好用」的结论,都不算数。

我装崩过三次,两次是下错了文件版本,一次是内存不够还硬上大模型。这三次都没花在「装」上,花在「以为装好了」上。

今晚真要动手,就做第一步:把那 4.5G 下完,剩下的明天再说。

装 AI 最怕的不是慢,是一晚上装到能跑,第二天发现它答得一塌糊涂。

先量内存,再决定下多大的模型。顺序反了,那一晚就是白熬。

说明:文中 4.5G、9G、19G 是常见 7B、14B 量化模型的体积口径,按估算写的;67 分钟是我这台 16G 内存笔记本的一次记录,你的机器会有出入。下载时间按带宽折算,不含中断。

说明:本文由 AI 协助整理核对过程,结论与判断为人工给出。

如果你也在自己机器上折腾 AI,可以关注这个号。我只写自己装过、跑通的,装不上就直说装不上。

拿旺财 · 2026-11-04

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料