夜雨聆风学习资料网

ARTICLE · 1234012

Strata 本地大模型一键整合包 · 安装与使用教程

Strata 本地大模型一键整合包 · 安装与使用教程
Swift 1.5  |  IQ3_S 量化  |  128K 上下文  |  Windows + NVIDIA
百度网盘: https://pan.baidu.com/s/1tMSIFO03gHBALQl7Yx7cMQ?pwd=f92a 提取码: f92a

蓝手猫  ·  本地大模型整合包

一、先看配置要求

装之前先对照一下,缺项会白折腾:

项目

要求

说明

CPU

支持 AVX(E5 v2 / 4 代酷睿以上)

有 AVX2 自动用标准引擎,只有 AVX 切 AVX 版引擎

内存

64 GB 起,推荐 128 GB

专家权重会缓存到内存,越大越顺

显卡

NVIDIA 8 GB 显存起

驱动要新;本机实测 RTX 3080 10 GB

硬盘

预留 90 GB

模型本体约 78 GB,压缩包 5.6 GB

图 1  配置要求一览

二、Swift 1.5 是什么

这个整合包跑的不是通用小模型,而是 Swift 1.5 —— 一个 125B 总参数、6B 激活的混合专家(MoE)模型,底模是 Qwen3.8-Flash-Next,经 GSQ-RCO 精调后量化成 IQ3_S。它另带一张 51B 的 n-gram 词表,所以总权重大,但每个 token 只用得上其中一小部分专家,这也是它能装进一台普通机器的原因。

关键规格:

项目

规格

说明

参数规模

125B 总参数 / 6B 激活

MoE 结构,另带 51B n-gram 词表

量化

IQ3_S,两份 gguf

44.9 GB + 38.8 GB = 83.7 GB(资源管理器显示约 78 GB)

上下文

131072 token(128K)

KV 缓存 int8,长文档可整篇喂进去

多模态

视觉投影 mmproj(866 MB)

随包提供,可以直接发图让它看

加速

MTP 多 token 预测头

一次前进吐 4-6 个 token,实测接受率 98.6%~100%

速度

RTX 3080 20G:24-27 tok/s

本机实测生成速度

接口

OpenAI 兼容 /v1

引擎在 8090,聊天门户在 8081

联网

不需要

权重、推理、对话全在本机,不上传任何内容

图 2  Swift 1.5 规格一览

为什么 8 GB 显存就能跑 125B:引擎不按层切模型,而是按专家热门度缓存 —— 常用专家常驻显存,冷门专家留在内存,KV 缓存按块流式读入。所以它吃的是内存和硬盘带宽,不是显存容量。

两点要知道:一,它默认离线运行,第一次问它「你是谁」时可能照着底模的原始身份回答,这不影响使用;二,长 prompt 首次读取会慢,重复提问和连续对话因为走缓存会快很多。

包里也带了两个 gguf 的校验手段:Strata-data\models\swift-IQ3_S\ 下两个文件大小分别是 44.9 GB 和 38.8 GB,对得上就说明权重完整。

三、安装:解压分卷,装完就能跑

完整包按 3.8 GB 切分成 23 卷,文件名从 StrataFull.7z.001 到 StrataFull.7z.023。必须全部下载,放在同一个文件夹里,缺一卷就解压不出来。

图 3  安装步骤:下载分卷 → 解压 → 得到两个文件夹

·装 7-Zip(免费,官网 7-zip.org),Bandizip、WinRAR 也可以

·只右键第一个卷 StrataFull.7z.001 → 7-Zip → 解压到当前文件夹,后面的卷它会自动接上

·解压需要约 90 GB 空闲空间,过程中不要中断,也不要把分卷改名

·解压完得到 Strata\ 和 Strata-data\ 两个文件夹,必须放在同一层,不要嵌套成 Strata\Strata

约 78 GB 模型权重已经打在包里(Strata-data\models\swift-IQ3_S\),不用再去别处下载;视觉投影 mmproj(866 MB)也在包内。

图 4  解压后的目录结构:两个文件夹必须同级

还有一个硬限制:整条路径不能带中文。引擎按系统编码打开权重,路径里有中文会直接报 GGUF 打不开,窗口里一屏报错随后退出,这和配置高低无关。

正确:D:\Strata  E:\Strata  错误:D:\我的软件\Strata  C:\Users\pc\Desktop\新建文件夹

图 5  路径必须全英文

四、启动:双击启动Strata.bat

双击后会弹出一个黑色窗口,它自动完成四件事,全程中文提示,不需要手动改任何配置。

·修正路径(fixpaths):换盘、换目录都能自己纠正

·选引擎(cpucap):按 CPU 指令集选标准版或 AVX 版

·硬件自检(hwcheck):CPU、内存、显卡、显存、驱动逐项检查,不达标直接说明原因并退出

·起门户页 8081,再起模型引擎 8090

图 6  从双击到就绪的完整流程

图 7  启动脚本做的四件事

五、第一次启动要等就绪

模型约 78 GB,首次启动要把权重读一遍:NVMe 固态约 45 秒;机械盘或 USB 外接盘十几分钟到半小时(实测 35 分钟)。第二次起走系统缓存,快很多。

窗口里出现 ready: 才算加载完成。这之前不要关窗口,也不要重复双击,否则会抢 8090 端口。等待上限已经放宽到 2400 秒,不会半路超时退出。

图 8  等待时长与注意事项

六、界面:8081 是门户,8090 是接口

就绪后浏览器会自动打开 http://127.0.0.1:8081/,左边是对话区,右边显示本机地址和上下文信息。8090 是引擎自带的接口页,现在会自动跳转到 8081,不用管它。

想让手机或别的电脑用,双击开放局域网端口.bat,然后用 http://本机IP:8081/ 访问。

图 9  两个端口的分工

七、日常使用

输入问题回车就发,Shift+Enter 换行。本机实测生成速度 24-27 tok/s;上下文 128K,长文档可以整篇喂进去,也可以直接发图片让它看。

图 10  使用与速度

八、怎么停止

关掉黑色窗口就是停止模型:引擎和门户页会一起退出,显存 3-5 秒释放。

如果遇到异常(窗口被强关、任务管理器里还留着 python.exe 占着端口),双击 停止Strata.bat。它只结束占用 8090 / 8081 的进程,不会动你其它的 Python 程序。

图 11  两种停止方式

九、常见问题

现象

原因

处理

提示显存低于 1024 MB

10 GB 卡跑 IQ3_S 时专家缓存占满显存,属正常

不影响使用,可忽略

找不到 Strata-data

两个文件夹没放在同一层

按第三节重新摆放

提示整合包不完整

解压不完整,缺 python 目录

重新解压

端口被占用

上次门户页没退干净

先跑 停止Strata.bat 再启动

Windows 拦截未签名程序

智能应用控制 / 杀软

关掉智能应用控制,或把目录加白名单

换盘后报路径错

配置里还是旧路径

直接启动,fixpaths 会自动修

问它是谁,答的不是 Swift

底模原始身份,属正常

不影响使用;要固定人设可在首页开头提示词里写

要更新

—

双击 UPDATE.bat

图 12  常见问题速查

相关学习资料