ARTICLE · 1034246
普通电脑也能部署qwen3.8-27b了
普通电脑也能部署qwen3.8-27b了
之前看上 Qwen3.8-27B,嫌它太大装不进电脑,现在门槛往下挪了一截。
Prism ML 搞了个 Bonsai 2。270 亿参数一点没少,语言模型权重却被压到了 5.93GB。完整精度版要 53.80GB,四比特量化版也要 17.6GB。放到一台 16GB 内存的电脑上,17.6GB 已经超过整机容量,5.93GB 则能给系统多留出一些空间。
省下空间只是第一步,能力也得保住。20 项测试平均 83.9 分,比原版低不到 1.5 分。数学和基础编程只差零点几分。但拉长到软件工程测试,原版 80.6,它只有 60.8。让它读项目、改代码、处理后续问题,差距就出来了。
它把绝大多数权重写成 -1、0、+1 三种取值,每 128 个共享一个缩放系数。做计算时直接处理压紧的权重,不用先摊回 54GB。现在已经有在 16GB Mac 上跑起来的演示了。
不过 5.93GB 只是语言权重的体积,不是整台电脑只要 6GB 内存。目前运行软件仍需要适配这套格式和内核。
原文普通电脑也能部署qwen3.8-27b了
四川,33分钟前,