乐于分享
好东西不私藏

别急着下载 Kimi K3 权重:MoE 架构量化、

别急着下载 Kimi K3 权重:MoE 架构量化、

别急着下载 Kimi K3 权重:MoE 架构量化、

Kimi K3 开放了权重,但别急着下载。

7月底月之暗面开源了这款2.8万亿参数的旗舰模型。它确实是目前最大的开放权重模型。不过想本地跑通,门槛高得离谱。

架构确实强:每次只激活约1040亿参数,省算力。配合新注意力机制,能处理百万字长文。官方说比上一代效率高2.5倍。
硬件门槛极高:原始权重高达1.56TB。就算压缩到2比特版本,也得860GB内存。普通消费级显卡根本吃不下。
软件生态还在折腾:主流工具目前都不认它。Ollama上那个条目其实是转发到云端收费的。真正能用的vLLM等引擎,又必须得多卡集群。
许可证有红线:这不算严格开源。年营收超两千万美元还想对外提供API,必须另签商业协议。月活或收入超标还得打上Kimi K3标签。

总的来说:拿它读报告、做研究挺好。想在单张显卡上跑?趁早放弃。真要商用,务必先看清许可证。

名称已清空
微信扫一扫赞赏作者
喜欢作者其它金额
作品
暂无作品
喜欢作者
其它金额
最低赞赏 ¥0
其它金额
赞赏金额
¥
最低赞赏 ¥0
1
2
3
4
5
6
7
8
9
0
.
原文别急着下载 Kimi K3 权重:MoE 架构量化、许可证、显存门槛全避坑
作者提示: 个人观点,仅供参考
上海,2小时前,