本地 AI 的两条技术路线

这两天开放权重模型一口气发了五个，我第一反应是拉个参数榜。结果发现它们根本不在同一个硬件假设里。

一边是 Meta 的 Muse Spark Open，总参数 8160 亿。另一边是 FLUX 3 Image Klein，只有 56 亿参数。一个要两台顶配 Mac Studio 才装得下，另一个在 8GB 游戏卡上就能出图。

大模型走稀疏 MoE 路线，激活比例极低。816B 里每个 token 只走 42B，算力按激活参数花。代价是显存账单吓人，BF16 格式要 2TB，NVFP4 也要 700GB。

轻量模型靠量化、蒸馏和专用架构压门槛。74B 的 Nemotron Bolt 用原生 2-bit 量化塞进 24GB。5.6B 的 Klein 出了 INT8 版本，8GB 显存就能跑。不过 8GB 只是最低要求，真跑起来还得算 KV cache 和运行时开销。

挑模型别光看参数。从日志抽 30 条真实请求跑两遍，按最长上下文算内存账。量一次首 Token 延迟和并发吞吐，再把许可证原文读一遍。参数规模告诉你能力上限，硬件预算决定你能不能触到那个上限。