什么是AI Box

什么是AI Box
AI本地部署有一道硬门槛：模型得先“装得下”，内存就是AI Box的入场券。
跑大模型的前提，是权重全部装进内存或显存。DeepSeek-R1 满血版 6710 亿参数，全精度（FP16）需要约 1.3TB 显存，FP8 量化约 0.7—0.8TB，即使 4-bit 量化也要 400—480GB8。作为对照，一张 RTX 5090 是 32GB 显存9，一台高配笔记本是 24—32GB 统一内存——只能塞下 70 亿参数级别的小模型。
这就是桌面 AI 设备最大的技术命题：在一台放得进桌子的机器里，塞进尽可能大的统一内存，喂给模型尽可能高的带宽，再把功耗压进办公室插座能承受的范围。
容量决定能跑多大的模型，带宽决定多少人能同时用、出字有多快，功耗决定它能不能放在办公室而不是机房。在这三个维度上，最戏剧化的事情是：准备最充分的那家公司本不是为 AI 设计的。
DGX Spark 用的是 GB10 Grace Blackwell 超级芯片，128GB 统一内存、273GB/s 带宽、FP4 精度下 1 PFLOPS 算力，整机功耗 240W，官方标称单机可推理 2000 亿参数模型、两台互联跑 4050 亿。如果说 Spark 是给开发者的入门机，DGX Station 就是给小团队的桌边工作站：GB300 芯片、748GB 一致性内存（252GB HBM3e 加 496GB LPDDR5X）、FP4 20 PFLOPS、整机 1600W，官方宣称能跑万亿参数模。