AI Box 的热潮

AI Box的机会，不在于把云端模型原样塞进一个小机箱，而在于把一部分高频、可预测、涉及敏感数据的推理工作，变成企业自己掌握的固定产能。

2026年9月22日，搭载M5 Ultra的新款Mac Studio开始发售；NVIDIA DGX Spark已经形成七家OEM跟进的GB10整机生态；AMD的Ryzen AI Halo开发平台开始出货，192GB统一内存的Ryzen AI Max PRO 400系列进入OEM导入期；微软也在Build大会上亮出了Surface RTX Spark Dev Box。看上去，它们都只是可以接显示器的迷你电脑，实际争夺的却是同一块新市场：谁来承接办公室里的本地模型、长期运行的智能体和不方便送上云的数据。

01. 2026年的转折不在盒子而在工作负载

桌面工作站、迷你主机和边缘服务器早已存在。AI Box在2026年升温，是三条曲线同时相交的结果。

第一条曲线来自模型。DeepSeek R1、Qwen3和gpt-oss等开放权重模型，让企业第一次能够在不调用外部API的情况下，部署具备推理、工具调用和长上下文能力的模型。更重要的是，混合专家架构和低比特量化正在降低推理门槛。OpenAI发布的gpt-oss-120b拥有约1170亿个总参数，但每个token只激活约51亿个参数，原生MXFP4权重可以装进80GB内存。

第二条曲线来自硬件。传统独立显卡的显存通常只有几十GB，而新一代桌面平台把CPU和GPU放进同一个大内存池。应用不再被一块32GB显卡卡死，128GB、192GB甚至512GB内存都可以由GPU直接访问。此前主要服务于低功耗电脑的统一内存架构，意外成为本地大模型最关键的底座。

第三条曲线来自智能体。聊天机器人偶尔回答一个问题，云端成本通常更划算；智能体却会持续读文件、调工具、写代码、复盘失败并再次执行。调用次数增加后，token费用、数据边界和响应延迟开始进入管理层的预算表。AI Box由此从发烧友设备变成了企业可以讨论的采购品。

02. 先算内存账再谈千亿模型

判断一台机器能否运行某个模型，最先看的不是TOPS，而是权重能否进入可用内存。一个粗略下限是：权重容量约等于参数量乘以每个参数所占位数，再除以8。

以DeepSeek R1为例，它有6710亿个总参数、每个token激活370亿个参数。按FP16计算，权重下限约为1.34TB；按FP8计算约为671GB；按4-bit计算也有335.5GB。真正运行时还要给量化元数据、KV缓存、运行时和操作系统留空间。因此，广告里的“可跑多少B参数”必须同时注明量化精度、上下文长度、并发数和运行框架。混合专家模型的激活参数决定一部分计算量，总参数仍然决定大部分权重存储量。

内存容量只解决“装得下”。生成速度通常受内存带宽、计算单元、模型结构和软件优化共同影响；多人并发还会吃掉更多KV缓存。大容量、低带宽的机器可能能打开模型，却未必适合高并发服务。高带宽也不等于所有工作负载都快，提示词处理、图像生成和微调会更依赖算力。

这也是AI Box与普通AI PC的分界。NPU达到50 TOPS，并不自动意味着它能流畅运行百亿级以上大模型。真正面向本地大模型的盒子，至少要同时交代可供加速器使用的内存容量、内存带宽、持续功耗和受支持的软件栈。

03. 五条路线抢的是不同用户

表 1  2026年主要桌面AI平台公开规格对照

注  不同厂商的TOPS与PFLOPS常采用不同精度和稀疏条件，不能横向等价比较。参数量上限也不等于实际吞吐。

苹果走的是大内存和高带宽路线。M5 Ultra版Mac Studio最高可配512GB统一内存，带宽1.2TB每秒，最大连续功率480W；国行起售价46999元，512GB版本预计到10月下旬交付。 它的优势是单机可以容纳数百亿到数千亿参数的量化模型，MLX和Core AI也在补齐开发工具。短板同样清楚：无法使用CUDA，内存不可后期扩展，企业已有的Linux推理栈需要重新适配。

NVIDIA卖的是从桌面到数据中心的一致性。DGX Spark配备128GB一致性内存、273GB每秒带宽，GB10芯片TDP为140W，FP4稀疏峰值算力为1 PFLOP。官方口径是单机推理最高2000亿参数，最多四台互联处理7000亿参数模型。^{它的纸面带宽不突出，但CUDA、DGX OS、NIM和数据中心部署路径组成了完整的软件护城河。2026年2月，NVIDIA因全球内存供应紧张，把创始人版建议零售价从3999美元上调至4699美元。}TrendForce在9月的市场更新中仍判断，厂商优先配置HBM和服务器DRAM，普通DRAM供不应求的格局将延续。

AMD把重点放在x86兼容和价格。已经出货的Ryzen AI Halo开发平台采用Ryzen AI Max+ 395，提供128GB统一内存、256GB每秒带宽、120W TDP，售价3999美元，官方宣称可运行最高2000亿参数模型。^{下一代Ryzen AI Max PRO 400系列把系统内存提高到192GB，其中最多160GB可分配为显存；AMD给出的条件是4-bit量化下运行3000亿参数以上模型。Windows和Linux双系统、ROCm、llama.cpp、Ollama和LM Studio支持，是这条路线最现实的卖点。}

微软的Surface RTX Spark Dev Box代表Windows官方入场。它采用128GB统一内存和1 PFLOP级AI计算，热设计包络为100W，预装Windows 11 Pro、WSL 2、CUDA、VS Code和PowerShell 7。微软称它可在本地运行1200亿参数模型和百万token上下文，但截至本文更新时仍是预发布产品，只确认2026年稍晚在美国上市，价格尚未公布。

英特尔更像是在扩大AI Box的边界。采用Core Ultra Series 3的ASUS NUC 16 Pro提供最高96GB LPDDR5x或128GB可扩展DDR5，整个平台最高180 TOPS，NPU为50 TOPS。它更适合边缘视觉、办公AI和小模型服务，而不是与512GB Mac Studio争夺超大模型。机器人、工业控制和门店边缘计算，可能比“桌上跑千亿模型”更符合这类产品的能力结构。

再往上还有DGX Station。它提供最高748GB一致性内存，其中252GB为7.1TB每秒的HBM3e，另有496GB LPDDR5X，FP4峰值算力20 PFLOPS，官方定位可处理万亿参数模型。这已经是桌边工作站，不再是机顶盒大小，但它说明AI Box正在从个人开发机向小团队共享算力延伸。

04. 真正能付钱的不是离线而是稳定产能  

云端和本地的成本不能只拿单价相除。2026年9月发布的GPT-6 Astra，标准API价格为每百万输入token 10美元、每百万输出token 50美元。假设一个团队每天生成200万输出token、每月工作22天，单算输出就要2200美元。这个例子说明持续调用会形成可观支出，但它并不能证明买盒子一定更便宜，因为本地开放权重模型与GPT-6 Astra不是同一个能力等级。

订阅也不是“200美元买断无限算力”。ChatGPT和Claude的高阶个人套餐都有使用政策或额度，API和企业级使用通常另行计费。企业真正要比较的是，在满足同一质量门槛的前提下，完成一项业务需要多少总成本。

最适合本地化的工作，通常具有四个特征：调用频率高，任务类型稳定，数据敏感，结果可以复核。内部代码智能体、私有知识库检索、合同与卷宗的初筛、实验室资料分析、工厂或门店的视觉推理，都符合其中一部分条件。盒子在这些场景里的价值，是让试验次数不再直接增加API账单，并把响应延迟和数据边界握在自己手里。

不适合本地化的任务也很明确。企业如果追求最强模型质量、流量高度波动、需要跨地域高并发，或者没有人维护模型和运行时，云服务通常更省钱。最常见的合理架构不是二选一，而是本地处理敏感数据和高频基础任务，把少量复杂问题路由到云端强模型。

05. 采购前先拆穿四个参数幻觉

第一，统一内存不等于同样的速度。Mac Studio的512GB都在统一内存体系内，DGX Station则由高速HBM3e和较慢的LPDDR5X共同组成。两台机器都能写“大内存”，实际访问路径和带宽差异很大。

第二，参数上限不是性能承诺。“可运行2000亿参数”常常建立在4-bit或FP4量化、短上下文和低并发条件上。上下文从8K拉到128K，KV缓存会显著增加；多人同时使用时，可用空间和生成速度还会继续下降。

第三，PFLOPS不能直接换算成每秒token。厂商通常公布特定精度、稀疏条件下的理论峰值。真实推理还受带宽、批处理、框架、提示词长度和模型结构影响。采购前应要求在自己的模型、上下文和并发条件下跑一次端到端测试。

第四，本地部署不自动等于数据安全。设备可以断网运行，但插件、遥测、模型下载、远程运维、日志和备份仍可能形成外部通道。真正的本地安全需要网络隔离、身份权限、磁盘加密、审计、补丁策略和模型来源管理共同完成。

“模型免费”也容易被误读。DeepSeek R1采用MIT许可，Qwen3和gpt-oss采用Apache 2.0许可，商业使用相对宽松。更准确的说法是开放权重，而不是所有训练数据、工具链和服务都开源。企业仍需为数据清洗、检索增强、评测、权限控制、监控和版本升级付费。

06. ROI要从流程算而不是从参数算

AI Box的年度成本至少包括硬件折旧、电费、软件与支持、部署维护、故障停机和模型迁移。云端成本则包括token、存储、工具调用、网络、并发保障和数据驻留等费用。两边都不能只取一个最醒目的数字。

一个可执行的采购流程可以从五个问题开始。

• 哪些数据禁止离开内网，哪些可以脱敏后上云。

• 业务可接受的最低模型质量是什么，是否有固定评测集。

• 日均token、峰值并发和最长上下文分别是多少。

• 现有团队更熟悉CUDA、ROCm、MLX还是Windows与WSL。

• 三年内模型变大后，是接受再买一台、组集群，还是回到云端。

如果这些问题没有答案，买回来的往往是一台昂贵的演示机。公开案例中常见“效率提升百分之几十”的说法，但只要没有披露试点主体、样本量、对照方式和人工复核成本，就不足以支撑采购决策。先选一个可计量流程，记录上线前后的处理量、合格率、人工时和失败成本，再决定是否扩容，通常比先追求最大参数更稳妥。

07. 云和盒子将长期共存

2026年的AI Box热潮，说明本地推理已经跨过“能不能跑”的门槛，开始进入“值不值得跑”的阶段。苹果用大内存和带宽争取单机大模型，NVIDIA用CUDA和云端同构争取开发者，AMD用x86和价格争取企业存量环境，微软把Windows开发体验搬进盒子，英特尔则把范围延伸到更广的边缘场景。

这类设备不会吞掉云计算。它们更可能成为混合AI架构中的一层：本地负责稳定、敏感、高频的任务，云端负责峰值、前沿模型和弹性扩展。对企业而言，关键变化是终于可以把一部分AI调用从不可预测的按量支出，转成能够规划和折旧的本地资产。

盒子本身不会产生ROI。只有当它持续接手一个明确流程，并且输出质量、人工复核和维护成本都被记录下来，桌面上的算力才会变成业务价值。

往期阅读