自建 AI 能不能省钱？

imec 的 AI 负责人带团队跑了一组实测，把 API、租卡、买卡三条路各跑了一遍。

拿 64 道编程题测下来，结论很直白：自建机器按真正工作的小时数折价，和租一台落在同一个价位。

先看 API 账单。开发者一年中位数花 140 美元，折每月不到 12 美元，这点钱在公司根本开不起立项会。可到了第 99 百分位，一个人一年要烧接近 9 万美元。想自建的冲动，全来自这条长尾。

硬件价格也不是斜坡，是台阶。两个模型应用层表现差不多，底层 GPU 租赁成本能差出 4 倍。Kimi K3 解决率 86.4%，比 GLM-5.2 高 24 个百分点，硬件只贵 15%。麻烦在显存——权重 1.4TB，8 卡 B200 装完就没地方放缓存了，只能换更贵的 8 卡 B300。

更扎心的是并发。DGX Spark 只能带 1 个用户，单卡 H200 能带 32 个，到 8 卡 B200 又掉回 8 个人左右。机器越贵，能同时用的人反而越少。

算盈亏线：4 卡 H200 利用率得做到 89% 才打平，长期满载几乎不可能；8 卡 B200 门槛降到 15%，正好压在大多数企业 15%–22% 的平均利用率上。任何一个季度的需求回落，都能把它推回亏损一侧。

还有笔账常被漏掉——同一批任务，三个 Agent 框架跑下来准确率没差，token 消耗量却差出一倍。换框架不改模型，账单直接减半。

所以该不该自建？答案大概不是为了省钱。买控制权可以，买数据不出门可以，买一条不被限流的通道也可以。指着省钱去买，这笔账在 2026 年底还不太成立。

详见原文