买卡不等于省钱:企业 AI 的真实成本该怎么算

先问一个问题：一张 GPU，一年能跑满多少小时？

买卡划不划算，全看这个数。同样一张卡，一年跑 8000 小时和跑 800 小时，摊到每次推理上的成本差十倍。可很多人做 AI 预算的时候，压根没算过这一项。

换一个分母

买卡贵不贵，不取决于卡的标价，取决于分母。

所以看 AI 成本，别拿「一个 token 多少钱」当标尺，换成「做成一件有用的事，总共花了多少」。分子是平台、模型、运维、容量的全部支出，分母是真正完成的业务动作——一次被解决的客诉、一条跑完的审批、一张核过的单据。

分母必须是业务认的账，不能是模型自己觉得跑完了。

这事跟电很像。刚通电那几年，工厂里就几台电机转，没人盯度电成本——省下的钱还不够付会计工资。等到每个车间、每条产线都插着电，问题就从「电机能不能转」变成「这一度电换回了多少产值」。

企业 AI 正走到这个坎上。试点期只有两三个场景，怎么算都不难看；一旦智能体接进核心流程、一天几十万次调用，口径不对，钱就是往外漏。

三种跑法，三种账

自建。 自己的机房、自己的调度和管控。灵活，代价是持续的维护负担——模型换一版、策略调一次，整套环境都要重新验证。这笔账里最贵的不是硬件，是「人得一直跟着」。

纯 API。 直接用云厂商的接口，省掉组装的功夫。需求小、方向还不清楚的时候，这是最理智的选择。缺点是每次调用都在计费，用得越多，边际成本越贴着你走。

一体化私有平台。 自有或专用容量，配一套验证过的软件栈，把调度、选模型、GPU 切分、缓存管理做成能拧的旋钮。它省的不是「推理不要钱」，省的是这些旋钮带来的效率。

我的看法是：前两种不是「错的选择」，是「阶段的选择」。只有需求稳定、量大、又足够关键，第三种才配谈回报。

「拥有」是一种纪律

我最不喜欢的说法就是「买卡省钱」。买卡只是买到「可能省钱」的资格。

就像办了健身卡，你确实「拥有」了器械，但健身房不会替你去练。GPU 也一样，没活干的时候它在耗电、在折旧、占着机位。

专业说法叫搁浅资本：钱投下去了，产能闲着。

把任务路由到「满足质量要求的最便宜那个模型」——查天气犯不上动旗舰模型；用 KV 缓存复用上文，别每次都把整段上下文重算一遍；把不同负载混着跑，把波谷填上。

这些活儿琐碎，但它们一起决定固定成本摊到每件产出上有多薄。

给结论打个折

这套按「有用产出」算成本的思路我认：它对供应商中立，还能逼团队回答一个真问题——这套 AI 到底解决了什么麻烦。

但有个数字要小心。「一体化平台在高利用率下每 token 有效成本更低」这个结论，来自厂商委托的独立测试，而测试开了条件：多负载混合、高利用率。测试本身没造假，可你的实际情况一定不一样，取决于你的负载结构，也取决于你能把卡跑多满。

所以我的读法是：方法可以抄，结论得打折。

还有一条更该警惕的反向陷阱——为了摊薄固定成本，硬找项目把卡填满。那不是省钱，那是把浪费做成了 KPI。

最后留个自查题：未来 12 到 18 个月，你们的 AI 调用量会变成今天的几倍？答不出这个数，买卡和租卡都只是赌。

你所在的公司现在怎么算 AI 预算？按 token、按人头，还是按业务结果？评论区聊聊。