夜雨聆风Model routing is a fix for AI overspending. That’s a problem for OpenAI and Anthropic
过去两年，硅谷公司使用AI的逻辑很简单：默认调用最强大的模型处理各类工作任务。
不管是问“美国第三任总统是谁”，还是让AI帮写一整年的代码，统统交给GPT-4或Claude 3这类前沿模型（frontier models）来处理。
反正AI预算充足，没人关心效率和成本。
但这份模型调用的“阔气”，正在被一笔笔Token费用账单砸醒。
AI烧钱无度？硅谷巨头推行“支出纪律”
思科（Cisco）首席产品官Jeetu Patel算了一笔账：按每个员工每周消耗约200美元的token（模型处理数据的最小计价单位，中文称作“词元”）来算，一年就是每人1万美元。而思科有9万员工，仅AI token这一项花销，每年就要烧掉9亿美元。
作为大模型的深度用户，硅谷科技巨头们自己先坐不住了。
他们开始追问一个朴素却致命的问题：难道每个任务都需要最强模型出马？
这项追问与思考，正在AI行业催生一场“支出纪律”（spending discipline）变革。
而像OpenAI、Anthropic这样靠“所有任务、不分难易、一律高价”的模型厂商，它们的估值神话之下的底层商业逻辑将被改写。
什么是“模型路由”？
支撑这场“支出纪律”变革的核心技术，叫做模型路由（model routing）。
说白了，它就像一个智能调度员：你扔给它一堆任务，它来判断难度，按照任务难度来匹配和调用大模型。任务复杂的，交给昂贵的前沿模型；任务简单的，甩给便宜、轻量的替代模型。
效果能差多少？
Cognition公司（就是做AI编程智能体Devin的那家公司）CEO Scott Wu举了个例子：大量模板化、重复性的工作，用“够用就好”的轻量模型，成本效率能提升5到10倍。
他打了个比方：“你问AI‘美国第三任总统是谁’，无论你用GPT-4，还是用一个便宜得多的开源模型，答案都是托马斯·杰斐逊。那为什么要花100倍的成本？”
这不是偷工减料，而是精准投放。
95%的AI模型调用，仍在浪费钱
Glean公司CEO Arvind Jain估算：目前大约95%的企业AI用量，仍然跑在最贵的前沿模型上。哪怕这些任务用廉价模型就能轻松搞定。
换句话说，过去两年，企业的AI预算像一张没有上限的信用卡。没人问成本，没人问效率，也就没人做路由。
但现在，账单来了。
Cisco的预算已经大幅超支，不得不重新分配资源：砍掉其他项目，优先保障AI token支出。目前，Cisco有3万名工程师正在用AI辅助写代码。也就是说，AI已经从“试试看”变成了“离不开”，这笔钱想省都省不了。
这不是Cisco一家的问题。所有大企业都在面临同样的压力：AI高额账单正在吃掉企业利润。
AI公司开始慌了
客户开始心疼钱了，AI公司自己也嗅到了不安。
Cognition最近推出了一项“AI生产力保证”（AI productivity guarantee）政策：如果他们公司的AI编程智能体Devin给客户带来的工程价值，低于用户公司支付的钱，Cognition承诺补足差额，最高赔付1000万美元。
注意，他们不按你消耗了多少token、写了多少行代码来算。他们算的是：真正省下了多少工程师工时。
Cognition的CEO Scott Wu说了一句话，建议所有用AI的公司人手一份，贴在最显眼的地方：“你可以消耗几十亿token，但不能什么都没做成。企业应该追求AI产出，而不是AI活跃度。”（Companies should be striving for output, not activity.）
这句话，戳中了整个行业的痛点：投资回报率（ROI）太难算了。
客户开始质疑：我花这么多钱，到底买到了什么？
OpenAI和Anthropic的估值风险
现在回到一个关键的问题：这对OpenAI和Anthropic意味着什么？
这两家公司的估值以及围绕它们的IPO预期都建立在一个核心假设上：企业会不计高价、大规模地使用它们的前沿模型。
但如果企业开始把大量简单任务路由到更便宜的模型，甚至使用来自中国的开源模型。那么，OpenAI和Anthropic就不再能每项任务都收到钱了。它们能拿到的，只剩下最复杂、最难的那部分任务的模型调用费用。
Cisco的Patel认为，这不意味着前沿实验室会完蛋。尖端技术永远有价值。但他预测，定价模式一定会变：模型公司必须提高使用效率，而不是简单地涨价。
目前，定价权正从卖AI的模型公司，转移到买AI的用户公司。（Pricing power is shifting from the companies selling premium AI toward the companies buying it.）
企业用户处理最难任务时，前沿模型厂商仍然能收取高价。但企业每天海量调用的，绝大部分是只需“够用就好”模型的简单任务。如果简单任务占了90%，那前沿模型厂商就只剩下10%的市场。当这些任务都被路由走了，它们还能剩下多少生意？
这个问题的答案，将很大程度上决定OpenAI、Anthropic等领先AI公司的最终估值。
写在最后
AI的烧钱竞赛还没结束。但硅谷科技巨头们已经集体转向模型路由（model routing）。
你觉得，模型路由的出现会扼杀AI独角兽的高估值吗？
欢迎在评论区聊聊。
