ARTICLE · 1005767
起底Uber AI软件工厂:智能体用量暴涨9.4倍
起底Uber AI软件工厂:智能体用量暴涨9.4倍
起底Uber AI软件工厂:智能体用量暴涨9.4倍
Uber 把 AI 编程用量涨了 9.4 倍,账单却没跟着爆。
从今年 2 月到 8 月,他们七成以上的代码提交都靠 AI。但单次请求成本反而降了 34%。秘诀不是少用,而是把开销拆开算、抠细节。
先定规矩:任务越固定,越容易控成本。
他们把 AI 任务分四层。越往上层,任务边界越清楚。团队能专门给它建测试集,挑性价比最高的模型。这比让一个万能模型瞎猜强得多。
再拆账单:死磕“零价值”的 Token。
总花费等于用户数乘会话轮次,再乘每次请求的 Token 量。前两项鼓励多用,中间三项才是重点。他们专门盯着这三项里的浪费下手:
挑对模型:简单活绝不跑旗舰模型。子智能体默认全用便宜款。
给请求减重:上下文快满就压缩。缓存时间按人的停顿习惯来调。
工具按需加载:以前所有工具说明全塞进上下文。现在改成用时才查,直接省下几万个 Token。
把轮询打包:多步操作写成脚本自己跑。只把最终结果交给 AI,查询成本砍掉一半以上。
给 AI 画地图:搞了个知识图谱。AI 找代码和表不用再盲搜,少走弯路也省钱。
最后是透明化。
工程师敲代码时,屏幕实时显示花了多少钱。系统还会自动揪出 16 种烧钱坏习惯。比如缓存过期、模型选贵了,直接标出损失金额。
说白了,AI 太贵是个工程问题。只要账算得细,用量翻倍也能把成本压住。
原文起底Uber AI软件工厂:智能体用量暴涨9.4倍,账单却纹丝不动
收录于程序员茶歇
美国,11小时前,