长程 Agent 的账单像潮水，单看一朵浪花看不出涨落。模型单价只是浪尖，真正推高水位的，是工具调用、上下文回灌、缓存命中、内容安全、带宽、平台和运维。API 与自部署不是两种价格，而是两种生活方式：一种按量买弹性，一种先把机器和责任扛在肩上。 这一章只看成本与效率。前面几章出现过的场景名称，在这里只当分类标签使用，不直接搬用前文的 benchmark 成绩、产品对比和失败样本。四类场景要算成生产账，还得重新跑样本，把 token、工具调用、缓存命中、重试次数和成功率一笔一笔记下来。账本不怕细，怕的是看起来整齐，底下却漏了几项硬成本。 在开始之前，咱们先建立一个长程任务的成本计算口径，这个口径既对API调用大模型有效，也对基于公有云算力自部署推理服务有效。先透露结论，在该口径下，基于公有云自部署推理服务的成本明显高于调用大模型API的成本。 基于公有云自部署推理服务的 优势在于自主可控，如数据不出域、推理栈可调、日志可审计、模型可替换，后续多模型也有机会共用一套基础设施。 官网刊例价，不含商务折扣；非公开 GPU 价格采用供应商报价口径，采购前需复核 1 USD = 6.80 CNY 78% 12 × 3600 × 0.78 × 30 = 1,010,880 秒 PD 分离 85% PD 扩展 ×1.7 。500 并发时，decode 端 KV-cache 峰值、排队抖动都会放大；H20-96GB 相比 141GB 版本单卡余量更窄，按 ×1.7 留冗余比 ×1.5 更稳
长程 Agent 的成本不是一条线，而是五层叠起来的楼。每一层都不一定吵闹，但每一层都会进账单。 输入 token、输出 token、缓存命中、缓存写入 模型 API 通常包含基础安全策略；独立内容安全审核不在 token 报价内 H20 专用推理平台月费未完整公开，按 GPU 费 5%建模
API 月成本 ：月输入 token × 输入单价 + 月输出 token × 输出单价 + 缓存相关费用 + 内容安全审核费用 + 工具费用。 自部署月成本 ：GPU 包月 + 推理平台 + 公网带宽 + 对象存储 + 内容安全 + 运维冗余。 每 token 综合成本 ：月总成本 ÷ 月吞吐 token 数。 公开定价页通常把 OpenAI、Anthropic、DeepSeek、Kimi 等模型 API 写成 token 计费或工具计费。基础安全策略大多由厂商托底，但企业合规要的不是“平台大概会拦”，而是可审计、可计量、可验收的独立审核链路。所以 API 形态这里也加一笔内容安全审核费。估算口径采用腾讯云文本内容安全套餐价：18 元/万条，输入和输出各送审一次，即内容安全审核费用 = 月请求量 × 2 × 18 ÷ 10,000。 月吞吐最容易被写得过于漂亮。生产系统不是纸面上的“并发 × token × 时长”。更稳的做法，是先估 RPS，再乘以 12 小时工作窗口、78%有效利用率和 30 天。这样算出来的数，少一点幻觉，多一点实际。 5.1.2 形态一：闭源模型 API（按厂商产品线分档） 美元价按 1 USD = 6.80 CNY 折算。未找到可复核官网价格的项目标“待查”。 缓存只照顾输入成本，它不替输出买单，也不会替自部署分摊固定月费。
缓存折扣要看场景。编码任务能按 T1，是因为 repo、依赖、系统提示、工具说明会反复出现。研究任务和一次性采价不是这样，网页证据每轮都在变，缓存通常只能盖住系统提示和工具 schema。主报告建议先用 T3/T4，T1/T2 放进敏感性分析。这样保守，但不容易把账算薄。 5.1.3 形态二：开源模型 + 国内公有云自部署 DeepSeek V4 Pro、GLM-5.1 满血版、Kimi 2.6 开源版 ×1.7 PD 扩展系数 78%
GLM-5.1 的机器数要分清两个世界。一个世界叫“能装下”，一体化部署下，100 并发 1 机能装，500 并发 2 机也能跑。另一个世界叫“能稳定服务”，生产级 TTFT<5s 会把 prefill、decode、KV-cache 和排队抖动一起拉进来。主口径采用 PD 分离，所以 GLM-5.1 按 100 并发 2 机、500 并发 4 机 计。 6 机 / 48 卡 7 机 / 56 卡 2 机 / 16 卡 4 机 / 32 卡 4 机 / 32 卡 5 机 / 40 卡
阿里云 H20-96G 未见公开挂牌价，这里按已取得的供应商报价口径测算：单卡 16,460 元/月，8 卡整机 131,680 元/月。正式采购前，要把合同价、网络是否内置、推理平台计费方式再核一遍。云上的数字写在纸上很安静，落进合同里才算数。 PAI-EAS H20 专用节点月费未见完整公开价，暂按 GPU 费 5%估作平台管理费。带宽按北京全动态 BGP：30 Mbps = 2,125 元/月，150 Mbps = 11,725 元/月。阿里云内容安全按 Green 文本审核价格算，输入和输出都送审一次，单价为 1.5 元/千次；折成万次口径就是 15 元/万次。公式为月请求量 × 2 × 1.5 ÷ 1,000，等价于月请求量 × 2 × 15 ÷ 10,000。 852,650 1,014,768 292,922 592,091 568,541 728,535
腾讯云 H20-96G 单卡采用公示价 15,676.10 元/月，8 卡线性外推 125,408.80 元/月。这张表只算 GPU、推理平台、COS、内容安全和公网带宽。腾讯云天御文本审核按 18 元/万条套餐价计算，输入和输出各审核一次，公式为月请求量 × 2 × 18 ÷ 10,000。 816,870 975,253 282,146 570,753 544,413 700,248
5.1.3.4 折算到“每 token 综合成本” 公式 ：每 token 综合成本 = 月成本 ÷ 月吞吐 token 数。 月吞吐 ：RPS ×（输入 + 输出 token）× 12h × 3600 × 78% × 30。 GLM-5.1 的 100 并发和 500 并发单位成本变化不大，原因很朴素：GQA KV-cache 吃掉了不少显存，规模效应没能完全铺开。DeepSeek V4 Pro 与 Kimi 2.6 在 500 并发档能摊薄一部分固定成本，但还没有真正跑出 API 替代优势。机器多了，账会变薄一点；但薄到能赢，还差一段路。 DeepSeek V4 Pro
852,650
DeepSeek V4 Pro
1,014,768
GLM-5.1
292,922
GLM-5.1
592,091
568,541
728,535
比较 API 和自部署，先把业务前提统一。须在吞吐、请求量等相同情况下做对比。下面再把任务假设条件再对一遍。 按同请求量拆分输入 token 与输出 token 后分别计费，不计缓存命中折扣；内容安全审核按腾讯云文本内容安全 18 元/万条套餐价估算，输入和输出各送审一次 阿里云、腾讯云全链成本，含 GPU、平台 5%、对象存储、内容安全、公网带宽 每一行 API 月成本都使用同一模型、同一并发档自部署可承载的月请求量反推
在这个任务假设条件下，可以看到每月的实际请求业务量，输入和输出的token。这对于大模型API调用及公有云自部署推理服务两种形态，是一样的。 基于这个业务请求量，我们从下表中可以明确看到，无论是100 并发还是 500，成本上基于公有云自部署推理服务的成本明显更高。低并发时，固定成本像压舱石，摊不动；500 并发有规模摊薄，但多数情况下仍压不过 API。统一内容安全审核口径后，GLM-5.1 的 > 32K 保守档已经靠近临界点。到这个位置，问题不再是“便宜几万块”，而是合规、私有化、运维能力能不能一起跟上。 6.01× 5.76× 4.15× 3.99× 1.72× 1.64× 1.19× 1.14× 1.31× 1.26× 1.32× 1.27× 1.06× 1.02× 1.07× 1.03× 2.48× 2.38× 1.59× 1.53×
拐点并不是一个明确固定的 token 数，而跟API 真实折扣、自部署利用率、多模型能不能共摊等这些实际的业务因素强相关。 需要 vLLM/SGLang、PD 分离、batching、监控运维能力
从上表中可以看到，在当前口径下，单模型自部署还没有稳定的成本拐点。加入内容安全审核后，部分高价 API 档位会贴近自部署成本。但实际企业部署中，还会涉及投入的运维人力成本，部署时间开销等隐形 成本，这部分往往也没法很好地在成本表中做量化估算。因此，除了成本，在 合规、利用率、多模型共摊、推理运维能力等方面，至少要同时握住几项，自部署才值得继续往下算。 长程任务变贵，不只是上下文变长。更像是任务走进了一条走廊，每开一扇门，都可能再挂一笔账。我们可以从下表中看到，在不同的任务处理阶段，很多成本的控制点往往比较薄弱。因为大模型及AI Agent框架在现阶段的设计中虽然有成本和预算控制（仅仅是基于token额度的硬性管控），但并不是基于更合理完成任务角度进行控制，而是会将完成任务作为最高优先级推进，这往往会带来任务执行过程中的放大器效应。 这导致成本失控往往不是从“模型单价太贵”开始，而是从“一个用户任务背后的模型调用次数没人管”开始。Agent loop 如果没有预算器、熔断器和缓存策略，月账单会像夜里涨水，等发现时，已经漫过了单价测算那条线。 成本不能单独来看。自部署账面看着便宜，但如果TTFT（首token响应时延）不稳定，业务侧一样用不起来。API 单价低，但如果成功率低，最后摊到成功任务上也未必便宜。钱和效率要放在一起来看，这里有几个效率指标在两种部署形态下供参考。 长程任务每一步都要等首 token，延迟会逐步放大
业界已有少量公开成本数据，可以拿来当路标参考，但不能是长程任务成本分析的终点。 公开 benchmark 的任务会更短，数据集也比较固定，模型和脚手架受控。而企业任务还会多出权限校验、私有工具、内容安全、审计日志、失败重跑和人工确认。这些东西不耀眼，却都比较吃成本。 整轮评测成本，指一次完整 benchmark 跑分的 API 成本，通常是一套 agent、一个模型和一个 scaffold 跑完整个任务集的费用，不是单个任务费用。比如 Mind2Web 有 300 个任务，“中位 276 美元/整轮”表示多个被测配置里，中位配置跑完整 300 个任务大约花了 276 美元；“最高 1,610 美元/整轮”表示最贵配置跑完整 300 个任务大约花了 1,610 美元。单任务成本更适合拿来和企业内部任务对齐，通常由整轮成本除以任务数得到。 被测 agent、模型或 scaffold 配置数 跑完整个 benchmark 的中位 API 成本 跑完整个 benchmark 的最高 API 成本 反映不同模型、agent 设计、重试策略带来的波动
Efficient Benchmarking of AI Agents / SWE-bench Verified Efficient Benchmarking / Mind2Web ActionEngine / WebArena Reddit 子集 平均延迟 118 秒，状态机和确定性图算法显著降本 Efficient Benchmarking / GAIA OpenAI Solo + Claude Opus 4.5 Claude Code + Claude Opus 4.5 Smolagents + Claude Opus 4.5 ReAct + Shortlisting + Gemini 3 Pro 多基准平均，success 62%，工具裁剪带来明显降本 Agent Harness / 多 Agent 编排测试 GPT-4o，框架额外 token 开销约 +9% GPT-4o，框架额外 token 开销约 +18% GPT-4o，框架额外 token 开销约 +31%
基于这些公开数据，可以得出一个比较明确的结论，账单不只由模型决定，脚手架、工具调用、状态管理和重试策略同样会影响成本。同样是 Agent 任务，Open Agent Leaderboard 里高性能方案约 8 美元/任务，低成本方案约 0.66 美元/任务；ActionEngine 在 WebArena 子集里把 GUI 任务从 0.71 美元/任务降到 0.06 美元/任务。长程 Agent 的降本，很多时候不是换一辆更多便宜的车来跑，而是换一条更短、更稳的路。 另一方面，企业内部要做长程任务的成本管理时，仍然建议要单独采集自己的业务运行数据。四类场景建议各跑一批样本，记录 token、工具调用、重试、缓存命中、耗时和成功率。每类场景建议至少跑 30 个任务。每个任务记录以下字段参考表格如下。 编码 / GUI / 通用研究 / Agent 框架生态
5.4.1 只看模型单价，不看任务链路 单次 API 调用便宜，不代表一个长程 Agent 任务便宜。以研究报告为例，后台可能会经历搜索、打开网页、摘要、交叉验证、生成提纲、补证据、重写、格式化等十几步。每一步都有可能调用 LLM。
预算更适合按“用户任务”来管，而不是只盯着“模型调用”。企业真正关心的是，一个任务成功交付到底花了多少钱。单价像标签，任务链路才是结账小票。
5.4.2 用显存装载数替代生产机器数 显存能放下权重，只说明模型可以启动，不代表能稳定服务。生产级 TTFT<5s 会把 PD 分离、prefill 冗余、decode 扩展、KV-cache 峰值和队列调度都拉进来。GLM-5.1 在 500 并发一体化下 2 机可部署，生产口径要按 4 机计算，差别就在这里。
5.4.3 把 85%资源利用率当常态 公有云自部署如果按 85%算，通常偏乐观。真实生产里有流量低谷、发布窗口、故障转移、扩缩容滞后和批处理错峰。78%更接近可持续口径。利用率从 85%降到 78%，月吞吐下降 8.2%，固定月费几乎不降，每 M token 成本会上升 10%到12%。
5.4.4 高估缓存命中 编码场景可以用 80%缓存命中，不代表研究场景也可以。网页研究和一次性采价的证据每次变化，缓存通常只能覆盖系统提示和工具 schema。把 T1 口径套到 T3/T4 上，API 成本会被算得太轻，像给冬天穿了夏天的衣服。
5.4.5 忽略内容安全与公网带宽 内容安全不是最大头，但也不是可以忽略的小数。500 并发下，内容安全月费可到 2 万到3.4 万，远高于 10TB 对象存储。公网带宽虽然不是最大项，但 150 Mbps 固定带宽一年也是十几万级别。这些项目如果不进主表，自部署成本会被系统性低估。
5.5.1 理论上能降本的手段 实际上成本优化主要针对公有云自部署推理服务场景更有意义，下面也给出了几个常见的理论上能帮助降低自部署成本的策略，供参考。 5.5.2 业界已经落地的做法 真正有效的降本，通常不是单纯换一个便宜模型，而是把缓存、路由、工具结构化、预算器、熔断和推理调度组合起来。单点优化只能省一小段，长程任务的成本洞往往藏在链路里。补洞要带一整套工具，不能只拿一把小锤子。 Anthropic、OpenAI、Google、Kimi 等已支持 部分 Agent 平台支持 token budget
5.6.1 API 与自部署选择矩阵 这里我们也从多个维度来简单对比下，哪种条件下优先调用大模型API，哪种条件下又比较适合自部署推理服务。 5.7 本章小结与展望 API 更适合购买弹性，自部署更适合换取控制权。
在单模型、公有云包月、78%利用率、生产级 TTFT<5s 的口径下，自部署还没有体现出成本优势。DeepSeek V4 Pro 受限时 API 折扣影响，自部署账面压力很大；Kimi 2.6 单模型自部署明显偏贵；GLM-5.1 最接近打平，但仍没有低于 API。海外高端模型更适合高价值任务，不适合作为基础流量的成本方案。
采购建议可以更务实一些，PoC 和通用业务优先 API；固定代码仓和固定工作流优先 API + 缓存；强合规、私有化、多模型共摊、高利用率场景再评估自部署。若只用“降本”推动单模型公有云自部署，目前证据还不够。账不会因为愿景动听而变薄，真正能改变它的，只有稳定流量、清晰口径、足够工程能力，以及一套能长期跑下去的执行系统。
夜雨聆风
