ARTICLE · 1163213
Token“工厂”:打通AI上游到应用的关键(附下载)
Token 需求持续扩张，系统级产能成为基础设施投资的核心观察指标。国家数据局披露，我国日均Token 调用量由2024 年初约1,000 亿增至2026 年3 月超过140 万亿。Token 同时进入模型调用、API 计价与AI Factory 产出衡量体系；推理基础设施的竞争随之延伸至计算、互连、存储、模型和软件协同形成的有效吞吐与单位Token 成本。
Agent 提高单项任务的Token 消耗，也抬高对推理系统的要求。多轮推理、工具调用与长上下文使单项任务可能包含多次模型请求。瓶颈由计算能力延伸至显存、KV Cache、Prefill/Decode 调度和响应时延；缓存复用、PD 分离、智能路由及上下文管理可共同影响单位资源的有效Token 产出。
AI 商业价值的衡量正由Token 使用量进一步延伸至任务结果。AI 产业的价值锚正在进一步由Token 向Task 与业务结果延伸。Token 衡量模型服务使用量，Action 衡量Agent 执行的具体业务步骤，而Resolution/Outcome 则进一步衡量业务问题是否真正得到解决；进入企业场景后，客户最终购买的并非Token 本身，而是Token 驱动的数据调用、流程执行和任务结果。企业级Agent 的竞争壁垒也因此从模型能力进一步延伸至企业数据、业务语义、API、权限治理、工作流和真实生产反馈。我们认为，随着单位Token 成本持续下降、使用需求释放，AI产业价值衡量将进一步聚焦Tokens per Task、Task Success Rate、Cost perSuccessful Task 以及单项成功Task 所创造的业务价值。
1 Token 工厂：AI产业价值传导的新框架
1.1 从 Bit 到Token：AI产业计量单位的变化
计算系统长期使用不同指标分别描述数据规模与计算能力。NIST将Bit定义 为取值为0或1的二进制数字，并将Byte定义为由8个Bit组成的序列，Bit与 Byte 构成数字信息表示和存储的基础单位。IBM 指出，经典计算系统通常使用 FLOPS、内存容量、内存带宽以及处理器时钟频率等指标描述系统能力，其中 FLOPS 表示系统每秒能够完成的浮点运算次数。因此，传统计算体系中，Bit 与 Byte 主要用于描述数字信息规模，FLOPS等指标则用于刻画计算设备执行运算的 能力。 大模型进一步将自然语言、代码等输入转化为Token进行处理，并以Token 序列生成输出。OpenAI 将Token 定义为模型处理文本时使用的基本单位，一个 Token 可以对应字符、部分单词、完整单词或标点符号，同一段文本产生的Token 数量也可能因模型、编码方式和语言不同而存在差异。文本发送至模型后首先被拆 分为Token，模型随后处理这些输入Token并持续生成新的输出Token。OpenAI 的API结果可以直接记录input tokens、output tokens和total tokens 等使用 数据，并进一步区分输入Token、缓存输入Token、输出Token及推理Token等 不同类型，使模型实际处理的信息规模能够被持续统计和追踪。
Token 已经进一步由模型内部处理单位进入大模型服务的商业计量体系。阿 里云百炼对大语言模型调用按照实际Token用量计费，并分别设置输入Token与 输出Token价格，部分模型在缓存命中时还采用区别于标准输入Token的计费价 格。基础设施侧，NVIDIA进一步将Token称为推理模型、Agent和智能系统的 “生产单位”，并将AI Factory描述为将能源和数据转化为智能Token的生产系 统。围绕这一生产过程，NVIDIA使用Tokens per Second、Tokens per Watt、 Cost per Token、Utilization 和 Uptime 等指标衡量 AI Factory 的产出效率、能 耗效率、单位成本以及系统运行情况。Token由此同时进入模型调用、服务计价以 及AI基础设施产出衡量体系。
从FLOPS等基础算力指标向Token指标延伸，AI推理的衡量对象开始由计算资源本身进一步覆盖模型实际交付的输出。NVIDIA指出，FLOPS per Dollar衡 量单位投入能够获得的原始计算能力，而原始计算能力并不直接等同于现实中的 Token 产出；Cost per Token 则进一步衡量生成实际交付Token所对应的综合成 本。与此同时，阿里云指出，Token是模型对输入文本进行切分后的基本单位，不 同模型可能采用不同的切分方法，字符数量与Token数量并非一一对应；其大模 型服务进一步按照实际输入和输出Token数量进行计量和计费。因此，模型服务 的实际使用成本不仅与每百万Token单价有关，也取决于实际调用过程中产生的 输入和输出Token数量。Token作为连接底层计算资源与上层模型服务的中间计 量单位，其本身的产出需要依赖完整的计算基础设施、模型和软件系统共同实现。
1.2 Token 工厂：从基础设施到AI应用的完整生产体系
AI Factory 并非单一 GPU 集群，而是面向 AI 工作负载构建的全栈智能生 产体系。NVIDIA 将 AI Factory 描述为一种面向规模化智能生产的新型基础设施。 与传统数据中心主要承担通用计算和数据处理不同，AI Factory 通过加速计算基 础设施与 AI 软件的紧密结合，覆盖数据摄取、模型训练、微调以及长思考推理等 AI 生命周期环节。NVIDIA 进一步将 Token 视为推理模型、Agent 和智能系统 的“生产单位”，并将 AI Factory 描述为将数据与能源转化为智能与 Token 的 生产系统。因此，AI Factory 最终交付的不再只是 GPU 算力或理论计算能力， 而是由模型持续生成、并可被上层应用进一步调用的智能产出。 AI Factory 需要能源、芯片、基础设施、模型和应用多个层级协同运行，而 非依靠单一技术环节完成Token生产。NVIDIA目前将AI体系划分为Energy、 Chips、Infrastructure、Models和Applications五个关键层级，并指出AI Factory 将这五个层级整合为面向 Agentic AI、Physical AI 和高性能计算的完整系统。 NVIDIA 进一步指出，五个层级需要协同扩展，能源支撑芯片运行，芯片构成计算 基础，基础设施承载模型运行，模型再向上支撑具体 AI 应用。在基础设施内部， AI Factory 还需要同时整合加速计算集群、高速网络、存储和基础设施软件，以支 持训练、推理及其他生产级AI工作负载。
企业级AI Factory 进一步体现出从底层硬件向数据、软件和模型延伸的全栈 特征。Dell 将其与NVIDIA共同构建的AI Factory 定义为端到端企业AI解决方 案，将Dell的计算、存储、客户端设备、软件和服务能力与NVIDIA AI基础设施 及软件体系进行整合，并通过高速网络连接各类组件。Dell 最新参考架构进一步 将计算、网络、存储、编排和AI软件能力整合至统一平台，可支持RAG、AI Agent、 代码助手、模型微调和推理等不同AI工作负载。在软件与模型侧，平台可进一步 接入NVIDIA AI Enterprise、模型服务运行时及相关AI框架，使企业能够在统一 基础设施上完成模型构建、调整、部署和推理。
Token 贯穿上述技术栈，并成为不同系统组件共同参与生产的对象。NVIDIA 指出，当用户向AI系统提交Prompt后，AI Factory首先将输入转换为Token， 再由运行于GPU之上的AI模型处理这些Token并生成响应，而GPU之间的并 行计算依赖高速网络和互连共同完成。NVIDIA将AI Factory的组成进一步概括 为加速计算、网络、软件、存储、系统以及工具和服务，说明实际Token生产是 完整技术栈协同运行的结果。我们认为，基于上述全栈体系，可以进一步将本文关 注的Token产业链抽象为“算力供给—模型与Token优化—应用与任务执行”三 个层级，以此作为后续分析不同环节技术作用与价值来源的产业地图。
1.3 Token 供给：模型、算力与系统协同共同决定智能产
能 NVIDIA 对 AI Factory 的衡量正由单芯片性能进一步延伸至系统级 Token 产能。NVIDIA Vera Rubin NVL72 将72颗Rubin GPU、36颗Vera CPU以及 高速互连与网络能力集成于机架级系统，面向大规模Agentic AI与推理工作负载。 NVIDIA 进一步以Tokens per Second per MW衡量AI Factory 在功率约束下的 Token 吞吐效率；根据其披露的KimiK2-Thinking性能口径，Vera Rubin NVL72 的每兆瓦Token吞吐最高可达GB200 NVL72的约10倍。我们认为，这表明AI 基础设施的竞争正在从单颗GPU峰值算力，进一步转向计算、互连、网络与软件 协同后的系统级Token产能。
1.4 Token Economics：从算力投入到单位Token经济 性
NVIDIA 在 AI 推理基础设施的TCO评价中，进一步从计算资源投入关注实 际Token产出。NVIDIA指出，仅比较Compute Cost或FLOPS per Dollar并 不能完整反映推理TCO：前者反映企业购买或租赁AI基础设施的成本，后者衡量 单位投入对应的理论计算能力，而实际计算能力与真实Token产出并不等同，因 此NVIDIA进一步将Cost per Token作为衡量推理经济性的重要指标。NVIDIA 给出的计算框架为：Cost per Million Tokens = Cost per GPU per Hour÷ （Tokens per GPU per Second×3,600）×1,000,000；其中云部署的 GPU 小时 成本对应云服务商的小时费率，自建部署则可采用自有基础设施摊销后的有效小 时成本，而实际Token吞吐位于公式分母。我们认为，该框架意味着推理经济性 不仅取决于单位算力成本，也取决于单位时间内实际交付的Token数量，因此评 价推理基础设施时需要同时观察资源成本与实际Token吞吐。
2 Token 优化：AI规模化应用的效率基础
2.1 Agent 推动Token需求从规模增长走向密度提升
此报告完整内容与行业资料合集，可扫码进入星球社群查看
（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）
