英伟达推理软件栈如何实现最低Token成本

编辑：林风语

图片：林智源

排版：白素心

-新闻发布入口: https://news.zhenrobot.com-

随着企业逐步从 AI 试点阶段迈向规模化生产部署，基础设施选型的关键指标正在发生变化。相比单纯关注芯片峰值性能，行业如今更重视每美元、每瓦电力在目标时延范围内能够交付多少有效 token，即更具实际意义的推理效率与综合成本。

与这一趋势相对，Baseten、Cognition、Deep Infra、Together AI 和 Cursor 等公司，仍在持续从 NVIDIA 的软件栈与开源生态中获得叠加价值。共同的背景在于，AI 基础设施领域的竞争已不再局限于某一项单一硬件指标，而是转向由 GPU、CPU、网络、系统与推理软件共同构成的整体能力。

由英伟达 GPU、CPU、网络与系统协同设计的全栈推理软件，正在持续提升硬件的实际使用效率。当这些环节作为统一系统运行时，单点优化不再是孤立存在，而会形成复合增益，进一步拉低推理成本并提升交付能力。

在 NVIDIA Blackwell 平台上，这一软件栈已经展现出明确成效。以 DeepSeek V4 模型为例，在约一个月时间内，相关软件优化已将 token 成本最高降低 5 倍。这意味着，在相同预算和能耗条件下，企业能够获得更高的模型吞吐与更优的部署效率。

这一变化并非仅来自底层硬件升级，更源于软件栈持续迭代带来的性能释放。对于正在建设“AI 工厂”的企业而言，这类改进直接关系到生产环境中的单位成本、响应时延与资源利用率。

英伟达全栈能力的放大效应，还来自广泛的开源生态支持。目前，许多主流开源 AI 框架与推理项目均原生构建于 NVIDIA CUDA 之上，这使得新的研究成果和软件优化在发布之初，就能够在英伟达 GPU 上实现领先性能。

这种开源协作模式也解释了：为什么一旦最前沿的开源模型发布，它们就能迅速进入真实世界的部署流程。以 DeepSeek V4 为例，模型发布后，vLLM 和 SGLang 等主流推理框架便能第一时间为 NVIDIA Blackwell 架构提供部署方案，使该模型得以在大规模 Blackwell GPU 资源上快速扩展。

更值得关注的是，DeepSeek V4 在 Blackwell 平台上的性能优化并非一次性提升，而是在 vLLM 和 SGLang 等框架持续演进中快速推进。约一个月内，模型性能最高提升 5 倍，token 成本降至此前的约五分之一。

对于产业端而言，这种变化的意义在于，开源模型的商业可用性正在明显增强。企业不仅能够更快接入新模型，还能在更短时间内获得更具经济性的部署方案。这也说明，AI 基础设施的价值正在由“是否能跑”转向“是否能高效、低成本、规模化地持续运行”。

对于关注人形机器人、具身智能和 VLA（视觉-语言-动作）模型的行业读者而言，这一趋势同样具有参考意义。无论是端到端控制、teleoperation（遥操作）数据回放，还是 sim-to-real（仿真到现实）训练与推理部署，背后都高度依赖稳定、高效且可持续优化的算力软件栈。

从行业发展节奏看，未来决定商业化落地速度的，不仅是模型能力本身，还包括推理成本是否足够低、部署链路是否足够成熟、开源生态是否能够快速跟进。英伟达在全栈软件与开源生态上的持续推进，正在为这一方向提供更强的基础设施支撑。

📚 【精品资源】添加关注『人形纪元网微信公众号』，即可免费获取世界模型综述论文《World Model for Robot Learning》。

[人形纪元网出品] [英伟达GPU] [AI推理成本] [开源AI生态] [具身智能与人形机器人] [真机智能(zhenrobot.com)] [真机科学(zhensci.com)] [真机资本(zhencap.com)] [真机skill(zhenskill.com)] [真机team(zhenteam.com)] [真机宇宙(zhenmeta.com)] [真机租赁(zhenrent.com)] [真机合约(zhencontract.com)] [真机记忆(zhenmem.com)] [真机保险(zhenins.com)] [真机学院(zhencollege.com)] [真机商机(zhenmate.com)] [真机招聘(zhenhire.com)] [真机法律(zhenlegal.com)] [真机视频(zhenvideo.com)] [真机量化(zhenquant.hk)] [真机内参] [真机尽调(zhendue.com)] [真机文学] [真机影评] [真机短剧] [刘智勇频道] [机器姬永生人] [机器洞察网] [AI之星网] [风投高科网] [猛虎财经网] [硅基科学网] [人形纪元网] [Cognition OS] [Embodied OS] [黄金广告位]

-End-

-感谢您的耐心阅读-