夜雨聆风学习资料网

ARTICLE · 1166076

AI芯片混用时代来了:真正稀缺的是网络层

AI芯片混用时代来了:真正稀缺的是网络层

采购AI算力时,很多人还在问同一个问题:该买哪一种芯片?

这个问题没有错,只是已经不够用了。

一家企业可能用高端GPU训练模型,用另一种加速器做推理,再用通用CPU处理数据清洗、调度和业务系统。不同团队买入的设备,采购年份也不同。

设备越来越多。真正麻烦的事情才刚开始。

任务怎样拆分?数据怎样移动?某一组芯片忙不过来时,工作能不能转到另一组?监控系统是否看得懂所有设备?

10月8日,Upscale AI发布Token Fabric,试图用一套硬件、软件和管理体系连接不同供应商的AI加速器。路透将它概括为:帮助客户构建由不同厂商芯片组成的数据中心。upscale.com

这是一家公司的产品主张,尚不足以证明异构芯片网络已经成熟。

但它指向了AI基础设施下一阶段的真实问题:芯片可以混用以后,网络层会不会成为新的控制点?

单卡性能不等于系统性能

假设一家公司有1000张性能很强的加速卡。

如果数据喂不进去,卡就在等;如果不同节点之间同步太慢,训练任务也会停下来等;如果故障切换复杂,运维团队会保留更多闲置资源。

最后,公司购买的是1000张卡,真正能够稳定用于业务的算力却打了折扣。

AI系统的有效产出,大致受四个环节共同影响:

  • 芯片能做多少计算;
  • 数据能多快进入芯片;
  • 芯片之间能否同步;
  • 软件能否把任务分配到合适设备。

只盯着第一个数字,很容易高估投资回报。

为什么企业会需要不同芯片

如果一种芯片在所有任务上都拥有最优成本,企业当然愿意保持简单。

现实不是这样。

训练大模型需要高带宽和大规模并行;在线推理更重视延迟、能耗和单位请求成本;内部小模型可能更关心数据留在本地;部分任务甚至可以在普通电脑或边缘设备上完成。

供应问题也会推动混用。企业不愿让全部扩容计划依赖一家供应商、一种交付周期和一套价格。

多种芯片因此具有采购价值。

代价是复杂度。

每增加一种设备,驱动、编译工具、监控方式和故障处理方法都可能不同。企业节省的芯片成本,可能被网络集成和软件维护重新吃掉。

网络层为什么会变得更值钱

早期AI基础设施竞争常围绕GPU数量展开。

进入异构阶段后,网络层需要回答三件事。

**任务能不能到达。**调度系统要知道不同设备适合处理什么任务,以及当前还有多少资源。

**数据能不能及时移动。**加速器计算速度提高以后,网络等待更容易成为瓶颈。

**故障能不能隔离。**一组设备或一条链路发生问题,系统要避免整批任务失败。

能解决这些问题的产品,不只是交换机。

它通常包括连接芯片、网络设备、软件控制、性能监控和部署服务。收入也可能由一次性硬件销售,延伸到软件订阅、运维和技术支持。

对投资研究来说,这意味着产业价值未必只集中在最高端的计算芯片。

网络芯片、光连接、交换设备、任务调度、可观测性和系统集成,都可能分享异构计算带来的需求。

云厂商的商业账

异构计算对云厂商有一个直接诱惑:把不同成本的设备组合起来,提高资产使用率。

高价GPU不必处理所有请求。分类、检索、批量推理和低优先级任务,可以分配到成本更低的设备。

但这种节省只有在调度足够稳定时才成立。

假设低价设备每小时成本低30%,迁移以后却增加了15%的失败重试、10%的工程维护和更长的交付时间,账面上的硬件优势可能所剩无几。

云厂商最终需要计算的不是“每张卡多少钱”,而是“每完成一次合格任务需要多少钱”。

这个指标包含设备折旧、电力、网络、软件、人力和失败重试。

谁能把这些成本放在同一个控制面上,谁就更接近客户真正关心的结果。

企业采购应该怎么问

企业采购算力时,可以少问一句“参数最高是多少”,多问五个问题:

  1. 现有工作中,训练、推理和数据处理各占多少?
  2. 不同芯片之间迁移任务,需要修改多少代码?
  3. 发生故障时,任务能否自动转移?
  4. 网络拥堵和设备等待能否被单独测量?
  5. 三年总成本是否包含软件授权、集成人力和运维?

然后做一个小规模的真实测试。

选择一项稳定业务,让两种设备分别运行。记录速度、能耗、失败率、人工处理时间和网络等待。不要只采用厂商提供的基准分数。

企业购买的不是一张跑分表,而是可以连续运行的生产系统。

创业公司的机会在哪里

异构计算会增加几类需求:

  • 帮企业盘点工作负载;
  • 测试不同芯片的真实成本;
  • 提供统一监控和故障定位;
  • 迁移模型及推理任务;
  • 优化数据传输和资源排队。

创业团队不一定需要制造芯片。

如果它能清楚回答“这个任务放在哪种设备上成本最低”,并且结果可以重复验证,就可能进入采购预算。

难点也很明显。基础设施客户要求长期稳定,售前测试周期长,还可能依赖少数大客户。没有现场交付能力,只靠演示很难建立信任。

风险边界

Token Fabric的兼容范围、性能和客户进展主要来自公司公告,仍需第三方部署数据验证。

异构芯片并不一定比单一平台便宜。团队规模较小、工作负载单一时,保持一种设备和软件环境可能更省钱。

网络层价值提高,也不代表所有交换机、光模块或调度软件公司都会获得同样增长。产品兼容性、客户认证、毛利和现金流仍需分别判断。

AI芯片混用时代真正稀缺的,不是“更多种类”本身。

是把不同设备变成一套可靠系统的能力。芯片负责计算,网络层决定这些计算能不能形成连续、可计费的产出。

本文依据公开资料进行产业与商业分析,不构成证券、采购或技术选型建议。厂商公布的性能、兼容性和客户进展需要独立验证。文中成本示例仅用于解释计算方法,不代表任何企业的真实经营数据。

相关学习资料