ARTICLE · 1166076
AI芯片混用时代来了:真正稀缺的是网络层
采购AI算力时,很多人还在问同一个问题:该买哪一种芯片?
这个问题没有错,只是已经不够用了。
一家企业可能用高端GPU训练模型,用另一种加速器做推理,再用通用CPU处理数据清洗、调度和业务系统。不同团队买入的设备,采购年份也不同。
设备越来越多。真正麻烦的事情才刚开始。
任务怎样拆分?数据怎样移动?某一组芯片忙不过来时,工作能不能转到另一组?监控系统是否看得懂所有设备?
10月8日,Upscale AI发布Token Fabric,试图用一套硬件、软件和管理体系连接不同供应商的AI加速器。路透将它概括为:帮助客户构建由不同厂商芯片组成的数据中心。upscale.com
这是一家公司的产品主张,尚不足以证明异构芯片网络已经成熟。
但它指向了AI基础设施下一阶段的真实问题:芯片可以混用以后,网络层会不会成为新的控制点?
单卡性能不等于系统性能
假设一家公司有1000张性能很强的加速卡。
如果数据喂不进去,卡就在等;如果不同节点之间同步太慢,训练任务也会停下来等;如果故障切换复杂,运维团队会保留更多闲置资源。
最后,公司购买的是1000张卡,真正能够稳定用于业务的算力却打了折扣。
AI系统的有效产出,大致受四个环节共同影响:
芯片能做多少计算; 数据能多快进入芯片; 芯片之间能否同步; 软件能否把任务分配到合适设备。
只盯着第一个数字,很容易高估投资回报。
为什么企业会需要不同芯片
如果一种芯片在所有任务上都拥有最优成本,企业当然愿意保持简单。
现实不是这样。
训练大模型需要高带宽和大规模并行;在线推理更重视延迟、能耗和单位请求成本;内部小模型可能更关心数据留在本地;部分任务甚至可以在普通电脑或边缘设备上完成。
供应问题也会推动混用。企业不愿让全部扩容计划依赖一家供应商、一种交付周期和一套价格。
多种芯片因此具有采购价值。
代价是复杂度。
每增加一种设备,驱动、编译工具、监控方式和故障处理方法都可能不同。企业节省的芯片成本,可能被网络集成和软件维护重新吃掉。
网络层为什么会变得更值钱
早期AI基础设施竞争常围绕GPU数量展开。
进入异构阶段后,网络层需要回答三件事。
**任务能不能到达。**调度系统要知道不同设备适合处理什么任务,以及当前还有多少资源。
**数据能不能及时移动。**加速器计算速度提高以后,网络等待更容易成为瓶颈。
**故障能不能隔离。**一组设备或一条链路发生问题,系统要避免整批任务失败。
能解决这些问题的产品,不只是交换机。
它通常包括连接芯片、网络设备、软件控制、性能监控和部署服务。收入也可能由一次性硬件销售,延伸到软件订阅、运维和技术支持。
对投资研究来说,这意味着产业价值未必只集中在最高端的计算芯片。
网络芯片、光连接、交换设备、任务调度、可观测性和系统集成,都可能分享异构计算带来的需求。
云厂商的商业账
异构计算对云厂商有一个直接诱惑:把不同成本的设备组合起来,提高资产使用率。
高价GPU不必处理所有请求。分类、检索、批量推理和低优先级任务,可以分配到成本更低的设备。
但这种节省只有在调度足够稳定时才成立。
假设低价设备每小时成本低30%,迁移以后却增加了15%的失败重试、10%的工程维护和更长的交付时间,账面上的硬件优势可能所剩无几。
云厂商最终需要计算的不是“每张卡多少钱”,而是“每完成一次合格任务需要多少钱”。
这个指标包含设备折旧、电力、网络、软件、人力和失败重试。
谁能把这些成本放在同一个控制面上,谁就更接近客户真正关心的结果。
企业采购应该怎么问
企业采购算力时,可以少问一句“参数最高是多少”,多问五个问题:
现有工作中,训练、推理和数据处理各占多少? 不同芯片之间迁移任务,需要修改多少代码? 发生故障时,任务能否自动转移? 网络拥堵和设备等待能否被单独测量? 三年总成本是否包含软件授权、集成人力和运维?
然后做一个小规模的真实测试。
选择一项稳定业务,让两种设备分别运行。记录速度、能耗、失败率、人工处理时间和网络等待。不要只采用厂商提供的基准分数。
企业购买的不是一张跑分表,而是可以连续运行的生产系统。
创业公司的机会在哪里
异构计算会增加几类需求:
帮企业盘点工作负载; 测试不同芯片的真实成本; 提供统一监控和故障定位; 迁移模型及推理任务; 优化数据传输和资源排队。
创业团队不一定需要制造芯片。
如果它能清楚回答“这个任务放在哪种设备上成本最低”,并且结果可以重复验证,就可能进入采购预算。
难点也很明显。基础设施客户要求长期稳定,售前测试周期长,还可能依赖少数大客户。没有现场交付能力,只靠演示很难建立信任。
风险边界
Token Fabric的兼容范围、性能和客户进展主要来自公司公告,仍需第三方部署数据验证。
异构芯片并不一定比单一平台便宜。团队规模较小、工作负载单一时,保持一种设备和软件环境可能更省钱。
网络层价值提高,也不代表所有交换机、光模块或调度软件公司都会获得同样增长。产品兼容性、客户认证、毛利和现金流仍需分别判断。
AI芯片混用时代真正稀缺的,不是“更多种类”本身。
是把不同设备变成一套可靠系统的能力。芯片负责计算,网络层决定这些计算能不能形成连续、可计费的产出。
本文依据公开资料进行产业与商业分析,不构成证券、采购或技术选型建议。厂商公布的性能、兼容性和客户进展需要独立验证。文中成本示例仅用于解释计算方法,不代表任何企业的真实经营数据。