AI计算与存储硬件概览

硬件是 AI 的物理底座。训练看显存，推理看带宽，端侧看功耗，盈利看成本。 只有理解了这些硬件的瓶颈，你才能在产品立项时，准确预估出你的产品在一年后是否能实现收支平衡。

- 烧钱期（训练）： 用昂贵的通用GPU集群。
- 商业化期（云端推理）： 寻找TPU或ASIC专用芯片降低TCO总拥有成本。
- 普及期（端侧）： 模型裁剪后用手机NPU离线跑，降本且保隐私。

如果说计算芯片CPU/GPU/NPU是大脑，那么存储芯片就是记忆体和书架。存储芯片的技术水平直接决定了系统的整体能耗和数据处理速度，也就是业界常说的存储墙(Memory Wall)：

- 内存墙(Memory Wall)：处理器的速度提升了1000倍，但存储器的访问速度只提升了10倍。这导致高性能计算时，GPU经常在等数据造成算力浪费。
- 能耗墙(Power Wall)：在AI训练中，约40%以上的功耗消耗在数据搬运（从内存移动到算术单元上，而非计算本身。
- 容量约束：由于单个AI模型如GPT-4的参数量巨大，单张显卡的显存HBM装不下，必须通过多卡联网，此时通讯带宽成为了新的存储瓶颈。
为了打破这些瓶颈，行业正在研发CXL(高速互联协议)以实现内存共享，以及PIM(存内计算)技术，尝试直接在存储芯片里做简单的计算，减少数据搬运。