人工智能产业的爆发,不仅拉动了GPU、AI加速器的需求暴涨,更从底层重构了全球存储市场的发展逻辑。
大模型训练与推理,需要持续处理海量参数、海量训练数据、中间计算结果以及各类缓存信息。对于AI算力而言,计算芯片只有不间断获取数据,才能充分释放算力性能。
这也让存储彻底摆脱了“辅助配件”的定位,成为决定AI服务器性能、成本、能耗与交付能力的核心基础设施。
在整套AI基础设施中,HBM、DRAM、NAND三类存储各司其职、层层配合,搭建起了AI时代完整的数据流转体系:
HBM:贴近AI加速器,提供极致高速的数据传输能力
DRAM:服务器系统内存,负责程序运行、任务调度与数据预处理缓存
NAND:依托企业级SSD,持久化存储模型权重、数据集与训练节点
三者联动,形成了从持久化存储→系统内存→加速器高速内存的闭环数据链路,是所有AI算力落地的底层根基。

一、HBM:为AI加速器量身打造的高速数据底座
HBM(High Bandwidth Memory,高带宽内存),是当前高端AI服务器中最核心、最稀缺的存储资源。
大模型训练的核心痛点,从来不止是GPU算力不足,更常见的是带宽瓶颈。模型训练需要反复读取、迭代海量参数与中间结果,一旦内存带宽跟不上计算速度,GPU就会陷入空转等待,实际算力利用率大幅降低。
而HBM的核心价值,就是为GPU、AI加速器提供持续、稳定、超高速的数据供给。
在训练场景中:HBM主要存放当前迭代所需的模型参数、激活值、计算中间结果以及优化器状态,保障每一轮迭代无缝衔接。
在推理场景中:HBM不仅需要常驻模型权重,还要承载核心的KV Cache缓存。模型参数越大、上下文窗口越长、并发推理用户越多,对HBM的带宽与容量要求就越高。
如今,HBM已经成为制约高端AI芯片量产交付的关键短板。即便GPU计算核心顺利量产,一旦HBM产能、封装工艺、客户认证跟不上,整套AI芯片产品就无法落地交付。
这也意味着,AI行业的竞争,早已从单一芯片算力比拼,升级为GPU、HBM、先进封装、服务器互联、软件生态的全系统竞争。
不同于普通内存,HBM的生产门槛极高,需要依托高纯度存储裸片、多层堆叠工艺、精密测试与先进封装技术,生产成本、制造难度、良率要求远高于传统内存。其市场竞争核心,不仅是产能比拼,更是功耗控制、散热能力、批量交付稳定性与客户生态认证的综合较量。
二、DRAM:AI服务器不可或缺的系统级核心内存
DRAM(Dynamic Random Access Memory)主要部署在CPU侧,承担着整套服务器的基础运转工作:操作系统运行、应用程序调度、模型加载、数据预处理、网络通信、系统全局缓存等核心流程,全部依赖DRAM支撑。
在AI全链路流程中,DRAM承担着关键的中转与预处理作用:
训练数据首先从NAND SSD读取至系统DRAM,完成清洗、解码、分批、格式转换等预处理工作,筛选整理后的有效数据,才会批量传输至GPU的HBM中参与计算。
即便在推理场景,DRAM也需要持续维护用户请求队列、服务进程、系统运行状态以及各类临时缓存,保障高并发推理的稳定性。
很多人误以为“HBM扩容,DRAM就会被替代”,这是典型的认知误区。
HBM的核心优势是加速器侧超高带宽,专注服务AI计算;而DRAM的核心价值是系统级大容量、高通用、低成本平衡,负责整套服务器的运转与数据筹备。
高端AI服务器普遍配置多颗GPU、超大容量HBM,同时搭配数百GB甚至TB级别的DRAM。一旦系统DRAM容量不足、数据预处理速度滞后,即便GPU算力与HBM带宽拉满,CPU侧的调度与数据准备依然会成为整个AI系统的性能瓶颈。
目前全球高端DRAM市场高度集中,头部厂商的产能分配、资本开支、产品结构调整,直接影响全球AI服务器供货节奏。随着厂商将大量先进产能、研发资源倾斜至HBM,DDR、LPDDR等传统DRAM产品的供给节奏也随之受到影响。
三、NAND:AI算力的持久化数据底座
如果说HBM、DRAM是AI计算的“临时工作台”,那NAND Flash(NOT-AND Flash Memory)就是AI产业的“永久仓库”。
NAND属于非易失性存储介质,断电后数据不会丢失,且单位存储成本远低于HBM和DRAM,是承载海量数据存储的最优选择。
所有AI核心静态资源,几乎都依托NAND企业级SSD存储:海量训练数据集、超大模型权重文件、向量数据库、训练检查点、运行日志、音视频非结构化数据等,全部由NAND承接。
在模型训练流程中,NAND发挥着两大核心作用:
第一,数据源头供给:训练启动前,系统从NAND SSD读取原始数据与模型文件,经DRAM预处理后送入GPU计算;
第二,训练容错兜底:训练过程中,系统会定期将模型迭代状态写入SSD,生成训练检查点。当服务器故障、网络中断、任务异常终止时,可从最新检查点恢复训练,无需从零重启,极大节省了大模型训练的时间与算力成本。
对于动辄持续数天、数月的大模型训练任务,NAND的稳定性与读写性能,直接决定了训练任务的容错能力与落地效率。
在推理场景中,NAND同样至关重要:企业需要存储多版本模型、海量用户数据、文档知识库与向量索引,支撑检索增强生成(RAG)、多业务线推理等场景快速调取数据。
值得注意的是,AI数据中心对NAND存储的要求,远高于消费级产品。
消费级SSD侧重性价比与日常使用速度,而AI企业级存储,更看重持续吞吐能力、高并发访问稳定性、长期读写耐久性、故障快速恢复能力与数据安全性,整体性能由NAND颗粒、SSD主控、固件算法、接口规格、散热方案与存储软件共同决定。
四、链路拆解:HBM、DRAM、NAND如何协同工作?
三者绝非独立运作,也不存在替代关系,而是一套层层递进、环环相扣的完整数据流转体系,任意一层出现瓶颈,都会拖累整体AI算力效率。
完整AI数据流转链路:
1. NAND SSD(持久化存储层)
永久保存模型权重、训练数据集、向量索引、训练检查点与系统日志,是AI算力的数据源底座。
↓
2. DRAM(系统中转层)
读取SSD原始数据,完成缓存、清洗、解码、分批预处理,同时负责任务调度、系统运维、请求队列管理,为GPU计算做好数据准备。
↓
3. HBM(计算加速层)
接收DRAM预处理后的标准化数据,高速供给GPU/AI加速器,承载模型迭代、张量计算、KV Cache缓存等核心运算工作。
↓
4. 结果回流落地
GPU计算完成后,结果回传至DRAM,根据训练需求,将迭代状态、关键数据写回NAND SSD持久保存。
各层瓶颈对应的性能问题:
HBM瓶颈:带宽/容量不足,数据频繁交换,GPU空转,算力利用率暴跌
DRAM瓶颈:数据预处理滞后、任务调度拥堵,算力无数据可用
NAND瓶颈:模型加载慢、数据读取卡顿、检查点写入延迟,训练中断重启成本极高
这也印证了一个核心逻辑:AI基建建设,绝非单纯堆叠GPU,而是算力、内存、存储、网络、软件的全链路均衡建设。
五、AI重构全球存储市场格局
在AI时代之前,全球存储市场的需求,主要由智能手机、PC、传统服务器消费电子驱动,市场增长平稳、逻辑单一。
大模型落地之后,高端存储的需求结构彻底重塑:
HBM:成为增速最快、技术壁垒最高、价值最集中的存储赛道
服务器DRAM:受益于AI服务器高配趋势,DDR5大容量机型需求持续攀升
企业级NAND SSD:随模型体量、数据集、向量数据库扩容,需求稳步增长
需求变革倒逼产业资源重构。全球存储厂商正大规模将晶圆产能、研发投入、资本开支,从传统消费级产品,转向HBM、高端服务器DRAM、企业级NAND等高附加值AI存储产品。
同时,AI客户对产品的供货稳定性、能耗控制、散热性能、长期可靠性、定制化认证提出了更高要求,也推动了存储厂商与GPU厂商、云厂商、服务器整机厂商的深度绑定合作,产业生态愈发集中。
需要明确的是:AI不会带动所有存储产品同步增长。
HBM完全依托高端AI算力驱动;服务器DRAM兼顾AI与传统数据中心需求;NAND则同时受企业级AI、消费电子、PC、手机多市场影响。分析存储行业走势,必须分层看待。
结语
在AI计算体系中,三者分工清晰、缺一不可:
GPU决定算力上限,HBM决定计算效率,DRAM决定系统稳定性,NAND决定数据承载力。
随着大模型参数持续扩容、上下文窗口不断拉长、推理并发量指数级上涨,存储对AI算力的制约作用会愈发明显,其基础设施地位也会持续强化。
真正高效、稳定、可落地的AI系统,从来不是简单堆砌高端硬件,而是实现计算、内存、持久化存储、网络、软件生态的全方位平衡。
夜雨聆风