夜雨聆风内存正成为影响数据中心基础设施成本的日益重要因素，尤其是在全球数据中心资本支出预计到2030年将突破3万亿美元的背景下。所有类型服务器均使用的传统DRAM，以及GPU等AI加速器所采用的高带宽内存（HBM），需求持续强劲，推动内存价格大幅上涨。供应受限进一步加剧了价格压力，导致通用服务器和AI优化服务器的成本双双上升。
DRAM价格上涨或使服务器支出增加数千亿美元
过去一年，DRAM价格显著上涨。Dell’Oro Group目前预计，服务器DRAM平均售价（ASP）将在2026年达到约10美元/GB，随后逐步回落，到2030年降至约5美元/GB。
这将对服务器支出产生重大影响。根据敏感性分析，假设2026年至2030年DRAM平均售价维持在约3.50美元/GB，大致与近期涨价前的水平相当，那么当前较高的DRAM价格可能使截至2030年的服务器累计支出增加近10%。
这一影响在2026年和2027年将最为明显，届时DRAM价格预计仍将接近峰值。随着新增产能进入市场，以及行业逐步应对内存成本上涨，价格有望从2028年开始更加明显地回落。
因此，我们大幅上调了对整体DRAM市场的预测。但这一上调并非仅由价格推动。随着服务器出货量增加，我们也上调了对DRAM位需求的预测。新兴的Agentic AI和存储相关工作负载正在推动通用服务器需求增长，使基础设施需求不再仅集中于AI优化系统。
不过，我们认为，当前高企的DRAM价格不可能无限期持续而不影响基础设施投资节奏。内存供应商正在扩大产能，其中包括来自中国的新增产能；与此同时，服务器和处理器厂商也在开发更高效的内存利用方式。这些进展将有助于缓解供应限制，并推动DRAM价格在预测期内逐步恢复正常。
HBM面临不同的成本挑战
对AI基础设施而言，HBM是一个更为重要的考量因素。随着高端加速器配备越来越多的内存，以支持更大规模的模型，以及对内存需求更高的推理和Reasoning工作负载，HBM需求将持续增长。
我们预计，到2030年，每颗高端加速器搭载的HBM容量平均将超过500 GB，而这一估算甚至可能偏保守。例如，AMD近期推出的MI455X已经配备432 GB HBM，显示出单颗加速器的内存容量正在迅速增长。
然而，与传统DRAM不同，HBM的单位比特成本可能无法实现同等程度的长期下降。随着堆叠层数、密度、带宽和封装复杂度不断提升，即使技术持续进步，HBM的单位比特成本仍可能维持在较高水平。因此，如果只是沿用当前HBM架构并不断扩大容量，未来AI系统的成本可能会显著上升。
持续推进HBM制造和先进封装技术将至关重要。混合键合、更高密度的新一代HBM、良率改善，以及最终实现更低的HBM平均售价，都有望抵消单颗加速器内存容量快速增长所带来的部分成本。
与此同时，行业可能还需要重新思考：每颗加速器旁边究竟需要直接配置多少HBM。例如，NVIDIA Rubin Ultra最终采用的HBM容量可能低于最初设想的约1 TB。模型效率和内存管理的改善有望降低HBM需求，而高带宽闪存（HBF）等新兴技术，则可能作为成本更低、容量更大的内存层，对HBM形成补充。
内存效率将变得愈加重要
到目前为止，AI基础设施行业主要关注如何提升计算性能，但内存经济性可能成为影响未来系统设计的同等重要制约因素。
对于通用服务器而言，高企的DRAM价格可能在未来几年为基础设施支出增加数千亿美元。对于加速服务器而言，HBM容量和复杂度的迅速提升，可能进一步推高本已高昂的系统成本。
内存供应商在传统DRAM、HBM和NAND Flash之间分配产能时，也面临越来越复杂的平衡。随着服务器、AI加速器和存储领域的需求同步增长，供应商需要决定如何在这些市场之间配置产能和投资。近期DRAM和NAND价格上涨，可能使扩大这两个市场的产能更具吸引力，从而增加供应商在多大程度上优先发展HBM产能的决策难度。
因此，行业需要从供需两端共同应对：一方面增加内存供应、降低制造成本；另一方面提高服务器和AI系统使用内存的效率。内存架构、封装、软件以及新增内存层级方面的改进，将日益影响AI基础设施能否以经济可持续的方式扩展至本世纪末。
关于 Dell'Oro Group
Dell’Oro Group 是一家专注于电信、安全、企业网络和数据中心基础设施市场的战略竞争分析机构。我们通过深度量化数据和定性分析，助力客户制定基于事实的关键商业决策。如需更多信息，请联系Dell’Oro Group：+1.650.622.9400，或访问官网：https://www.delloro.com。
免责声明：本文为AI生成的翻译内容，仅供学习参考。译文可能存在细微误差，建议读者结合原文理解。英文原文请访问：https://www.delloro.com/the-growing-memory-tax-on-ai-infrastructure/