夜雨聆风现在大家都知道，2026年最热门的芯片话题并非处理器，而是存储器。内存价格的飞涨和相关公司估值的飙升就是明证。即便是消费科技巨头也未能幸免于这场“内存荒”。以苹果公司近期的硬件涨价为例，其直接原因正是全行业对内存和存储前所未有的巨大需求，以及由此引发的供应链成本溢价。
随着大型语言模型（LLM）的上下文窗口不断扩大，系统需要庞大的缓存支撑，而这正得益于异质封装集成技术所催生的高带宽内存（HBM）。同时，模型参数量的水涨船高，也要求在计算核心旁配备海量存储，这一需求又推动了共封装高带宽闪存（HBF）的发展。
然而，若回到十年前，很难预测究竟是先进封装技术，还是基础存储技术的革新，会成为重新定义存储器层级、优化“存-算”复杂交织关系的主要催化剂。毕竟，在过去三十年间，相变存储器（PCM）、阻变存储器（RRAM）和磁阻存储器（MRAM）等一众候选技术被提出、研发，甚至产品化，但最终都未能跻身主流。
那么，我们该如何解读过去数十年在存储技术与架构上的创新，并借此判断：对于非常规计算，我们真正需要的是什么？
“悲伤的存储器性能三角”（或者说，万能存储器并不存在）
在传统计算架构中，存储器层级通常分为三个不同的级别。一项技术在该层级中的位置，主要依据以下三个指标来评估：
速度：从存储器中读取和写入数据的速度；
保持性：存储器能维持其状态的时间长短；
密度：单位面积内能存储的数据位数。
构成我们寄存器和缓存的静态随机存取存储器（SRAM）速度极快，且在有电供应时，保持性几乎无限。由于它与主处理器采用相同的逻辑工艺节点制造，因此能无缝集成于芯片之上。然而，其密度严重不足，每一位数据都需要至少六个晶体管。
动态随机存取存储器（DRAM）及其先进3D变体（如HBM），则使用与标准处理器逻辑截然不同的专用内存工艺制造。这类内存在密度和速度之间取得了良好的平衡，但其保持时间很短，大约仅100毫秒，这意味着必须持续刷新以防止数据丢失。
闪存（Flash）作为第一层大容量存储，同样依赖其特有的制造工艺。关键在于，闪存是一种非易失性存储器（NVM），无需电力即可无限期保持状态。它密度极高，可通过多比特存储和3D集成技术不断扩展容量，但这是以有限的耐用性和慢得多的写入速度为代价的。
鉴于这些鲜明的特性差异和制造工艺的现实，传统存储器层级自然而然地按照与处理器的物理距离和速度来排列：SRAM直接位于处理器芯片上，DRAM紧邻其旁，而闪存则被置于更远处，用于大容量存储。然而，到了2010年代，人们愈发清晰地意识到，这个层级结构存在缺口。在速度飞快的DRAM和密度高但速度慢的闪存之间，存在明显的性能鸿沟，亟需新的技术来填补。
于是，存储级内存（SCM）应运而生。这个被寄予厚望的“老二”（中间子女），旨在填补DRAM与闪存之间的延迟鸿沟。它有望实现接近DRAM的速度、接近闪存的密度，并且具备非易失性。为实现这一目标，业界开发了多种新型存储技术，例如通过熔融和再结晶硫系玻璃微小颗粒来存储数据的相变存储器（PCM），以及通过驱动原子移动来形成或断开导电细丝的阻变存储器（RRAM）。
PCM最终迎来了高光时刻，化身为英特尔傲腾（Optane）——一款真实存在、可购买到的产品。然而……它的结局并不完美。其性能确实令人印象深刻，但生不逢时：傲腾问世之际，业界尚未形成如今这种对内存带宽如饥似渴的需求。彼时，像今天这样规模庞大、亟需海量参数的AI杀手级应用尚未出现。一个找不到适用场景的精妙解决方案，终究只是个解决方案。最终，英特尔关停了傲腾业务，业界的集体注意力转向了高带宽内存（HBM），押注于先进封装技术而非新奇的材料物理特性。
PCM和RRAM并未消亡，而是悄然退出聚光灯下，在嵌入式存储领域找到了用武之地。它们的密度和非易失性优势在微控制器和边缘芯片中得以充分发挥，虽然不再耀眼，却也算得上一份稳定工作。
为非传统计算“抚平三角”
每一项存储器技术背后都有一个残酷的事实：将一项新技术优化到满足生产系统所要求的可靠性级别，需要近二十年的时间。DRAM由IBM的Robert Dennard于1966年提出，但直到20世纪70年代末才成为计算领域默认的主存，仅“起步”就花了近十年。闪存的历程更为漫长：东芝的Fujio Masuoka在20世纪80年代中期发明了闪存（1984年NOR型，1987年NAND型），但直到2000年代固态硬盘（SSD）和U盘兴起时，它才真正普及，从概念提出到无处不在，耗费了大约二十年。
将误码率（BER）压低到传统计算所期望的极低水平，是材料科学和器件工程领域的漫长攻坚，没有捷径可循。但AI改变了这个局面。如果我们能获知在硬件上运行的具体模型，就无需死磕那些严苛的可靠性目标；相反，我们可以让模型针对这些错误进行训练。此外，某些模型对噪声的容忍度天生就更高。神经网络对噪声表现出显著的鲁棒性，这意味着我们可以大幅放宽符号错误率（SER）的要求，让训练过程去吸收这些不完美。
这彻底重构了整个优化问题。与其花二十年时间将误码率（BER）推向趋近于零，不如将这份工程精力用于提升密度，在每个单元中塞入更多比特，降低能耗，同时接受模型将与偶尔出现的错误“和平共处”的现实。
重新审视存储器层级
那么，对于非传统的、动态的、存在噪声的系统而言，理想的存储器层级究竟应是什么样子？其工作负载可清晰地分为两类：
第一类是参数内存，即存储模型权重本身。模型训练完成后，这些权重几乎不再变化。对于推理加速器而言，我们需要的是近乎永久存储且密度极高的方案；保持性是关键，而偶发的重写则是我们不需要的“奢侈品”。
第二类是工作内存，即暂存瞬态状态的“草稿本”。其中的信息需要即时可用，但可以随时消失，且无需写回模型权重。
PCM和RRAM曾被视为参数存储端的天然之选——密度高、非易失，且能通过欧姆定律和基尔霍夫定律在物理层面直接计算乘累加。然而，多年来为了降低误码率所做的努力，使得它们在面积和能效上，相较于基于SRAM的数字型存内计算方案，并无优势可言。多比特PCM和RRAM用于存内计算的方案（主要见于学术论文）也从未真正起飞，症结正是在于它们显著的噪声和变异性，这导致直接映射预训练模型时误码率（BER）和错误率居高不下。然而，只要我们放下对BER的执念，改变优化目标，就能在每个单元中塞入更多比特，并以更低电导（小于1 µS）进行编程，从而将能效和面积效率提升数个数量级。
至于工作内存，我们的需求很明确：具备DRAM级别的性能与密度，分布在芯片各处，与计算单元紧密相邻。我们需要的是紧邻逻辑单元的众多小型内存块，而非置于一旁的大型独立内存块。当前解决这一问题的领跑者包括增益单元（Gain Cell）、将HBM 3D堆叠到逻辑芯片上，以及嵌入式DRAM（eDRAM）。我们需要的是一种高速、高密度、与逻辑工艺兼容，并能在未来三到五年内实现规模化量产的内存解决方案。为了换取这种高性能，我们可以牺牲保持性。只要速度和密度达标，较短的保持时间完全可以在系统架构层面进行管理和优化。
“万能存储器”始终未能成为现实，但AI或许最终能成为那个“杀手级负载”，告诉每一项技术，它生来就该承担何种使命。
博客原文：https://unconv.ai/blog/smoothing-the-triangle-rethinking-the-memory-stack-for-unconventional-ai/
