乐于分享
好东西不私藏

研究的深层感触-Ai 存储

研究的深层感触-Ai 存储

首先,还是非常感叹,去年自己独到的眼光,满仓单吊做了HBM 方向,虽然因为战争,提前止盈,但是这一布局让我更加坚定了自己的选择,也肯定了自己的前瞻眼光,这一切都来源于自己不断的学习,独立思考和分析,在反复推演,对比后,寻找布局机会,果断出击。

今天我要分享的是存储,为了搞懂,我已经前前后后,学习了几个月了,虽然不能算是精通(正在精通路上),但是相对光通讯,我更有发言权。

在正式讲存储之前,还是老规矩,先追根溯源,为什么这轮存储会爆发,而且景气度比较光通讯,存储也是我极为看重和深度研究的方向,尤其HBM 。今天HBM 就不作为重点分享了,重点分享爆发逻辑及接下来存在机会的方向,因为HBM 我去年已经深度研究,但是因为研究过于晚,所以目前只能说存在结构性机会。

存储,咱们大家都不会陌生,平时的手机,电脑,平板,都会用到,但是这轮存储表面是涨价,市值底层驱动本质和逻辑完全不一样。

上篇分享了,光通讯的爆发和技术迭代路径,根源就是神经网络形成的人工智能爆发,形成了深度学习,才催生了GPU ,有了GPU 大模型才能训练。

大模型之前训练本来好好的,训练好了形成数据库,放在存储里,可以随时调用。

但是转折点来了,进入2025年,大模型正式由训练进入推理,一旦推理,就涉及响应,海量数据通道进入,解码,存储,也就是造成了HBM的紧缺的根本原因。

为什么2025年是爆发时间窗口,因为De­e­p­S­e­ek 横空出世,让我们普通百姓可以免费使用大模型进行推理,有了de­ep se­ek,后面国内大模型才相继跟进,免费开源,早前国外是没有开源的,所以即使推理,但是基数不大,所以没有迎来推理爆发。

为了讲清爆发逻辑,喔也是先后去学习了我们运用大模型进行推理过程中,存储的内部工作机制,

以一次完整的推理为例,这个过程可以分为两个阶段:

🧠 预填充:数据初入,“知识”加载这个阶段的核心任务是让模型一次性“理解”你的所有输入1.数据进入:你的输入(如一段长文)先被CPU和系统内存(DR­AM)处理,而后核心数据被搬运至HBM。2.权重驻留:模型自身的“知识库”(即权重参数)已提前载入并永久驻留在HBM中,确保高速访问3.生成首个To­k­en:GPU核心高速处理HBM中的数据,生成第一个词4.创建缓存:首次计算后,关键的中间结果会被保存在HBM中,这被称为KVCa­c­he。:zap: 解码:反复调用,即时输出首个词生成后,便进入生成后续文本的解码阶段。此阶段的瓶颈在于内存带宽,而非计算能力1.读取缓存:生成新词时,GPU会从HBM中检索整个KVCa­c­he,与新信息进行注意力计算,以理解上下文2.更新缓存:计算完成后,新词的键值(Key-Va­l­ue)对会被追加到HBM的KV Ca­c­he中,用于下一个词的生成3.如此循环,直到生成完整的回答。💡 HBM的核心特性· 带宽为王:HBM采用3D堆叠和1024位以上超宽接口,带宽超过1.2TB/s,是传统内存的近20倍。· 容量瓶颈:为应对其容量限制,业界采用分级存储策略(HBM→DR­AM→SSD)动态管理数据,将访问频率最高的数据保留在HBM中。通俗一点,因为推理需求爆发,在HBM这里产生了三层存储数据,一层是热数据,随时被调用,因为涉及处理速度,所以调用的速度也要快,主要看的就是带宽,Hbm性能决定。

第二层是温数据,存在DR­AM中,不用马上调用,间隔调用,不太涉及处理速度

第三层说冷数据,推理任务完成后,这些数据永久存储,便于下次开启记忆,存在固态机械硬盘中SSD中,这里面很明显增量最大的就是HBM和SSD。

HBM 的原材料又是DR­AM ,因为要形成存储墙,所以需要多层堆叠,这就导致所需DR­AM 用量激增,改变了原来DR­AM 产能格局。

注意,原来DR­AM 只是作为即使运行内存,产能上大家互不影响,但是现在被用于高带宽内存,产能生态直接被破坏,因为全球产能只有那么多,一下分赃不均了。

所以Ai 从训练进入推理,爆发了HBM 和SSD 的需求,HBM 是由DR­AM 作为原材料,所以HBM,SSD 是由NA­ND fl­a­sh 颗粒作为原料。

HBM 国内目前除了长鑫存储具备HBM3e能力,HBM4还没正式推出,除了没有企业能做。

因为HBM和SSD 影响了原来产能结构,头部所以就导致SSD,DR­AM ,NA­ND ,DDR 涨价,那和国内模组厂商有什么关系呢。

因为他们从原厂出厂是处于晶圆状态,还需要进一步封装成模组才能销售,也就是模组厂商赚的是加工的差价,在涨价阶段,卖的越多,赚的越多,差价又是卖价-进价,那进阶自然越低赚的越多,因为原材料是颗粒,颗粒占模足成本80%以上,是不是很夸张。所以模组厂商需要提前备货,而且普遍备货基数都很大,一般都是长供协议。

这里面重点说下SSD ,这个相对其他模组,不是标准品,是要根据客户要求定制,核心就是主控芯片+固件算法,这部分占成本10-15%,如果有了这个优势,成本就会低于竞品,赚的当然更多。

这就是这波存储涨价,模组厂商股价爆发的核心原因。

说到SSD,就再给大家说下,因为设计主控芯片+固态算法是技术壁垒,A股目前我了解到的有主控芯片的有德明利,联芸科技,还有一家马上上市,大普微。

最稀缺的是大普微,是注册制以来首家亏损企业上市26年肯定扭亏,客户全是国际大客户,什么谷歌,英伟达,Op­en Ai,提前卡位,从成立就专注企业级SSD,目前要等待就是看好久上市,上市后开出来的市盈率,开出来如果150元都是具备性价比的。