AI 推理范式及其计算、存储与通信架构解析

推理芯片的竞争不会以谁取代 GPU结束。真正发生的变化，是推理负载正在被拆成不同的物理问题：Prefill 需要吞吐，Decode 需要低时延，长上下文需要大容量状态管理，端侧推理需要功耗和本地内存效率，超大集群需要更大的互联半径。GPU+HBM 仍然会守住最大的一块战场，但 Groq、Cerebras、d-Matrix、Hyperscaler 自研 ASIC、CPU、端侧 NPU 和光子互联各自切走的，不是同一个市场，而是推理工作负载重新分层之后的不同切片。

对存储行业而言，这比“GPU 会不会被替代”重要得多。因为一旦计算范式分裂，KV Cache、CXL 内存池、本地 SSD、端侧闪存和集群级共享状态层的价值边界都会被重新划线。过去我们习惯把 AI 基础设施理解成“GPU 数量 + HBM 容量 + 网络带宽”的问题，但推理时代真正的难点，是如何在不同计算阶段之间移动状态、复用状态、保存状态，并且让这些动作的成本低于重新计算。

更准确的问题是：每一种推理芯片路线，到底把内存墙搬到了哪里？它解决了哪一段负载？又把新的瓶颈传导给了哪一层基础设施？

一、先把推理拆开：Prefill 和 Decode 不是同一种计算

如果只说大模型推理，很容易把问题讲错。一次 LLM 推理至少可以拆成两个性质完全不同的阶段。

Prefill 阶段处理用户输入的 prompt，把整段上下文一次性送进模型，生成后续 Decode 需要使用的 KV Cache。它的特点是并行度高、计算密集、适合大批量矩阵运算。GPU 很擅长这件事，因为它的优势正是高吞吐矩阵计算和高带宽 HBM。

Decode 阶段则是一 token 一 token 地生成输出。每生成一个新 token，都要访问前面所有 token 对应的 KV Cache。随着上下文变长，Decode 越来越像一个 memory-bound workload：计算单元可能并不总是满载，真正卡住系统的是 KV Cache 的读取、搬移、复用和调度。推理服务的用户体验，尤其是实时对话、Agent、多轮交互，往往就死在这一段。

这就是为什么推理芯片会分化。训练时代的大问题是如何把巨大的矩阵乘法堆到极限，推理时代的大问题变成了如何把不同阶段放到最合适的硬件上。GPU 不会消失，但它不再天然应该包办所有事情。Prefill、Decode、长上下文、多 Agent、端侧隐私推理、推荐排序、小模型长尾任务，本来就不该用同一种硬件回答。

NVIDIA Dynamo 这类系统框架已经把这一点产品化：Prefill worker 负责计算 KV Cache，Decode worker 负责后续生成，中间必须有高效的 KV Cache 传输和状态管理机制。这说明行业已经从单芯片性能竞争进入异构推理系统竞争。芯片只是其中一层，真正的战场在系统。

二、Memory-Centric ASIC：不是拆掉内存墙，而是把墙搬到更可控的位置

GPU+HBM 的思路是翻越内存墙：用更快的 HBM、更宽的 NVLink、更强的 Scale-Up 网络，把数据尽快喂给计算单元。

Memory-Centric ASIC 的思路不一样，它们试图从源头减少数据搬运：把权重、激活、部分 KV 状态尽可能留在芯片附近，甚至直接把计算嵌进存储结构里。

但这里要说得准确一点：这些路线并没有“消灭”内存墙。它们只是把内存墙从 HBM/DRAM 接口，搬到了片上 SRAM 容量、芯片间扩展、编译器调度、系统级互联和软件栈成熟度上。墙还在，只是位置变了。谁能把这堵墙搬到自己最有优势的位置，谁就有机会切走一段推理负载。

确定性数据流：用编译期调度换运行时可预测性

Groq 代表的是一种非常纯粹的确定性数据流路线。它的核心不是简单“更快”，而是把运行时的不确定性尽可能前移到编译期解决。数据在芯片内部如何流动、在哪个时刻到达哪个计算单元，尽量由编译器提前排好，而不是依赖运行时调度、Cache 命中、内存仲裁和复杂控制逻辑。

这带来的直接好处，是低时延和低抖动。对实时对话、语音交互、低 batch token generation 这类场景，抖动有时比平均延迟更致命。用户不是在看 benchmark 平均值，而是在感知每一次卡顿。确定性数据流架构的价值，就在于它能把服务行为变得更可预测。

代价也很清楚。片上 SRAM 容量不可能无限扩大，大模型要么被切分到更多芯片，要么依赖更强的系统级调度。换句话说，Groq 把 HBM 访问问题变成了模型切分、芯片数量、编译器能力和机架级部署问题。它不是没有约束，而是选择了一组不同的约束。

NVIDIA 与 Groq 在 2025 年底达成的非独家授权和人才吸收安排，是这条路线的标志性事件。它说明 GPU 霸主并没有把专用推理架构视为边缘玩具，而是把它视为推理时代需要纳入自己体系的能力。但这不是“GPU 被颠覆”的信号，恰恰相反，它更像是 GPU 平台主动吸收异构推理能力，把外部路线内化为 AI Factory 的一部分。

晶圆级集成：把芯片间通信的问题推迟到系统边界

Cerebras 的回答更加激进：既然多芯片通信是瓶颈，那就尽可能少切芯片。Wafer-Scale Engine 把整片晶圆做成一个计算系统，在单片硅上堆出极高的计算密度、片上 SRAM 和片上互联带宽。它的工程难点不只是“做大芯片”，而是良率、供电、散热、互联、封装和软件栈全部要重新设计。

这条路线的吸引力在于简化。传统 GPU 集群需要处理复杂的并行策略、通信拓扑、跨 GPU 同步和性能调优。Cerebras 把大量通信留在晶圆内部，等于把“集群复杂性”尽量压进一个系统封装里。对一些客户来说，这种简化本身就是价值：不是每个团队都有能力把几千张 GPU 调到最优。

但晶圆级集成同样没有绕开容量约束。即使片上 SRAM 做到几十 GB 级别，面对前沿模型和长上下文推理仍然不够，外部内存和多系统扩展依然存在。它消灭的不是通信问题，而是把一部分芯片级通信变成了晶圆内部通信；当规模继续扩大，问题会在系统级重新出现。

这就是 Cerebras 的真实位置：它不是通用 GPU 集群的完全替代品，而是在“模型可映射、客户重视低时延、愿意接受专用系统形态”的区域里，提供一种把复杂性从客户侧搬到系统供应商侧的方案。

Digital In-Memory Compute：Decode 阶段的专用化

d-Matrix 代表的是另一种更贴近推理经济性的路线：Digital In-Memory Compute。它不是简单把 SRAM 放在计算单元旁边，而是把部分计算直接嵌入存储结构，用 integrated Performance Memory 承担高速交互式推理，再用 off-chip Capacity Memory 提供更大的容量层。

这条路线最值得看的，不是“存内计算终于要替代 GPU”，而是 Decode 阶段开始被专用硬件接管。Prefill 是计算密集的，GPU 仍然强；Decode 是状态访问密集的，memory-centric ASIC 可能更合适。d-Matrix 的商业逻辑正是把这两个阶段拆开：GPU 继续负责高吞吐 Prefill，专用推理卡负责低时延 Decode，系统通过 KV Cache 传输层把两者接起来。

这背后还有一个很现实的供应链判断。相比把所有希望押在 HBM 和先进封装上，d-Matrix 这类路线试图用更可规模化的内存层次和标准化服务器形态进入市场。它没有否认容量层内存的重要性，反而把“片上高速存储 + 片外容量内存”设计成架构的一部分。这比纯粹宣称“片上解决一切”更接近真实部署。

从存储视角看，d-Matrix 这一类路线尤其重要。它们不会简单压缩存储需求，而是把需求从“单设备内部容量扩展”推向“跨设备 KV 状态传输”。只要 Prefill 和 Decode 被拆开，KV Cache 就不再只是 GPU 显存里的临时状态，而会变成一种必须在节点之间移动、共享、压缩、回收的系统资源。

Memory-Centric 路线对存储的真实影响

这类芯片对存储和内存的影响，必须同时看两面。

削弱的一面，是节点内部的 KV 分层需求会下降。如果一个推理芯片把足够多的权重和状态留在片上，外部 SSD 或远端存储很难进入核心 token generation 路径。片上 SRAM 是纳秒级，外部存储再快，也慢了几个数量级。对纯低时延路径来说，能不出芯片就不出芯片。

强化的一面，是异构解耦会放大节点之间的 KV 流动。Prefill 在 GPU 上完成，Decode 在专用 ASIC 上继续，KV Cache 必须跨设备、跨节点甚至跨机架传输。这个时候，问题不再是“单节点内部有没有足够大的缓存”，而是“一个 POD 甚至一个集群内，KV 状态能不能被高效共享和调度”。

这对存储行业是一个关键判断：Memory-Centric ASIC 可能压缩一部分本地 SSD 进入热路径的机会，但会强化集群级状态层、CXL 内存池、RDMA/NVLink/NIXL 类数据搬移机制，以及面向 KV Cache 的共享存储软件。推理芯片越异构，状态层越重要。

三、Hyperscaler 自研 ASIC：不是技术最激进，但商业闭环最完整

如果这篇文章要叫“全景”，就不能只看创业公司和前沿架构。推理芯片商业化最重要的一条路线，其实是 hyperscaler 自研 ASIC：Google TPU、AWS Inferentia、Meta MTIA、Microsoft Maia。它们未必每一个都在架构上最激进，但它们拥有最强的部署闭环。

这类芯片的第一原则不是炫技，而是降低 cost per token。云厂商知道自己的模型、流量、服务形态、机房供电、网络拓扑、软件栈和客户需求，所以它们可以为内部负载定制硬件。通用芯片必须服务所有人，自研 ASIC 只需要服务自己的主战场。这是一个巨大的结构性优势。

Google Ironwood TPU 明确面向 inference age，AWS Inferentia 从一开始就围绕低成本大规模推理部署，Meta MTIA 从推荐排序逐步扩展到 GenAI inference，Microsoft Maia 200 则直接被定义为 inference accelerator。这说明 hyperscaler 的路线已经从“训练替代 GPU”转向“推理优化经济性”。训练仍然重要，但真正每天烧钱、持续增长、和用户请求直接绑定的，是推理。

这类 ASIC 对存储和内存的影响，比 Memory-Centric 创业公司更现实。因为它们不是 demo，也不是单点 benchmark，而是会进入大规模云基础设施。一旦云厂商决定把某类推理负载迁移到自研 ASIC，配套的 KV Cache 管理、CXL 内存扩展、对象存储、SSD 冷热分层和网络数据路径都会跟着重构。

更重要的是，hyperscaler 自研 ASIC 会让“专用推理芯片能不能打”这个问题失去意义。它们不需要在公开市场上证明自己能卖给所有客户，只需要在自己的云里证明比外购 GPU 更便宜、更可控、更能保障供应。商业闭环越封闭，技术路线反而越容易落地。

对存储供应链而言，这意味着一个残酷但清晰的变化：未来一部分 AI 存储需求不会来自公开采购市场，而会被云厂商内化到自己的系统设计里。真正有机会外溢出来的，是标准化接口、CXL 内存扩展、KV Cache 服务器、低延迟 SSD、以及能适配多种推理后端的软件栈。卖单点硬件越来越难，进入系统架构越来越重要。

四、CPU 推理：长期被低估的存量市场

主流叙事把 AI 推理和 GPU 几乎划上等号，但大量推理负载其实不需要 GPU。小模型、低并发、成本敏感、对极致时延没有要求的场景，CPU 仍然是最现实的选择。

CPU 推理的复兴来自两个方向。一个是服务器 CPU 内部开始集成矩阵运算扩展，例如 Intel AMX 这类面向深度学习训练和推理的矩阵指令能力。另一个是模型侧的蒸馏、量化和稀疏化，把很多任务压缩到 CPU 可以承受的范围内。文本分类、信息抽取、意图识别、轻量对话、本地企业知识库问答，并不都需要昂贵 GPU。

CPU 的优势不是峰值性能，而是存量、通用性和成本结构。企业已经拥有大量 CPU 服务器，软件生态成熟，运维体系稳定，内存容量也相对容易扩展。对长尾推理负载来说，“够用且便宜”比“极致性能”更重要。

从存储和内存角度看，CPU 路线有一个天然优势：它本来就生活在分层内存体系里。L1/L2/L3 Cache、本地 DRAM、NUMA 远端内存、CXL 内存扩展、本地 SSD，这套层次是 CPU 服务器的基本结构。KV Cache 或模型权重一旦超过高速缓存，就会自然落入系统内存；系统内存不足时，CXL 和本地存储可以继续提供容量层。

但也不能把这件事说得太满。操作系统并不天然理解 KV Cache 的语义，也不会自动完成 prefix sharing、sequence-level eviction、跨请求复用和服务级调度。CPU 的分层内存体系只是提供了物理基础，真正把它变成推理基础设施，还需要 runtime、调度器和缓存管理软件。

CXL 在 CPU 推理场景的路径会更自然，因为 CPU 对 CXL 的支持更原生，软件栈也更容易继承传统内存管理模型。但这不意味着 GPU 场景没有 CXL 机会。恰恰相反，随着长上下文和 Agent 负载增加，GPU 推理也会越来越需要 CXL-attached memory 作为 KV Cache 的容量扩展层。区别在于：CPU 场景更像“内存自然外扩”，GPU 场景更像“为昂贵计算资源配一层状态缓冲池”。

所以 CPU 推理对存储行业的拉动不会像 GPU 集群那样陡峭，但会更稳定。它会拉动大容量 DRAM、CXL 内存、企业级本地 SSD 和轻量化推理软件栈，而不是催生极端低时延的专用 KV 存储硬件。

五、端侧 NPU：一个平行的大规模市场

云端推理讨论太热，容易让人忽视端侧推理。端侧不是云端的缩小版，而是一套完全不同的约束系统：功耗、电池、隐私、成本、物理内存容量和用户体验，比峰值算力更重要。

主流终端 SoC 的设计方向，是让 CPU、GPU、NPU 共享统一内存架构。这里不能简单说所有数据都能“零拷贝”，因为实际能不能做到，取决于 SoC、驱动、框架和 buffer 管理。但相比独立显存架构，统一内存至少有机会减少 CPU、GPU、NPU 之间的数据搬移成本。这对端侧推理很关键，因为端侧没有足够的功耗预算去浪费在无意义的数据搬运上。

端侧推理的甜蜜区不是最大模型，而是“本地够用”。4-bit 甚至更低精度量化、小模型蒸馏、端云协同、本地上下文感知，会成为主流。手机、PC 和边缘设备负责隐私敏感、低复杂度、低时延的任务，复杂任务仍然上云。端侧不会吃掉云端，但会把大量轻量级请求留在本地。

这对存储行业的意义非常直接。端侧 AI 会拉动 LPDDR、UFS、PCIe SSD 和本地闪存容量的需求，但它拉动的不是云端那种集群级 KV Cache 存储，而是模型冷启动、模型切换、本地 RAG、向量索引、个人数据检索、多模型资产管理。手机和 PC 本地跑模型之后，存储不再只是保存照片、视频和应用数据，还要保存模型权重、embedding、索引和个人上下文。

端侧 AI 的存储机会会更碎片化，但规模非常大。它跟云端 GPU 集群几乎不是同一条技术路径，却会成为独立的 AI 存储消费场景。

六、光子互联：2026 年真正量产的是互联，不是计算

光子这件事必须拆开讲。2026 年真正接近规模化的是光子互联，尤其是 Co-Packaged Optics，不是光子计算。

光子互联解决的是超大规模 AI 集群里的连接问题。随着 Scale-Up 域扩大，铜互联面临信号完整性、功耗、重定时、前面板密度和布线复杂度的压力。光子互联的价值，不是“光没有热”这种过度简化的说法，而是在高带宽、长距离、密集互联条件下，降低电互联继续扩展的系统代价。

这和推理有什么关系？关系很大。Prefill/Decode 解耦、KV Cache 共享、多模型协同、Agent 工作负载，都会把网络从“训练时的梯度同步通道”变成“推理时的状态移动通道”。训练网络主要搬参数和梯度，推理网络越来越多地搬 KV Cache、embedding、上下文状态和中间结果。光子互联如果扩大了可承受的高带宽低延迟共享域，就会扩大 KV Cache 复用的物理半径。

真正的光子计算还远。光电混合矩阵计算已经出现了有价值的里程碑，但距离成为主流商业推理芯片，还有可编程性、精度、存储、控制逻辑、制造、封装、软件生态和运维可靠性等一整套问题。光适合传输和部分线性计算，不擅长做存储和复杂控制。短期内，光子最现实的角色不是替代 GPU，而是帮助 AI 集群继续扩大互联边界。

对存储行业来说，光子互联是长期利好。共享域越大，分层 KV Cache、远端内存池、跨节点状态复用和集群级存储调度的价值越高。计算越分散，状态层越重要。

七、神经形态计算：一个等待模型范式变化的长期期权

神经形态计算是另一个常被放进“未来芯片”讨论里的路线。它模拟人脑的事件驱动和脉冲神经网络，目标是极低功耗、稀疏计算和非冯诺依曼架构。

但必须说清楚：这条路线目前不适合主流 Transformer。Transformer 的计算核心是 attention、矩阵乘法、稠密张量运算和大规模参数存取；神经形态芯片擅长的是事件驱动、稀疏激活和脉冲式计算。这是两套不同的计算范式。

所以神经形态计算不是当前推理基础设施的主线，而是一个长期期权。只有当主流模型架构从 Transformer 显著转向更稀疏、更事件驱动、更接近脉冲神经网络的形式，它才可能突然变得重要。在那之前，它值得放在雷达边缘观察，但不值得用今天的数据中心投资逻辑去强行套它。

如果它未来真的相关，对存储的要求也会完全不同。事件驱动负载不是连续大带宽读取，而是高度稀疏、异步、状态触发式访问。那会是一套新的存储逻辑，不是今天 KV Cache 分层体系的简单延伸。

八、把所有路线放进同一个坐标系里

如果只按“芯片类型”分类，这几条路线会显得很乱：GPU、ASIC、CPU、NPU、光子互联、神经形态计算，看起来像是一堆不同物种。但如果按推理系统的三层结构去看，它们其实非常清楚。

第一层是计算：谁负责 Prefill，谁负责 Decode，谁负责长尾推理，谁负责端侧任务。

第二层是存储：热状态放在哪里，KV Cache 是否需要分层，CXL、HBM、DDR、SSD 分别处在什么位置。

第三层是通信：状态是在芯片内流动，节点内流动，还是跨机柜、跨集群流动。

这三个问题叠在一起，才是真正的 AI 推理范式划分。

1. GPU + HBM：通用推理主平台

计算：GPU 仍然是大模型推理的主力，尤其适合 Prefill、高并发、大 batch 和通用矩阵计算。

存储：HBM 承担最热的权重和 KV Cache，CXL Memory 与 NVMe SSD 逐渐进入容量扩展和 offload 路径。

通信：NVLink / NVSwitch 解决节点内 Scale-Up，InfiniBand / RoCE 解决节点间 Scale-Out。

GPU+HBM 仍然是分层 KV 存储需求最强的主战场，因为它同时拥有最大模型、最高并发和最昂贵的热状态。

2. Groq 类确定性数据流：把运行时不确定性前移到编译期

计算：通过静态编译和确定性数据流，降低 token generation 的时延和抖动，适合实时对话、语音交互和低 batch Decode。

存储：片上 SRAM 是核心，热数据和部分 KV 状态尽量留在芯片内；外部存储不是主路径。

通信：多颗 LPU 之间需要确定性的芯片间互联，机架级扩展决定其模型规模上限。

这条路线削弱的是单节点外部存储需求，强化的是多芯片、多机架之间的状态调度能力。

3. Cerebras 晶圆级集成：把芯片间通信压进晶圆内部

计算：Wafer-Scale Engine 把大量 AI cores 集成在一整片晶圆上，尽量减少传统多芯片集群的通信复杂度。

存储：片上 SRAM 承载大量热数据，外部 MemoryX / External Memory 提供容量扩展。

通信：片上 fabric 是优势，系统级扩展时仍然需要多系统互联。

Cerebras 的本质不是消灭通信，而是把一部分芯片级通信变成片上通信；当规模继续扩大，系统级通信仍然会回来。

4. d-Matrix 类 DIMC：Decode 阶段开始专用化

计算：GPU 负责 Prefill，DIMC 专注 Decode，通过 Digital In-Memory Compute 降低状态访问和矩阵运算之间的数据搬移成本。

存储：Performance Memory 承担热层，Capacity Memory 承担容量层，中间通过 KV State Buffer 管理 Decode 所需状态。

通信：GPU 节点和 DIMC 节点通过 PCIe / Ethernet 等方式形成异构解耦，KV Transfer 成为关键路径。

这条路线最重要的信号，不是存内计算替代 GPU，而是 Decode 被拆出来，变成可以被专用硬件优化的独立阶段。

5. Hyperscaler 自研 ASIC：商业闭环最完整的推理路线

计算：云厂商用自研 ASIC 服务自己的模型、流量和推理场景，核心目标是降低 cost per token。

存储：HBM / DDR、KV Cache Tier、CXL Memory、Object Storage / SSD 形成内部可控的分层体系。

通信：Datacenter Fabric 和 Rack-scale Mesh 直接服务自家云平台，不需要兼容所有外部客户。

这类路线未必技术最激进，但落地最现实，因为它不需要赢得整个市场，只需要在自己的云里比外购 GPU 更便宜、更可控。

6. CPU 推理：长尾推理的存量市场

计算：CPU cores 加 AMX / Matrix Extensions 处理小模型、低并发、成本敏感的推理任务。

存储：L1/L2/L3 Cache、DDR、CXL Memory、本地 NVMe 构成天然分层体系。

通信：单机内通过 NUMA / UPI 扩展，多机之间通过 Ethernet / RDMA 水平扩展。

CPU 推理不会成为行业头条，但会吃掉大量“够用就好”的长尾任务，它拉动的是稳定的大容量内存和本地存储，而不是极端低时延 KV 存储。

7. 端侧 NPU：本地 AI 的独立市场

计算：CPU、GPU、NPU 在 SoC 内协同工作，NPU 负责低功耗本地推理。

存储：Unified Memory 是核心，UFS / SSD 保存模型权重、本地 RAG、向量索引和用户上下文。

通信：片上 fabric 负责 CPU/GPU/NPU 互联，Wi-Fi / 5G 负责端云协同。

端侧 AI 不会照搬云端 KV Cache 分层逻辑，它带来的机会在本地模型资产、个人上下文和高性能端侧闪存。

8. 光子互联：扩大推理系统的共享半径

计算：GPU / ASIC 节点被组织成更大的 Prefill Pool 和 Decode Pool。

存储：Distributed KV Pool、CXL Memory、Shared SSD Tier 组成更大范围的共享状态层。

通信：CPO / Optical Fabric 扩大高带宽互联边界，让更多节点进入同一个共享域。

光子互联短期不是光子计算替代电子计算，而是让跨节点 KV Cache 共享、远端内存池和集群级状态管理变得更有价值。

9. 神经形态计算：非 Transformer 时代的长期期权

计算：Spiking Neuron Cores 处理稀疏、异步、事件驱动的计算负载。

存储：Local Synaptic Memory 保存权重和局部状态，Sparse State Memory 保存动态激活状态。

通信：Asynchronous Mesh、Spike Routing Fabric 和 Event Bus 负责事件路由，而不是传统大块数据搬移。

这条路线现在还不是主流推理基础设施，但如果模型范式未来从 Transformer 转向更稀疏、更事件驱动的形态，它会对应一套全新的存储与通信逻辑。

把这九种路线放在一起，结论反而很简单：AI 推理不会走向单一架构，而会走向计算范式分化。

GPU+HBM 继续承担最大、最通用、最昂贵的负载；Memory-Centric ASIC 切走低时延 Decode；Hyperscaler ASIC 把推理经济性内化到云平台；CPU 吃掉长尾任务；端侧 NPU 形成本地 AI 市场；光子互联扩大状态共享半径；神经形态计算保留为下一代模型范式的期权。

所以，真正值得关注的不是哪一种芯片会赢，而是每一种计算范式把状态放在哪里、怎么移动、怎么复用、怎么淘汰。这就是推理时代计算、存储与通信重新分工的底层逻辑。

结语：推理时代真正重构的不是芯片，而是状态层

未来三到五年，推理芯片不会走向单一赢家。GPU 会继续存在，甚至继续增长；专用 ASIC 会切走低时延 Decode 和特定云负载；CPU 会吃掉大量长尾推理；端侧 NPU 会形成独立规模市场；光子互联会把更大的集群连接成一个可调度的计算域。每一种范式都在回答同一个问题，但答案对应的是不同负载，不同成本结构，不同系统边界。

真正被重构的，不是某一颗芯片，而是状态层。

训练时代，行业的核心资产是参数和算力；推理时代，越来越重要的资产是上下文、KV Cache、embedding、用户状态、多 Agent 中间结果和可复用的前缀缓存。这些东西既不是传统意义上的文件，也不是数据库记录，更不是简单的内存页。它们是推理系统运行过程中的“热状态”。谁能低成本地保存它、移动它、复用它、淘汰它，谁就能降低 cost per token。

这就是存储行业在推理时代的真正机会。不是简单卖更快的 SSD，也不是把所有问题都包装成 KV Cache 分层存储，而是进入 AI 推理系统的状态管理层：靠近 GPU，连接 ASIC，接入 CXL，覆盖端侧，理解 runtime，服务集群调度。

推理芯片的分化，最终会把基础设施推向一个更清晰的方向：计算负责生成 token，内存负责承载热状态，存储负责保存可复用上下文，互联负责把这些状态送到最合适的计算单元。未来的 AI 基础设施，不会是单一硬件的胜利，而是异构、分层、解耦之后，谁能把状态管理做成系统能力的胜利。