ARTICLE · 1397552
池子做到百TB,卡在576字节:超节点卸载的两头
2026年11月22日 · 观天下
AI SUPERNODE · MEMORY POOLING DAILY
11月22日,本期 5 条:行业动态 3 条、论文分析 2 篇,超节点的竞争正从「池子建多大」转到「门开多窄」。其一,华为在世界计算大会把鲲鹏950 的内存编成百TB级池子,还把「AI 记忆存储」单列成一个展项。其二,海光与清程极智发布 PD 分离异构混推白皮书,让国产 DCU 专司 Prefill、另一张卡专司 Decode。其三,英伟达的 Vera 把上下文内存做成一台独立机架:192 颗 CPU、约 300TB 内存、1PB 闪存。技术侧解剖 2 篇:一篇发现稀疏注意力省了 KV 却新建了一份常驻 HBM 的索引键,于是把索引也赶出显存(XM-Sparse);一篇把跨卡搬运的最小单位压到 576 字节(SURMA)。
一、系统与芯片:池子先做大 POOLING AT RACK SCALE
▍1. 华为把内存编成百TB的池子,还给它配了一间仓库
事件 11月20日至21日,2026世界计算大会在长沙国际会议中心开,华为展台近千平方米,迎面是两台超节点。昇腾950 SuperPoD 这次讲的是 1024 卡一域、FP8 算力 1 EFLOPS、卡间通信时延压到 3 微秒级,靠自研灵衢实现 CPU 与 NPU 内存统一编址,也就是一套统一内存语义——注意它走的是自研总线,不是 CXL,支持万卡集群月级长稳。旁边的鲲鹏950 走通用计算:依托灵衢把内存编成百TB级内存池,最大支持 4096 节点组网,主打内存统一编址、超大带宽、超低时延三件事,展台口径已落地生成式广告推荐、证券低时延、Agent 沙箱;另一处介绍称其把 32 颗处理器的内存编成统一池、跨节点直接读写,故障恢复时间从 30 秒压到 6 秒。池子做的是「分层」:本地 DDR 一级、机柜级池子一级、后端存储一级。同台还有「AI 记忆存储」展项(自媒体口径型号为 OceanStor M900),把算力、存储、调度拼成一体化 Agentic 超节点集群——说白就是把 GPU、CPU、SSD 与后端存储集群串成一条链,让 KV Cache 不必在每一跳都重新搬一次;末梢则有 Atlas 650E 风冷一体机,16 张 NPU 免交换机、灵衢直连,两台并成一个小型超节点。从芯片、互联到整机,这条链是全栈国产化的。
值得关注 「以存代算」第一次以完整产品形态同台摆出来——池子(鲲鹏950 百TB)、仓库(AI 记忆存储)、末梢(650E 十六卡免交换机)三层齐了,说明内存池不再是实验室的拓扑图,而是被拆成了可报价的货架。
冷静提示 展台口径先要对齐——同一台昇腾950,本地两家媒体分别给出 8192 卡、8 EFLOPS、16.3PB/s 与 1024 卡、1 EFLOPS、3 微秒两套数字,差八倍,前者是满配 SuperPoD、后者是单域配置,引用前必须问清是哪一个;「已交付 1000 套」出自展台工作人员,单位是整机柜、超节点域还是单卡未说明,不能当出货量读。
◆◆◆
▍2. 海光把 Prefill 交给 DCU,Decode 交给另一张卡
事件 同一场大会,海光信息联合清程极智发布《PD 分离异构混推技术白皮书》。架构很直白:预填充与解码拆进两个独立资源池,海光深算三号 DCU 靠高密度计算吃长上下文 Prefill,高端算力卡靠显存带宽与容量吃 Decode。这两段的账其实写在两个指标上:Prefill 决定首 token 时延(TTFT,用户要等多久才看见第一个字),Decode 决定 TPOT(每 token 的间隔,后续读起来顺不顺);MoE 模型上专家层权重与 KV 一起挤显存,Decode 侧装不下就溢出到主机内存,于是首字时延与流畅度常常打架。中间那一跳交给清程极智自研推理平台:任务智能调度加 KV Cache 全生命周期管理,前缀缓存复用、分页、驱逐策略都归它管,Prefill 产出的 KV 经高速 RDMA 跨池传输复用,多平面组网把计算、存储、业务、管理四类流量物理隔开。软件侧靠海光 DTK 全栈开发平台兼容 PyTorch、vLLM,支持 CUDA 代码平移。白皮书给出的账是:在同等建设成本下,端到端推理性能可达纯高端算力同构方案的 3 倍以上,GLM-5.3 实测精度与官方基准持平,Prefill 侧给出 4:1 的等效替代比、峰值 3000 万 TPM。要注意它切的是「阶段」不是「算子」——AF 分离(AFD)切的是注意力和专家层各归谁算,PD 分离切的是预填充与解码各归谁算,这份白皮书站的是后者;而前缀缓存的命中率高低,直接决定一张卡是在算还是在搬。
值得关注 PD 分离在国内已经从「一套架构」变成「一次选型」——过去是同一批卡切两个池子,现在是两种不同厂商的卡各认一段活,这意味着推理集群的采购单会从「买多少张卡」变成「买多少张做 Prefill 的卡加多少张做 Decode 的卡」,异构调度和跨池 KV 传输一夜之间从加分项变成必答题。
冷静提示 3 倍是「同等建设成本」下的对照,不是同卡同价对照,成本口径是否含网络、机柜、电力,白皮书未公开;「高端算力卡」全程未点名型号,Decode 侧的真实带宽与容量无从核验,4:1 与 3000 万 TPM 亦未见测试配置;国内 PD 分离白皮书此前已有硅基流动与摩尔线程、新华三 ODX 两份,本条的增量在用两种不同厂商的卡做分工,而非架构首创。
◆◆◆
▍3. 英伟达把「存上下文」这件事,单独做成一个机架
事件 11月16日,英伟达发布 Vera CPU 机架级平台。单颗 Vera 是 88 个自研 Olympus 核、176 线程、全 SKU 统一 3.3GHz,配 SOCAMM2 LPDDR5X,每插槽内存带宽最高 1.2TB/s;一整个机架塞进 192 颗 Vera,配 Quantum-X800 InfiniBand,约 300TB 内存加 1PB NVMe,聚合峰值内存带宽超 200TB/s,1U 托盘装 8 颗 CPU,液冷 MGX 机身复用 NVL72 的机箱、供电与散热。对照 x86:OpenFOAM 气流仿真 性能 1.9 倍、每瓦性能 2.4 倍,气象模式 WRF 预计 1.6 倍、能效 2 倍。戴尔、HPE、联想、超微预计 2027 年初供货,德国气候计算中心已选用。数据中心 CPU 负责人 Ian Finder 的说法是:至强与 EPYC 每代几十个 SKU 属于「过度细分」,英伟达只做一个规格,靠同步多线程把 88 核摊成 176 线程。换个角度看,这就是把 CPU 侧主机内存那一段单独做大:当上下文长到几十万 token,比近存计算更靠前的一步,是先给「放上下文的地方」配够带宽。
值得关注 这台机器的定位不是「算」,是「放」——300TB 内存加 1PB 闪存、200TB/s 聚合带宽,恰好是一台上下文内存服务器的规格;在 SC26 的华硕展台上,Vera CPU 托盘与英伟达 CMX 上下文内存是并列展项,说明「上下文」正在被当成一个独立的硬件品类来卖,而不是 GPU 旁边的一段缓存。
冷静提示 Vera 机架对标的是 HPC 与科学计算(气候、分子动力学、OpenFOAM),英伟达没有给出任何一个 KV 缓存或推理场景的数字,把它读成「KV 池化专用硬件」目前只是规格上的相似,不是产品定位;1.9 倍与 2.4 倍为英伟达自测,WRF 的 1.6 倍与 2 倍是「预计」值;单 SKU 策略的代价是放弃细分市场的能效调优,能否被云厂接受要看 2027 年的实际报价。
二、论文解剖:卸载再切细 FINER GRANULARITY
▍4. 论文一:内存池给了,HBM 还是天花板——因为索引键也住在里面
事件 arXiv 2611.22280,香港科技大学 Yijun Sun、廖旭东、黄卓斌、陈凯等与 MIT 侧 Nikita Lazarev、钟志臻。问题设定在一个已经很慷慨的前提上:超节点内存池(论文以 X-Mem 一类 scale-up 内存池为例)已经能给 GPU 外挂容量和带宽,那解码吞吐总该由池子决定了吧?作者的结论是「否」——吞吐仍被 HBM 容量卡死,因为有两块东西必须常驻:热的 KV 缓冲,和整套「索引键」(稀疏注意力用来挑 KV 条目的 indexer key cache)。更麻烦的是两者访问模式相反:KV 条目是运行时才被选中的,不可预测;索引键的访问则相当规律。做法是两个都卸载,各配一套 I/O:KV 条目走 TMA 取回,与注意力计算在 tile 级流水里融合,把按需取回的延迟藏进计算;索引键按「分页」粒度由 GPU 主动发起 DMA 预取,并与时延敏感操作错开,不去抢解码的带宽。这里有个概念得掰开:卸载不是驱逐——驱逐是把 KV 扔掉、下次用到再重算,卸载只是换个地方放、用完再取,前者省显存、后者省计算。实现在 SGLang 上,用 DeepSeek-V3.2 与 GLM-5.3 在模拟的 scale-up 内存池上跑 16K 至 1M 上下文:对比 PCIe 路线的 ECHO 为 4.98 倍、HiSparse 为 4.52 倍,同平台朴素集成 1.34 倍。
值得关注 这篇把「卸载」的对象从 KV 扩大到了索引——稀疏注意力省掉了 KV,却顺手新建了一份常驻 HBM 的索引键,这笔账在本刊此前拆 DSA 与 IndexShare 时没有算进去;一旦承认索引也是缓存,超节点的池子就不只是「装不装得下 KV」,而是「几套缓存各自该住在哪一层」。
冷静提示 内存池是模拟的,不是真机 X-Mem,4.98 倍里的池子带宽与延迟由模拟器参数设定,换一组参数结论可能变形;对照对象 ECHO 与 HiSparse 走的是 PCIe 路线,赢 PCIe 不等于赢别家超节点;仅测两个模型,且都是 MLA 加稀疏注意力的架构,稠密模型不适用。
◆◆◆
▍5. 论文二:跨卡搬一段 KV,最小单位是 576 字节
事件 arXiv 2611.21274,上海交大、清华大学与阿里云侧作者(含 Ran Shu 等)。事实起点很具体:超节点里 GPU 之间搬数据,现在主要靠 SM 发起的远端访存,在途数据占着共享内存或寄存器,还要跟计算抢 SM 到 NoC 的带宽;专用引擎本该解决这个,但必须能吃下细粒度传输——细到一条 576 字节的 KV Cache 条目。英伟达的 CopyEngine 在 7KB 粒度下只用掉不到 1% 的 NVLink 带宽,粒度再细它就不划算。SURMA 是一枚片上的 Scale-Up 远端访存引擎,把 RDMA 改到能用要过四关:门铃提交慢(1.2 微秒)、每应用连接状态过多、完成通知在共享连接上头阻塞、多路径传输的保序代价高。对应四招:信用制共享发送队列把提交压到 400 纳秒;写与原子操作融合语义,让连接共享的同时逐事务独立通知;Network Per Path Ordering 保证数据先于完成标志到达,收发两端都不必保序;由此消掉完成通知的头阻塞。RTL 实现在两块 FPGA 上,配两台 8 卡 NVLink 服务器:512 字节粒度下单颗 SM 就能跑满可达带宽,而 NVLink 路线要吃 14% 以上的 SM;面积占 GPU 不到 0.5%,四个模型端到端加速 1.05 至 1.26 倍。
值得关注 颗粒度决定引擎形态。池子做得再大,如果搬运的最小单位是 7KB,那 576 字节的 KV 条目每次都得凑单,凑单就是白扔带宽——这才是 PD 分离与 AFD 在硬件层的真实卡点,不是协议不通,是门太粗;它也解释了为什么各家都在往「片上远端访存引擎」这个小位置塞人:这个位置以前没人管,因为没人按条目搬数据。
冷静提示 FPGA 原型加 RTL 仿真,不是流片,面积与功耗为估算;对照组是 NVLink 的 SM 路径,不含英伟达新一代专用引擎,代际并不对齐;1.05 至 1.26 倍为端到端推理,含 kernel 改造,实际部署取决于推理框架愿不愿意为此改数据通路。
三、结语 TAKEAWAYS
池子做到百TB不算本事,能把一段 576 字节的 KV 单独拎出来搬,池子才算真的接上了算力——门窄不下来,池子只是离得更远的内存。
四、引用信息来源 REFERENCES
1. 华为双超节点 + AI 记忆存储(2026 世界计算大会):新湖南《计算万物 湘约未来|展馆里看「算力巨兽」,论坛上谈鸿蒙入湘》(hunantoday.cn,2026-11-21)——华为展台昇腾 950 超节点用灵衢实现 CPU 与 NPU 内存统一编址,让 1024 颗芯片协同,FP8 总算力 1 EFLOPS,支持万卡集群月级长稳;鲲鹏 950 超节点「依托灵衢互联构建百 TB 级内存池,最大支持 4096 节点组网,具备内存统一编址、超大带宽、超低时延三大特性,已落地生成式广告推荐、证券低时延、Agent 沙箱等多个场景」。三湘都市报《探展 2026 世界计算大会:从超节点到桌面 AI,算力就在你我身边》(news.qq.com,2026-11-20)——Atlas 950 SuperPoD 把 8192 张 NPU 连成一台逻辑上的大电脑,卡间通信时延压到 3 微秒级;鲲鹏 950「用内存池化把 32 颗处理器的内存编成统一池子,跨节点直接读写,故障恢复从 30 秒压到 6 秒」。长沙晚报网《数智赋能湘企升级 华为「智启未来」论坛亮相世界计算大会》(icswb.com,2026-11-21)——创新成果展集中展示 Atlas 950 SuperPoD 液冷超节点、鲲鹏 950 超节点、AI 记忆存储、3D 数据中心等展项。网易号《华为算力!华为算力!华为算力!》(163.com,2026-11 下旬)——披露 OceanStor M900 AI 记忆存储系统与 Atlas 650E 风冷一体机(16 张 NPU 免交换机、灵衢直连),该文为自媒体口径,型号与参数未见官方稿对应。华声在线/腾讯新闻《计算万物 湘约未来》(2026-11-21)另给出「8192 颗芯片、总算力 8 EFLOPS、互联带宽 16.3PB/s」一套数字,与新湖南的 1024 卡、1 EFLOPS 相差八倍。中新视频《国家数据局局长:中国算力总规模位居世界第二》中,展台工作人员魏兆峰称「Atlas 950 我们可以做到 1024 卡高速互联」「已经交付了 1000 套昇腾 950 超节点」,交付单位为展台口述、未说明是整机柜还是节点。
2. 海光信息 × 清程极智《PD 分离异构混推技术白皮书》:清程极智官方公众号《2026 世界计算大会清程极智联合海光,发布〈PD 分离异构混推技术白皮书〉》(2026-11-20 大会开幕当日发布)——「方案采用 PD 分离架构,将两阶段部署于独立资源池:海光深算三号 DCU 承载长上下文场景预填充计算;高端算力聚焦解码环节」;「清程极智自研推理平台实现了任务智能调度与 KV 缓存全生命周期管理。预填充阶段生成的 KV 缓存经高速 RDMA 网络跨池传输复用;多平面组网设计实现计算、存储、业务、管理流量物理隔离」;「海光 DTK 全栈开发平台兼容 PyTorch、vLLM 等主流 AI 框架,支持 CUDA 代码平滑迁移」;「同等建设成本下,端到端推理性能可达纯高端算力同构方案的 3 倍以上」。随文发布的产品图另标注「3000 万 TPM 峰值吞吐」「Prefill 算力等效替代 4:1」「GLM-5.3 实测与行业基准性能持平」「4 台以内深算 3 号 + 1 台高端节点」。CSDN《Token 工厂降本新解:海光清程极智异构混推方案来了》(csdn.net,2026-11-21)为同稿转载,另补充智算中心、存量算力复用到边缘跨层级 PD 分离三类场景。大会全称为 2026 世界计算大会,2026 年 11 月 20 日在长沙国际会议中心开幕,由湖南省人民政府主办,会上发布 CLink 系列标准。
3. 英伟达 Vera CPU 机架平台:NVIDIA 于 2026 年 11 月 16 日发布 Vera CPU 机架级平台。规格:单颗 Vera 为 88 个自研 Olympus 核、176 线程、全 SKU 统一 3.3GHz、SOCAMM2 LPDDR5X 内存、每插槽最高 1.2TB/s 带宽;整机架 192 颗 Vera 配 Quantum-X800 InfiniBand,约 300TB 内存与 1PB NVMe,液冷 MGX 机身,聚合峰值内存带宽超 200TB/s,1U 托盘 8 颗 CPU,复用 NVL72 的机箱、供电与散热;SHARP 网内计算降低协同开销。自测数据:OpenFOAM motorBike Large 气流仿真性能为 x86 的 1.9 倍、每瓦性能 2.4 倍;WRF 气象模式预计 1.6 倍、能效 2 倍。德国气候计算中心(DKRZ)HLRE-5 选用 Vera,Bull 承建、预计 2028 年初上线。Dell、HPE、联想、超微的 Vera 机架预计 2027 年初供货;HPC SDK 26.11 已可用。Ian Finder(英伟达数据中心 CPU 研发负责人)在 SC26 表示,英特尔至强与 AMD EPYC 每代数十个 SKU 属「过度细分」,英伟达以单一 SKU 覆盖多数场景,靠同步多线程把 88 核表现为 176 个更窄线程。来源:Embedded.az《Nvidia unveils Vera CPU rack platform for scientific computing》(转 NVIDIA 与 Electronics Weekly);Electricbuzz《Nvidia Challenges Industry Norms with the 'One CPU to Rule Them All' Strategy》;DEV Community《Nvidia Vera CPU racks due from Dell, HPE, Lenovo and Supermicro in early 2027》;The Electronics Data《ASUS Boosts NVIDIA Vera Rubin NVL72 Shipments, Showcases AI Factory at SC26》——华硕 AI Factory 展项清单含「NVIDIA Groq 3 LPX and Vera CPU trays, the NVIDIA Spectrum-X SN6600 Ethernet switch and NVIDIA CMX context memory」。
4. arXiv 2611.22280《XM-Sparse: High-Throughput Sparse-Attention LLM Serving over Scale-up Memory Pools》(2026 年 11 月 17 日提交;Yijun Sun、Xudong Liao、Zhuobin Huang、Kai Chen、Nikita Lazarev、Zhizhen Zhong;香港科技大学与 MIT 侧;原题为英文,此处按文意中译)。核心判断:「even with scale-up memory pools, decode throughput remains bounded by HBM capacity, as hot KV buffers and the fully resident indexer key (K-index) cache occupy substantial HBM. Moreover, the two caches exhibit distinct access patterns.」做法:「offload both caches aggressively while matching each with an I/O mechanism tailored to its access pattern」——对动态选中的 KV 条目,「fuses TMA-based retrieval with attention in a tile-level pipeline to hide on-demand retrieval latency」;对可预测的索引键访问,「prefetches pages via SM-efficient GPU-initiated DMA and coordinates prefetching with latency-critical operations to avoid interfering with decoding」。实现在 SGLang 之上,用 DeepSeek-V3.2 与 GLM-5.3,在模拟的 scale-up 内存池上覆盖 16K 至 1M 上下文:「up to 4.98x and 4.52x higher decode throughput than PCIe-based ECHO and HiSparse, respectively, and up to 1.34x over a naive integration on the same platform」。论文以 X-Mem 一类 scale-up 内存扩展为讨论对象。arXiv 预印本,未经同行评审。
5. arXiv 2611.21274《SURMA: Efficient Fine-Grained Communication Offload for SuperPOD》(2026 年 11 月 16 日提交;Haoran Shang、Weifeng Zhang、Mengzhu Li、Huizheng Wang、Sihan Guan、Xinyang Huang、Bowen Liu、Ran Shu、Xinru Tang、Ruoyu Wu 等;原题为英文,此处按文意中译)。问题陈述:「SM-driven remote memory access occupies shared memory or registers for in-flight data and competes for SM-to-NoC bandwidth」,而专用引擎「must handle fine-grained transfers, down to a 576 B KV-cache entry」;「NVIDIA's CopyEngine uses less than 1% of NVLink bandwidth at 7 KB granularity」。四个障碍与对应机制:门铃提交延迟 1.2 微秒,用信用制共享发送队列「reduce submission latency from 1.2 μs to 400 ns」;逐应用连接状态过多与完成通知头阻塞,用「fused write-with-atomic semantics to share connections while independently notifying each transaction」;多路径保序代价,用「Network Per Path Ordering to ensure data arrives before the completion flag without Sender or Receiver Ordering」。实现与实测:「implement SURMA in RTL on a two-FPGA prototype and evaluate it with two 8-GPU NVLink servers. At 512 B granularity, SURMA saturates attainable bandwidth with a single SM, whereas NVLink needs over 14% of the SMs. SURMA occupies under 0.5% of GPU area and accelerates inference on four models by 1.05–1.26x over NVLink.」arXiv 预印本,未经同行评审。
免责声明:本文基于公开报道、厂商发布与预印本论文整理,参数与结论均为原文、厂商或作者口径,展台数字以现场口述为准,仅供参考,不构成投资建议。
— 观天下 · 聚焦 AI Infra 与超节点















































































