夜雨聆风学习资料网

ARTICLE · 1380182

卸载之后,卡在哪一页

卸载之后,卡在哪一页

2026年11月19日 · 观天下

AI SUPERNODE · MEMORY POOLING DAILY

11月18日,本期 5 条:行业动态 3 条、论文分析 2 篇,卸载把数据搬出去之后,瓶颈并没有消失,只是换了一层——从「显存装不下」换成「挑哪一页搬、搬过去之后还活不活得下来」。其一,SC26 上 Liqid 把 CXL 内存池按月出租,一台服务器能挂到 30 张卡与 160TB 池化内存,同批 GPU 的 token 吞吐报 5 到 7 倍。其二,威刚旗下 TRUSTA 把 vLLM 的 KV 卸载做成三层工具包,显存、DRAM、PCIe 5.0 SSD 一个界面分配,上下文能活过重启。其三,京东工业与华为用昇腾 A3 超节点的 384 卡池化加 E-PD 分离,把 Prefill 拉高 70%、单位 token 成本砍半。技术侧解剖 2 篇:一篇证明池子再宽也还是被 HBM 里的热 KV 与索引缓存卡住,热缓冲从 4K 缩到 2K 反而快 34.4%(XM-Sparse);一篇把 KV 放进 QLC 闪存,用会话分组与快速页分配换出 7.04 倍吞吐(LaFlash)。

一、池子的边界 POOL LIMITS

▍1. 论文一:池子宽了,卡点挪到了索引页

事件  arXiv 2611.22280《XM-Sparse:面向级联内存池的高吞吐稀疏注意力大模型服务》(11月17日提交,Yijun Sun 等 6 人,通讯作者廖旭东;cs.DC 与 cs.LG;13 页、11 图;原题为英文,此处按文意中译)。稀疏注意力已经是长上下文的生产选择,但服务系统仍要保留全量 KV 历史,于是HBM 容量成了并发上限。现有卸载系统(HiSparse、ECHO)把 KV 卸到主机内存,被 PCIe 带宽与主机内存容量两头卡住。新兴的级联内存池(如 X-Mem)把两头都放宽:单节点最多 24TB DDR5、约 4TB/s 聚合带宽,池化内存直接暴露在 GPU 地址空间里,点对点访问、不过主机内存中转;对照 PCIe 5.0 x16 与 CXL 2.0 都是 64GB/s,GB200 的 NVLink-C2C 是 225GB/s 但只共享 480GB。作者的实测结论有点扎人:卸载做完,decode 吞吐仍然卡在 HBM——128K 上下文下热 KV 缓冲加常驻的索引缓存(K-index)合占约 40% 显存,单是 K-index 就吃掉 33.7%(DeepSeek-V3.2)与 24.9%(GLM-5.3);24TB 的池子只用了约 3TB,HBM 先见底。两类缓存访问模式完全不同,一套 I/O 伺候不了:热 KV 是动态、不可预测的 Top-K 挑选,用 TMA 取回与注意力融合、在 tile 级流水里把取回埋进 kernel(常驻 tile 排在遍历序前、Split-K 切块、双缓冲共享内存、远端 tile 直接从共享内存被消费);K-index 是确定性、可预测的整页访问,用 GPU 发起 DMA 预取(单个 SM 生成描述符、主机侧只批量叩门、copy engine 搬运),16KiB 页下拿到 624.0 GB/s,而常规提交只有 22.4 GB/s,并在注意力与 MoE 收发期间用信号量暂停预取。实现在 SGLang 上改了约 8K 行;测试台是 2 颗至强 6767P 加 8 张 B300(各 268GiB),4 张跑 decode、4 张假冒内存节点,模型为 DeepSeek-V3.2(671B/61 层)与 GLM-5.3(744B/78 层),FP8、DP4 加 EP4、16K 至 1M 上下文:吞吐对 ECHO 是 1.72 到 2.50 倍(V3.2)与 3.14 到 4.98 倍(GLM-5.3),对 HiSparse 是 1.57 到 1.75 倍与 2.05 到 4.52 倍;GLM-5.3 在 128K 下 batch 从 109 提到 209/卡,单卡吞吐 1437.9 升到 1849.3 token/s。

值得关注  其一,卡点从池子挪回 HBM,而且挪到了一个很具体的东西上——索引缓存。稀疏注意力的本意是「只让每个 query 看少数几个 token」,可为了知道该看哪几个,得先把所有 token 打一遍分,这份索引又随「上下文长度 × batch」双重增长。省下的是注意力计算,付出的是索引容量,这是稀疏路线一直没有被算清的那笔账。其二,热缓冲从 4K 缩到 2K,吞吐反而涨 34.4%(16K)、32.7%(32K),而同一设置在 HiSparse 上掉 23.2% 与 19.5%。同一个动作,在 PCIe 上亏、在级联池上赚,说明「卸多少」不是策略问题,是链路问题;fabric 够快时,卸载得越彻底越好,热缓冲反而成了浪费——分页粒度与缺失率一起,决定了这块缓冲该留多大。其三,两套 I/O 是被两种访问模式逼出来的:128K 下单请求每步 K-index 要搬 363MB、KV 的缺失负载只有 15.7MB,前者是带宽敏感型、后者是延迟敏感型。用一个机制伺候两种流量,就会出现「按带宽设计、被延迟打败」的老问题。其四,卸载流量与集合通信这两股数据流抢同一条 fabric 这件事没有解掉:1GiB bulk 传输仍造成 11.8% 吞吐损失,NCCL kernel 时间涨 46.2% 而计算 kernel 只涨 4.1%——优先级调度只是把它压住,不是消除。

冷静提示  这是仿真平台上的结果,4 张 B300 经 NVLink 假冒 X-Mem 内存节点,超过 1TB 的容量靠重复映射虚拟地址伪造,负载用固定 15% 缺失率与轮询专家路由模拟,不是真实池子与真实路由分布;准入控制会让超预算的请求继续排队,吞吐提升实际是拿排队延迟换的。

◆◆◆

▍2. 160TB 挂一台服务器:池子开始按月出租

事件  11月18日,芝加哥 SC26,Liqid 发布 Liqid as a Service:全托管、单租户的 AI 基础设施服务,节点起步 20 张 GPU 加 10TB CXL 内存,可扩到 30 张 GPU 与单台服务器 160TB CXL 内存;自家测试口径是同一批 GPU 的 token 吞吐提升 5 到 7 倍,标题里另写了一句更快的首 token 时延(TTFT),正文没有给数字。做法是拿 fabric 加 Liqid Matrix 软件把一台主机连到 GPU 池与 CXL 内存池上,让单机用上远超自身插槽的内存。工程参数很克制:满配 30 卡的节点功耗约 22 到 24kW、风冷、占 14U,可以塞进存量机房、托管机房与边缘节点,不需要液冷、不需要新建。通稿引 Uptime Institute 2026 年全球数据中心调查:典型机架约 11kW,87% 的数据中心没有一台 50kW 以上的机架。可选 GPU 含 H200 NVL、RTX PRO 6000、MI350P;每个客户独占整柜或半柜,安全边界落在客户自己的网络边缘,模型与软件栈自带。公司总裁 David Larson 的话说得直白:AI 撞上了内存墙,而买更多最终空转的 GPU 是最贵的翻墙方式。值得一提的是,同一家公司在几天前还只是美光 Abaco 参考设计里的池化机箱供应商。

值得关注  其一,它卖的不是内存,是「一台服务器能挂多少内存」这个天花板的租赁权。160TB 单机这个数字,等于把「买更多机器」换成了「给已有机器加内存」;把资本开支换成运营开支,是内存池化第一次以订阅形态出现;柜内靠 CXL 的内存语义,柜间仍要退回 RDMA 把地址送过去。其二,22 到 24kW、风冷、14U 这三个数字比 5 到 7 倍更值得看:它们意味着这套东西落在存量机房的能力范围内。87% 的数据中心没有 50kW 以上机架,这条统计恰恰是池化的市场缝隙——液冷与新机房才是超节点真正的交付瓶颈,而池化可以绕开它;代价在跨机架之后,链路要换成光互连乃至光子链路,带宽与延迟都得重算。其三,5 到 7 倍要看清分母:它比的是「内存不够导致 GPU 空转或重算」的基线,不是比更好的卡。换句话说,它卖的是把已有 GPU 的利用率买回来,这笔账在 GPU 租金高企时最划算。其四,单租户这个定语很关键:池化在多租户里最难的不是带宽而是隔离,Liqid 干脆把隔离交给物理边界——整柜不共享,代价是利用率上限被锁死。

冷静提示  5 到 7 倍是厂商初始测试,未披露模型、上下文、SLO 与基线定义;160TB 是单节点上限,实际可用容量受 CXL 拓扑与延迟分层影响;租金、可用区与交付时间均未公布;Uptime 的 11kW 与 87% 是数据中心整体画像,不代表目标客户的实际机架条件。

二、卸载的落点 OFFLOAD TARGETS

▍3. 三层卸载写进工具包:KV 要活过重启

事件  11月18日,台北,威刚(ADATA)旗下企业存储品牌 TRUSTA 在 SC26 首发并升级 AI Scaler Toolkit:用 vLLM 的 KV 缓存卸载把工作内存从 GPU 扩到 三层——显存放活跃请求、DRAM 做快速缓存、PCIe 5.0 企业级 SSD 做大容量低成本层,长文档从盘上重载而不再重算,重启之后会话能从盘上的 KV 续上。工具包是一站式的:一键安装、支持 vLLM、llama.cpp 与 Strata 三种引擎、一个界面分配显存与 DRAM 与 SSD 并调参测试。同一套里还带轻量引擎 Strata 加 Intel AMX,在至强上直接于 DRAM 处理模型数据,把提示处理(prefill)拉高最多 25%。硬件侧同步展出 TD7P51 ECO 与 T7P5 两颗 Gen5 企业级 SSD:容量最高 15.36TB、U.2 与 E1.S 与 E3.S 三种形态、耐久最高 3 DWPD、支持 FDP 灵活数据放置、功耗低于 20W、能效高 1.7 倍;企业级 DDR5 R-DIMM 最高 6400MT/s、单条 128GB。通稿引 Counterpoint 的数字给这件事定价:2026 年二季度,企业级 SSD 已占全球 NAND 出货容量的 48%,一年前是 26%。

值得关注  其一,真正的增量不是第三层,而是「持久」这个属性。过去 KV 是易失的运行时产物,掉电即弃、重启即重算;把它写到 SSD 并跨重启复用,等于承认 KV 是一种该被存储系统管理的对象,而不是显存的副产品。这一步迈过去,KV 的定价权就从显存厂商挪到了存储厂商手里。其二,48% 与 26% 的对比说明账已经在往这边走:企业级 SSD 一年翻了近一倍占比,不是消费级萎缩,是推理把 NAND 拉进了算力账本。存储需求的增长点从「存模型」变成「存上下文」,这是采购结构层面的变化;而命中的多半是同一段前缀,前缀越长,缓存复用越值钱。其三,prefill 提升 25% 用的是 CPU 的 AMX 在 DRAM 上直接算,等于把一部分 prefill 从 GPU 手里拿走——它与 PD 分离同源,只是分离的落点从另一张加速卡换成了 CPU。对于显存紧张的中小部署,这条路径比买卡现实,首字时延的改善也不必等新卡。其四,FDP 与 3 DWPD 这两个参数别跳过:KV 落盘是持续写,写放大决定寿命,FDP 就是为这个准备的;三层卸载真正的成本不在容量,在写耐久。

冷静提示  25% 是 AMX 平台上的特定部署口径,未给模型、序列长度与并发;SSD 层收益取决于重载带宽与命中率,通稿只写「显著缩短」而无数字;工具包是单机三层,不含跨节点池化,与机架级方案不是同一层级;48% 是企业级 SSD 占 NAND 出货容量的比例,不等于 AI 推理占 SSD 需求的比例。

◆◆◆

▍4. 384 卡池化之后,成本算到了 token 上

事件  11月17日,开源模型与生态共建论坛披露、11月18日中文媒体扩散的一则合作案例:京东工业基于昇腾 Atlas 900 A3 SuperPoD 液冷超节点与 CANN、MindSpeed、vLLM-Ascend 完成 JoyIndustrial 2.0 的训推全流程优化。超节点这一侧的底子是灵衢高速互联与全局统一内存编址,最多 384 卡池化组网、卡间一跳直连;软件这一侧,双方基于 vLLM Ascend 与 Joybuilder 做了面向多模态长序列的 E-PD 分离推理加速方案,投入在 H2D/D2H 传输优化、数据调度与 KV 缓存管理上,做到多模态跨机通信集群一键部署。给出的口径是四条:Prefill 性能提升 70% 以上、单位 token 成本下降 50%、业务上线速度提升 90%、系统并发能力翻倍;训练侧训练吞吐较开箱状态提升约 96%。业务侧的数字是 2026 年三季度 AI 带来 33.8% 的人效提升、AI 带动的 GMV 增量占重点客户 GMV 的 12.5%。这套方案对应的场景是多模态长序列,输入往往是图纸加几十页技术要求。

值得关注  其一,E-PD 的 E 是第三段。多模态场景里编码器也得单独摆:先编码(Encode)、再 Prefill、最后 Decode——分离的段数随输入模态增加,这是 PD 分离在多模态上必然的延伸,也是「一张卡干三件事」在长序列上撑不住时的自然解法。它与 AF 分离(AFD,把注意力与前馈拆开)不在一条轴上:PD 与 E 按阶段切,AFD 按算子切。其二,第一次把收益结在 token 上而不是倍速上:70% 是阶段指标、50% 是商业指标、90% 是交付指标,三者一起看,说明分离与池化已经能被财务口径接住。这比任何吞吐倍数都更能推动采购,因为采购部门不认 TPOT,只认每百万 token 多少钱。其三,池化在这里的作用是给分离兜底:384 卡统一编址、一跳直连,KV 在阶段之间搬的时候不必过主机内存,H2D/D2H 优化的收益才显现得出来;没有这一层,PD 分离的跨机搬运会把省下的算力原样吃回去——搬运里最贵的是重排,张量布局对不齐,省下的算力会以重排税的形式还回来。其四,这套组合的顺序值得注意:先有池化与统一编址(硬件),再有多模态模型(负载),最后才有 E-PD(调度)。分离是池化的下游,不是上游——很多项目把顺序做反了。整个案例也是国产化路线里少见的、把系统级能力直接写成业务指标的一次。

冷静提示  这是厂商与客户联合发布的案例口径,无第三方复现;70% 与 50% 未拆出算子优化、调度、缓存管理与硬件各自的贡献;E-PD 的具体切分与部署形态未公开,384 卡是否为该方案的实配规模也不明确;单客户单场景,不能外推为平台能力。

三、容量的判据 CAPACITY AS CRITERION

▍5. 论文二:容量驱动,把 KV 放进 QLC 的那一页

事件  arXiv 2611.22746《LaFlash:用 QLC 高带宽闪存做编码智能体的容量驱动加速》(11月17日提交,Yuseon Choi、Eunjong Lee、Sanghyeon Park、Seongyon Hong、Sangjin Kim、Thierry Tambe;cs.AR;原题为英文,此处按文意中译)。编码智能体是内存密集型负载,反复复用上下文与 KV 这类持久状态;Loop 与 Graph 这类编排让状态在活跃与休眠之间频繁切换,产生状态放大——被驱逐的状态一旦重新激活就要重算,在「长上下文、短输出」的负载下尤其贵。论文由此提出容量驱动加速(CDA):把状态放大显式算进容量分配,在活跃并发与休眠保留之间划额度,用内存访问替换重算。LaFlash 是一套 HBF(高带宽闪存)架构,靠 QLC 的大容量落地 CDA,但要过两道坎:QLC 读延迟长,在非规律的状态重激活与长短不一的上下文下必须撑起海量读并行;写入耐久有限,放置策略被绑住。两个机制对应两道坎:会话分组在各组之间平衡活跃请求数与聚合上下文长度,用请求独占分配维持读并行与块利用率;快速页分配利用 QLC 读延迟本身的异构性,压掉组间残余的不均衡。端到端编码智能体负载上,比 SLC 版 HBF 加批量扩展高 7.04 倍吞吐、10.96 倍能效;比同样做 CDA 的 QLC 版高 2.36 倍吞吐;再用一层 HBM 缓冲挡掉无谓的 NAND 写,改善 QLC 的写寿命。

值得关注  其一,它把判据从延迟换成了容量。过去讨论 KV 落哪一层,问的都是「够不够快」;这篇问的是「留不留得住」——编码智能体的状态不是热数据,是休眠数据,重算一次比读一次贵得多,于是容量本身就成了加速手段。其二,CDA 是一套能直接抄的记账法:容量不能全给活跃并发,要留一份给休眠状态,这份预留的价值约等于「重算成本 × 重激活概率」。容量规划第一次有了可算的式子,而不是拍一个缓存比例。其三,QLC 的选择很诚实:它承认读延迟长、写寿命短,然后用读并行与放置去换。这与近存计算正好相反:那边把计算推到内存旁边,这边把状态推到离计算很远的闪存上,用容量换重算。会话分组解决「组内上下文长短不齐导致读并行上不去」,快速页分配解决「页粒度不齐导致最后一点带宽吃不满」——这两个问题在任何「闪存当 KV 层」的方案里都会出现,是可复用的工程结论。其四,它与本期第一条正好相反又互补:XM-Sparse 说池子再宽也要留 HBM 给索引,LaFlash 说闪存再慢也能靠容量换回重算;一个管热页,一个管冷状态,合起来才是完整的分层:显存、主机内存、本地闪存,再往外才是后端的存储集群。HBF 这条线此前只写到阵营分化,这篇把其中一支的账算到了页级。

冷静提示  7.04 倍是「加批量扩展」条件下的对比,含了批处理本身的收益,同一容量策略下的机制收益只有 2.36 倍;论文是架构设计与仿真评估,没有真实 QLC 版 HBF 硬件;编码智能体的状态重激活分布由作者构造,真实 Agent 的休眠时长更偏长尾,届时要靠 HBM 缓冲兜住写放大。

四、结语 TAKEAWAYS

卸载不是把数据搬走,而是把瓶颈挪个位置——它今天挪到了稀疏注意力的索引页、机柜的插槽、一次重启、Prefill 那一段,以及 QLC 的页分配上;谁能说清自己挪到了哪一层,谁才算真把池子用上了。

五、引用信息来源 REFERENCES

1. arXiv 2611.22280《XM-Sparse: High-Throughput Sparse-Attention LLM Serving over Scale-up Memory Pools》(2026 年 11 月 17 日提交;作者 Yijun Sun 等 6 人,通讯作者 Xudong Liao;cs.DC 与 cs.LG;13 页、11 图;原题为英文,此处按文意中译)。论文指出稀疏注意力虽降低注意力计算量,但服务系统仍需保留全量 KV 历史,HBM 容量因此成为并发上限;现有卸载系统(ECHO、HiSparse)把 KV 卸到主机内存,受 PCIe 带宽与主机内存容量双重限制。论文对比四类外部内存:PCIe 5.0 x16 为 64GB/s、2TB;CXL 2.0 x16 为 64GB/s、数十 TB;GB200 的 NVLink-C2C 为每 GPU 225GB/s、两卡共享 480GB;级联内存池(如 X-Mem)为每 GPU 900GB/s、单节点数十 TB,单节点设计最多 24TB DDR5、约 4TB/s 聚合带宽,池化内存直接暴露在 GPU 地址空间、支持点对点访问而不过主机内存中转。论文发现卸载后 decode 吞吐仍受 HBM 容量约束:128K 上下文下热 KV 缓冲与常驻 K-index 合计约占 40% 显存,K-index 在 DeepSeek-V3.2 上占 HBM 的 33.7%、GLM-5.3 上占 24.9%,而 24TB 池子仅用掉约 3TB。两类缓存访问模式不同:热 KV 为动态不可预测的 Top-K 选择,采用 TMA 融合取回、tile 级流水(常驻 tile 前置、Split-K 切块、双缓冲共享内存、远端 tile 直接从共享内存消费);K-index 为确定性整页访问,采用 GPU 发起 DMA 预取(单 SM 生成描述符、主机侧批量发布、copy engine 搬运),16KiB 页下达 624.0 GB/s,常规提交路径仅 22.4 GB/s,并在注意力与 MoE 收发期间以信号量暂停预取。实现于 SGLang 之上,约 8000 行 Python 与 C++/CUDA。测试台为 2 颗 Intel Xeon 6767P、2TB 主机 DRAM、8 张 NVIDIA B300(各 268GiB),4 卡跑 decode、4 卡充当内存节点;模型为 DeepSeek-V3.2(671B、61 层)与 GLM-5.3(744B、78 层),FP8、DP4 加 EP4,上下文 16K 至 1M,输出固定 128 token。吞吐较 ECHO 高 1.72 至 2.50 倍(V3.2)与 3.14 至 4.98 倍(GLM-5.3),较 HiSparse 高 1.57 至 1.75 倍与 2.05 至 4.52 倍,较同平台朴素集成高 1.10 至 1.34 倍与 1.06 至 1.29 倍;GLM-5.3 在 128K 下 batch 由 109 升至 209(每 GPU),单卡吞吐由 1437.9 升至 1849.3 token/s;热缓冲由 4K 缩至 2K 时吞吐提升 34.4%(16K)与 32.7%(32K),而 HiSparse 同设置下降 23.2% 与 19.5%。1GiB bulk 传输(808GB/s)仍造成 11.8% 吞吐损失,NCCL kernel 时间增加 46.2%、计算 kernel 仅增加 4.1%。:arXiv 预印本(arxiv.org/abs/2611.22280) —— 原文为「Existing systems offload the KV cache to host memory, but suffer from the limited bandwidth of PCIe and the limited capacity of host memory」「decode throughput remains bounded by HBM capacity, as hot KV buffers and the fully resident indexer key (K-index) cache occupy substantial HBM」「offload both caches aggressively while matching each with an I/O mechanism tailored to its access pattern」「delivers up to 4.98x and 4.52x higher decode throughput than PCIe-based ECHO and HiSparse, respectively, and up to 1.34x over a naive integration on the same platform, across 16K-1M contexts」。

2. 2026 年 11 月 18 日,Liqid 于芝加哥 SC26 发布 Liqid as a Service(Business Wire 稿)。该服务为全托管、单租户的 AI 基础设施,节点起步 20 张 GPU 加 10TB CXL 内存,可扩展至 30 张 GPU 与单台服务器 160TB CXL 内存;由 fabric 与 Liqid Matrix 软件把一台主机连接到 GPU 池与 CXL 内存池,使单机使用远超本地插槽的内存。Liqid 初始测试口径为同一批 GPU 的 token 吞吐提升 5 至 7 倍。满配 30 卡节点功耗约 22 至 24kW、风冷、占 14U,可在存量机房、托管机房与边缘环境部署,无需液冷与新建。通稿引 Uptime Institute《2026 全球数据中心调查》:典型机架约 11kW,87% 的数据中心没有 50kW 以上的机架。可选 GPU 包括 NVIDIA H200 NVL、NVIDIA RTX PRO 6000 与 AMD MI350P;每个客户独占整柜或半柜,安全边界位于客户网络边缘,客户自带模型与软件栈。公司总裁 David Larson 表示 AI 已撞上内存墙,购买最终空转的 GPU 是最贵的翻墙方式。:Business Wire《Liqid Announces Liqid as a Service to Break Through the AI Memory Wall》(2026-11-18,芝加哥) —— 原文为「Each Liqid as a Service node starts at 20 GPUs plus 10 TB of CXL memory but can scale to up to 30 GPUs and up to 160 TB of CXL memory to one server」「In Liqid initial testing, the same GPUs produced 5-7x more tokens per second with this architecture」「A fully built node with 30 GPUs draws about 22 to 24 kW, is air cooled and occupies 14U of rack space」「the typical rack draws about 11 kW, and 87 percent of datacenters have no rack at 50 kW or more」。

3. 2026 年 11 月 18 日,台北,威刚(ADATA)旗下企业存储品牌 TRUSTA 于 SC26 首发展出,并升级 AI Scaler Toolkit(PR Newswire 稿)。工具包以 vLLM 的 KV 缓存卸载把工作内存从 GPU 扩展到三层:GPU 显存承载活跃请求、DRAM 作快速缓存、TRUSTA PCIe Gen5 企业级 SSD 作大容量低成本层并跨重启持久;长文档从 SSD 重载而非重算,服务器重启后会话可从 SSD 上的 KV 缓存续接。工具包提供一键安装、支持 vLLM 与 llama.cpp 与 Strata 多种推理引擎、以单一界面分配 GPU 与 DRAM 与 SSD 资源并调参测试。其中轻量引擎 Strata 结合 Intel AMX,在 Intel Xeon 上直接于 DRAM 处理模型数据,可将提示处理(prefill)提速最多 25%。同场展出 TD7P51 ECO 与 T7P5 两款 PCIe Gen5 企业级 SSD:容量最高 15.36TB,U.2、E1.S、E3.S 三种形态,耐久最高 3 DWPD,支持灵活数据放置(FDP),功耗低于 20W、能效较同类产品高 1.7 倍;企业级 DDR5 R-DIMM 速率最高 6400MT/s、单条容量最高 128GB。通稿引 Counterpoint Research:2026 年二季度企业级 SSD 占全球 NAND 闪存出货容量的 48%,一年前为 26%。:PR Newswire《TRUSTA Debuts at SuperComputing 2026 with Upgraded AI Scaler Toolkit》(2026-11-18,台北) —— 原文为「offloads its KV cache across three tiers: GPU memory for active requests, DRAM as a fast cache, and TRUSTA PCIe Gen5 enterprise SSDs as a large, low-cost tier that persists across restarts」「Context that survives reboots: After a server restart or reboot, conversations resume from the KV cache saved on SSD instead of being recomputed from scratch」「speeding up prompt processing (prefill) by up to 25%」「enterprise SSDs accounted for 48% of global NAND flash capacity shipments in Q2 2026, nearly double the 26% recorded a year earlier」。

4. 2026 年 11 月 17 日,开源模型与生态共建论坛披露、11 月 18 日中文媒体扩散:京东工业基于昇腾 Atlas 900 A3 SuperPoD 液冷超节点与 CANN、MindSpeed、vLLM-Ascend,完成 JoyIndustrial 工业大模型训推全流程优化。超节点侧依托灵衢高速互联通道与全局统一内存编址架构,最多 384 卡池化组网、卡间一跳直连。软件侧双方基于 vLLM Ascend 推理引擎与 Joybuilder 开发平台,打造面向多模态长序列推理的 E-PD 分离推理加速方案,实现多模态跨机通信集群一键部署,并对昇腾硬件做 H2D/D2H 传输优化、数据调度与 KV 缓存管理等关键调优。官方口径为:Prefill 性能提升 70% 以上、单位 Token 成本下降 50%、业务上线速度提升 90%、系统并发能力翻倍;训练侧训练吞吐较开箱状态提升约 96%。业务侧 2026 年三季度数据显示 AI 带来 33.8% 人效提升、AI 带动 GMV 增量占重点客户 GMV 的 12.5%。:华为中国政企业务《昇腾超节点助力京东工业,让 AI 赋能工业供应链》;IT之家与快科技同日转载(2026-11-18);新浪财经《昇腾超节点优化后,工业大模型 Prefill 性能真提 70%?》引 C114 通信网 2026-11-17 论坛内容 —— 原文为「依托灵衢高速互联通道、全局统一内存编址架构,可实现最多 384 卡池化组网,卡间一跳直连」「打造了面向多模态长序列推理的 E-PD 分离推理加速方案」「对昇腾硬件进行了 H2D/D2H 传输优化、高效数据调度以及 KV Cache 缓存管理等关键调优」「方案不仅实现了 Prefill 性能 70% 以上的提升,更在商业化落地中交出了亮眼答卷:单位 Token 成本下降 50%,业务上线速度提升 90%,系统并发能力翻倍」。

5. arXiv 2611.22746《LaFlash: Capacity-Driven Acceleration for Coding Agent Workflows via QLC-HBF》(2026 年 11 月 17 日提交;作者 Yuseon Choi、Eunjong Lee、Sanghyeon Park、Seongyon Hong、Sangjin Kim、Thierry Tambe;cs.AR;原题为英文,此处按文意中译)。论文指出编码智能体是内存密集型负载,反复复用上下文与 KV 缓存等持久状态;Loop 与 Graph 这类编排让状态在活跃与休眠之间频繁切换,产生状态放大,被驱逐的状态重新激活时须重算,在长上下文、短输出负载下代价尤高。论文据此提出容量驱动加速(CDA):将状态放大显式纳入容量分配,在活跃并发与休眠保留之间划分额度,以内存访问替代重算。LaFlash 是一套高带宽闪存(HBF)架构,以 QLC 闪存的大容量实现 CDA,但需应对 QLC 读延迟长(要求非规律状态重激活与变化上下文长度下的海量读并行)与写入耐久有限(约束放置策略)两道难题。设计含两个机制:会话分组在各组之间平衡活跃请求数与聚合上下文长度,以请求独占分配维持读并行与块利用率;快速页分配利用 QLC 读延迟的异构性,缓解组间残余不均衡。端到端编码智能体负载上,较 SLC 版 HBF 加批量扩展吞吐高 7.04 倍、能效高 10.96 倍;较同样采用 CDA 的 QLC 版 HBF 吞吐高 2.36 倍;HBM 缓冲进一步减少无谓的 NAND 写入,改善 QLC 写寿命。:arXiv 预印本(arxiv.org/abs/2611.22746) —— 原文为「Coding agents are emerging as memory-intensive workloads that repeatedly reuse persistent states, including contexts and KV caches」「Loop/Graph Engineering, cause state amplification through frequent active/dormant transitions」「Capacity-Driven Acceleration (CDA), which explicitly accounts for state amplification to allocate memory capacity between active concurrency and dormant-state retention, replacing recomputation with memory access」「LaFlash achieves 7.04x higher throughput and 10.96x higher energy efficiency over SLC-HBF with batch expansion, and 2.36x higher throughput over QLC-HBF with CDA」。

免责声明:本文基于公开报道、厂商发布与预印本论文整理,参数与结论均为原文、厂商或作者口径,仅供参考,不构成投资建议。

— 观天下 · 聚焦 AI Infra 与超节点

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料