KV卸载上主机:HiSparse、PDD与DDR4回收

2026年8月31日 · 观天下

8月收官，KV Cache治理迎来一个标志性的方向转折：权威KV副本正在从GPU显存搬回主机内存。斯坦福、Meta、阿里巴巴、蚂蚁、北大与NVIDIA Research联合提出的HiSparse，把"完整KV放主机、GPU只留热点缓存"做成了精确无损的系统方案——128K上下文的KV占用从13GB压到0.4GB、峰值生成吞吐最高4.7倍，等于给"稀疏注意力"装上了它一直缺的那套缓存架构。与之呼应，无问芯穹在数博会上披露跨集群PD分离的完整技术报告：基于Decode侧基数缓存（DRC），90%命中率下跨集群KV传输量直降一个数量级；而Semalt对SemiAnalysis报告的解读则揭示了池化的另一面——在DRAM价格三年翻三倍之后，回收旧服务器里的DDR4成了CXL的第一个真正用例，Meta的Vistara ASIC把"内存经济学"四个字写进了池化账本。KV治理的议题，从"怎么装得下"全面转向"怎么搬得起、怎么算得清"。

一、行业动态

1. 无问芯穹跨集群PD分离完整技术报告公开：KV传输减10倍，词元调用量两年半涨1750倍

8月28日贵阳数博会开幕式上，无问芯穹联合创始人、首席科学家戴国浩作主旨演讲，同期公开了跨集群异构推理架构PDD（Prefill-RelayDecode-MainDecode）的完整技术报告。演讲中最有冲击力的数据是词元经济的量级：中国日均词元调用量从2024年初的1000亿，增长到2026年6月的近175万亿，两年半增长超1750倍；美国OpenRouter 2024年全年调用量约10万亿，到2026年8月单日就达10万亿——一天顶2024全年。词元工厂的三大挑战（算力碎片化、推理成本高、模型迭代快）里，跨集群PD分离直指第一个：把全国分散的存量异构集群用广域网以太网连起来，算力强的集群做Prefill、显存带宽高的集群做Decode，与基于单一芯片集群的方案相比整体成本降低约10%至15%（戴国浩披露过去一年词元生产成本已降1000%，且还有同量级空间）。

值得关注：技术报告的工程细节非常扎实：① DRC（Decode Radix Cache）——把为Decode实例重复前缀去重设计的Radix Cache迁移到跨集群架构，命中前缀缓存的请求只传增量KV，平均90%命中率下跨集群带宽需求降约10倍；② 团队分析600万条线上请求发现智能体负载"三极"特征——上下文极长、命中率极高、输出极短（30%的请求输出不足100 token、40%不足500 token），而1-20秒的KV传输占端到端总延迟的43%-56%，是比带宽更痛的瓶颈；③ 真实业务的命中率分布极度偏斜（70%-80%请求命中率95%以上），微基准测试显示P50传输延迟仅248ms，只有极少数低命中率请求拖出18秒长尾——这为"用RelayDecode中继先吐token、MainDecode后接手"的PDD三级架构提供了精确的触发条件，实测TTFT降51.5%、单Token成本降37.5%。PD分离在单数据中心内已成熟，跨集群才是国产算力碎片化场景的真正红利区；而"偏斜分布"三个字，意味着KV池化的调度器必须学会识别长尾请求，而不是为平均值设计。

2. DDR4回收成为CXL第一用例：内存经济学转向"回收优先"

Semalt对SemiAnalysis报告的解读（8月28日）给出了CXL池化最现实的一课：DRAM价格自2023年底以来翻了约三倍，内存已占超大规模云厂商资本开支的30%（2023年仅为8%），在服务器DRAM Q3还要再涨13%-18%的背景下，CXL最成熟的落地场景不是"创新扩容"，而是"回收再利用"。Meta的Vistara ASIC是标杆：一块CXL 2.0 Type-3扩展器用PCIe 5.0 x16桥接两通道DDR4，单芯片128GB、使用从退役机器回收的32GB模组；每个MemServer配一颗158核AMD EPYC Turin（768GB本地DDR5-6400 + 256GB CXL挂载DDR4-2400），控制器路径空闲往返时延约50ns。Meta约40%的服务器机队受内存容量限制，而服务器寿命3-5年、里面的DRAM却能用7-10年——回收让推理负载服务器数量减少25%、分布式缓存平均时延降29%、任务失败率降33%。

值得关注：这组数字揭示了池化叙事的裂缝与机会。裂缝在于：SemiAnalysis早在2024年3月就宣布"CXL for AI已死"（NVLink这类以太网SerDes每毫米die edge的带宽约为PCIe 5.0/6.0的三倍，加速器上每一条CXL lane都在挤占Scale-Up带宽），Marvell的三层内存基建（Structera X控制器/S交换机/Photonic Fabric光池化）也只有Bravera SC6 SSD主控是新品，且Meta用的是自研ASIC而非Marvell方案；机会在于：当"内存单价贵到回收划算"成为常态，CPU侧容量与KV Cache暂存（staging）就成了CXL最稳的定位——Yole预计2026年底90%以上服务器具备CXL能力，但到2030年实际使用率仅13%。这个"能力-使用"的巨大落差，正是国产CXL（澜起MXC、长鑫等）和存储方案商填的坑：池化不再是技术故事，而是capex账本。

3. Synopsys发布业界首个完整CXL 4.0 IP方案：多机架100TB池化工具链就绪

8月，Synopsys发布业界首个完整CXL 4.0 IP解决方案，涵盖控制器、IDE安全模块、经硅验证的PHY与验证IP。背景是2025年11月发布的CXL 4.0规范：信号速率提升至128GT/s（基于PCIe 7.0，为CXL 3.x的两倍），支持跨机架、100TB以上内存池——把"池化"从单机架扩展到了"多机架一体化"。此前CXL 3.x在AI集群中的主战场（内存池化+KV Cache卸载）受限于单机架规模与64GT/s带宽，4.0的Bundled Ports与多级交换能力正是为超节点级内存池准备的。

值得关注：IP方案的完整发布意味着CXL 4.0从"规范"走向"可流片"——控制器、安全、PHY、验证四件套齐备，芯片厂商2027-2028年的产品线可以直接开建。这对超节点内存池化的时间表很关键：参考CXL 2.0/3.0的经验（规范发布到量产芯片约2-3年），4.0时代的"多机架KV池"预计2028年前后进入商用窗口，正好承接英伟达Rubin Ultra（NVL576/NVL1152光互联机架）与国产昇腾950超节点（256TB统一内存编址）的下一代扩容需求。对存储与芯片厂商来说，CXL 4.0的PHY/IP授权链条（Synopsys、澜起、Marvell等）就是未来三年代际升级的卡位点，谁先通过硅验证谁就拿走超大规模客户的默认选项。

二、论文分析

论文1：HiSparse——KV Cache两级管理：显存降30倍、吞吐4.7倍（斯坦福/Meta/阿里/蚂蚁/上海交大/北大/NVIDIA Research，8/30智猩猩深度解读，arXiv编号待确认）

事件：8月30日，智猩猩对论文"HiSparse: Scaling Sparse-Attention Decoding with Hierarchical KV Cache Management"做了深度拆解。问题意识很锋利：稀疏注意力（DSA/NSA/Quest）让"读"变便宜了，却没让"存"变便宜——每个解码请求的KV Cache仍随上下文线性膨胀，128K的GLM-5.1请求占13.09GB BF16 KV，32K时几十个并发就耗尽HBM、128K时只能容下约15个请求，解码在算力耗尽前先撞上"容量墙"。但稀疏选择器每步都会明确给出"当前需要哪些KV位置"的需求信号——这是一个现成的、逐位置的访问轨迹，全KV服务却白白浪费了。HiSparse把KV组织成两级：主机内存（pinned DRAM）存每个活跃请求的权威完整KV副本，GPU上只留固定大小的热点缓存（每请求每层B个槽位），页表+LRU元数据驱动替换；核心是把命中检测、LRU替换、元数据更新、主机取数全部融合进一个RESOLVE CUDA内核，每层启动一次、直接捕获进SGLang的解码CUDA graph。因为只改KV放在哪、不改变选中位置与注意力计算，所以是精确（exact）的——零精度损失。

值得关注：数据很硬。H200/B200/GH200三款硬件、DSA/NSA/Quest三种稀疏注意力全面验证：Qwen3+Quest在GH200上32K提升3.6倍（511→1824 tok/s）、200K直接4.7倍（111→520）；GLM-5.1+DSA在H200上32K提升3.1倍、160K提升2.9倍；DeepSeek-V4-Flash在2×B200上并发64从600涨到1257 tok/s（2.1倍，仅算解码阶段2.9倍）。容量端：128K时每请求KV从13.09GB压到约0.4GB（B=4096），约30倍缩减——不想要更高吞吐的运营方可以直接减GPU数量或换小HBM型号。延迟端：每token生成延迟基本持平，高负载下TTFT反而更低（GLM-5.1-FP8并发64时829s→171s）；LRU在B=4096时miss率13.4%，优于FIFO（17.2%）和随机（16.1%），贴着离线最优Bélády（8.2%）的走势，证明"近期是否被选"是预测未来稀疏选择的好信号。代价全部落在主机IO上：同步解析每token暴露7-8ms，开预取压到约3ms，理想零IO下接近理论上界85%。这篇工作的价值在于把经典计算机体系结构的"小缓存+大后端"（cache+backing store）正式搬进了KV Cache管理，与vLLM 0.19.0的CPU卸载（8/30记忆）异曲同工但更彻底——它把"容量墙"改写成了"可调度、可预取的IO问题"；而对超节点而言，主机DRAM池+GPU热点缓存的组合，本质上就是一张"分层的KV池化架构图"，池化调度器可以直接按"权威副本层+热点层"建模。局限：短上下文/低并发场景收益有限（作者建议直接关闭），且依赖稀疏注意力本身的选择信号质量，对全注意力模型不适用。

三、结语

8月最后一天回头看，KV治理的坐标系正在换轴：从"容量与带宽"（怎么装得下）转向"成本与节奏"（怎么搬得起、怎么按工作负载的节拍失效与复用）。HiSparse证明KV的权威副本可以放心放回主机内存、GPU只为"此刻真正被读到的东西"付费；无问芯穹证明跨集群PD分离能把KV传输量降一个数量级，且真实负载的偏斜分布为PDD三级架构提供了精确触发条件；DDR4回收则提醒所有人，池化的第一性原理是经济学——当回收比扩容更划算，CXL的价值主张就完成了从"技术"到"账本"的蜕变；Synopsys的CXL 4.0 IP则把多机架100TB级池化写进了2027-2028的芯片路线图。内存池化的下一战，不是把池子挖得更大，而是让每一条KV都算得清"放在哪一层最划算、何时失效最合理"——系统侧（HiSparse式分层）、集群侧（PDD式跨集群）、器件侧（CXL回收与4.0）三条线正在同时收敛到同一个答案。

免责声明：本文基于公开信息整理，仅供参考，不构成投资建议。