XM-Sparse:KV卸载走900 GB/s,TPOT降63.58%,

稀疏注意力省的是读，不是存。全量KV一分不能删，因为每步选谁都在变。

SGLang HiSparse把全量KV塞进主机内存，未命中就走PCIe回读。可PCIe每卡只有64 GB/s，直接成了吞吐天花板。

Netpreme的XM-Sparse把这层换成了机架内专用内存节点X-Mem。每卡900 GB/s互连、总量24 TB，GPU还能点对点访问。

128K上下文下，1 TB容量把batch卡在每卡36；扩到24 TB后batch能到109，但流量一涨，64 GB/s又成瓶颈。只扩容或只提速，都只能解开一半。

16K、每卡batch 192时，20%未命中率下单token时间从167.48 ms降到84.99 ms。40%未命中时降幅达63.58%，峰值吞吐是主机内存方案的2.09到3.04倍。

不过X-Mem芯片还没供货，这组数字是用B300的HBM顶替测出来的。预取也关着，真实负载跑起来还得等复测。