卸载按层号,池化按旧价

2026年11月3日 · 观天下

AI SUPERNODE · MEMORY POOLING DAILY

▍1. 奇数层整层搬走：KV 卸载第一次按层结构决定

事件  11月2日，美团发布 LongCat-2.5，1.6 万亿总参数、每 token 激活 480 亿，面向长程智能体的原生多模态模型，训练与推理全程跑在国产算力上。推理侧的动作集中在一处：PD 分离部署之后，它没有停在把两个阶段拆开，而是继续往下拆缓存。做法有三件。一是扩大有效缓存：Prefill 用 QCP 按 token 分配计算、KVP 按分页粒度分散存放，避免 MLA 下张量并行切分带来的 KV 冗余；HiCache 在 KV 回迁显存之后，立刻释放主机内存里已无其他读取引用的副本，不让两级缓存重复占位；同时基于 Mooncake 重构权重管理与 Actor offload，为缓存腾出空间。二是跨层卸载：利用 LSA 奇数层复用前一偶数层 top-k 索引的特点，把奇数层的完整 KV 卸载到主机内存，显存（HBM）只保留小容量工作缓存；偶数层算出索引后，提前加载下一奇数层所需 KV，并与当前层后续计算重叠——在与 TPOT 无损的前提下，Decode 侧 KV 缓存容量接近翻倍。三是容量感知调度：Router 按 L1 与 L2 的缓存容量和请求 token 总量控制放行，优先推进完成度高的 Group，尽早凑齐批次释放缓存，避免多条长轨迹交替推进时反复淘汰彼此前缀。同场还给了两组配置口径：长上下文负载下 P/D 实例配比 3:2 最优；W4A4 把专家权重与激活同时量化到 4 bit、走原生 INT4 矩阵乘，线上压测对比 W8A8，输入处理与逐 token 生成吞吐均提升约四成，首次输出等待缩短约 16%，后续每个 token 缩短约 20%。

值得关注  其一，卸载的依据从访问频率换成了层间依赖。以往做 KV 分层，都是给块打分，谁冷谁先走；这里下车的理由却是结构性的——奇数层的检索依赖前面偶数层已经算出的索引，所以偶数层必须在场，奇数层可以走。一层数据只要被证明可以从别处推出来，它就不必占用最快的那层介质，这比任何热度函数都硬。其二，那句释放主机内存副本容易被忽略，却是一笔老账：KV 回迁显存后，主机内存那一份如果没人再读，就得当场还回去，否则两级缓存互相占位、命中率反而下降。这与池越大越好的直觉相反——池的价值取决于里面有多少块是唯一副本，而不是总共有多少块。其三，容量感知调度防的是重算雪崩：多条长轨迹交替推进时，各自请求会互相把对方的前缀挤出去，谁也没跑完、谁都要重算。这不是缓存算法能解决的问题，是准入问题；它把该不该放进来从缓存层提到了路由层，等于承认驱逐策略救不了并发结构——PD分离 的难点从来不在把两个阶段拆开，而在拆开之后谁来管准入。这一判断对做内存池化的人尤其重要：池的上限不只在容量，也在准入规则。

冷静提示  参数与实例配比均为厂商口径，未披露卡型、卡数与集群规模；跨层卸载依赖 LSA 这一特定注意力结构，换一种注意力未必成立；解码侧缓存接近翻倍是容量口径而非吞吐口径，原文限定 TPOT 无损；3:2 的配比只在所测长上下文负载下最优；所谓国产算力未点名芯片型号。

◆◆◆

▍2. CXL 的第一需求，变成了把旧内存接回新平台

事件  11月2日，澜起科技披露投资者关系活动记录表，当日接受 321 家机构调研。问答里最值得看的是关于 CXL MXC 芯片的那一问：在内存价格持续上涨的背景下，行业需求有什么变化。回答给出两个新变化。第一，存量内存复用需求升温：随着 DRAM 涨价、服务器内存总成本抬升，终端客户开始重视现有内存资源的利用率，通过 CXL 把退役服务器上的 DDR4 内存模组重新接入 DDR5 平台，从而降低整体采购成本；公司正在推进 MXC 产品与各类平台的适配试用，部分项目有望明年逐步进入量产状态。第二，AI 芯片侧的内存扩展需求起步：目前部分 TPU 与 GPU 产品开始支持 CXL 接口，借助内存扩展为加速器提供大容量、高带宽资源，主要用于支撑超长上下文窗口、静态知识库这类内存敏感负载。节奏上，存量 DDR4 复用不必等新平台成熟，落地更快；AI 芯片侧涉及面广，仍需研发与生态适配。行业分析认为，2027 年支持 CXL 3.0 的服务器 CPU 量产、生态成熟之后，需求有望从试用转为规模上量。同期的经营数据也指向同一方向：第三季度营收 20.79 亿元、同比增长 46.0%，互连类芯片毛利率 68.4%，截至 10 月 26 日的第四季度互连类芯片在手订单为 25.0 亿至 27.9 亿元。

值得关注  其一，池化的第一推动力这次不是带宽，是涨价。过去讲 CXL 池化，卖点是把内存从单台服务器里解放出来；现在客户买它的理由朴素得多——把已经付过钱的 DDR4 再用一遍。这意味池化的投资回报第一次有了自己的科目：它不比买新内存更快，但比再买一遍便宜，而便宜是可以进采购模型的。其二，退役 DDR4 接回 DDR5 平台，本质是把池化做成了代际桥。技术门槛不高，商业门槛很高——要内存模组、接口芯片、平台固件三层同时认这块旧内存，还要有人为它背书。这也解释了为什么存量复用会先于加速器侧落地：旧平台的生态是现成的，不需要等谁。其三，真正长线的信号在第二句：TPU 与 GPU 开始支持 CXL 接口，内存扩展就从主机侧搬到了加速器侧。这一步走出后，池的边界不再由 CPU 决定，而由加速器决定；它与超节点里做柜内统一编址是同一件事的两种做法——一个在柜内用私有总线做，一个在柜外用标准接口做。方向上，这与近存计算把算力搬到内存边恰好相反：这里是把内存搬到算力边，代价是那一段链路。

冷静提示  调研纪要为公司单方口径，未披露客户名称、项目规模与单价；MXC 芯片本身 7 月已试产并导入三星、SK 海力士下一代 CXL 产品，10 月 26 日曾在互动平台披露，本期只取需求结构变化的表述，不作新品事件；明年逐步量产未给年份与数量；2027 年 CXL 3.0 量产属行业分析预期而非公司指引；支持 CXL 接口的 TPU 与 GPU 型号未点名。

▍3. 机柜成了交付单位，CXL 内存扩展进了标准清单

事件  11月2日，2026 年世界互联网大会互联网之光博览会在浙江乌镇开幕，主题是智能互联、智见未来。AI 超节点是智能涌现展区的主角，而这一届的看点不在单卡，在柜。英特尔展出开放 Agent 机柜平台，把计算节点、CXL 内存扩展、供电、液冷、网络交换统一进同一套机柜架构，支撑千级智能体并发。中兴展出超节点计算柜，把计算托盘与交换托盘垂直交叉直连，机柜内部零线缆、没有传统背板，单标准机柜最高集成 128 张加速卡，信号路径大幅缩短、互联损耗显著下降。中科曙光展出首个全国产十万卡 AI 超集群曙光8000 真机：十万余张国产计算卡、约 30 亿个电子元器件、1600 公里互连线缆。华为展出的则是 CloudEngine XH9000 系列智算交换机，定位智算网络的接入层核心节点。

值得关注  其一，CXL 内存扩展第一次出现在机柜的标准配置清单里，而不是选配项。过去内存扩展是服务器层面的事，加几条内存、换个大容量模组，属于单机采购；现在它和供电、液冷、交换并列写进同一套机柜架构，采购单位就从台变成了柜，报价单的颗粒度也跟着变。对做内存池化的人来说，这是一个明确的位置变化：池从附加装置变成了机柜的组成部分。其二，零线缆与正交直连改的是距离。柜内信号路径越短，统一内存语义才越接近本地访存的成本——这与统一寻址不等于等成本访问是同一件事的两面：地址统一之后，剩下那点差距只能靠物理距离去压。换言之，超节点的竞争力正在从编址能力转向布线能力。其三，十万卡这个量级真正的主角是线缆与元器件，不是芯片。1600 公里互连线缆、30 亿个电子元器件，这些数字说明规模化的瓶颈已经转移到工程与供应链；而在这个规模上，池化不再是优化手段而是必需品——十万张卡各自为政的显存，等于没有池。国产化这条线尤其如此：单卡差距可以用规模掩盖，但规模一旦上去，池的调度能力就藏不住了。

冷静提示  博览会报道为展台陈列描述，英特尔与中兴均未同步发布规格、价格与交付时间；支撑千级智能体并发是平台能力表述，未给测试条件；曙光8000 为展出真机规模，未披露交付节点与验收口径；CXL 内存扩展的容量、代际与拓扑均未公开。

▍4. 论文：复用要读全部 KV，却只需要一个检查点

事件  arXiv 10月30日提交的《HiState: Hierarchical Prefix Cache Management for Hybrid LLM Serving in Agentic Workloads》（2610.41508），作者 Zaifeng Pan、Lucas Wang、Xinwei Qiang、Yanbo Zhou、Chang Chen、Zhengding Hu、Yue Guan、Yufei Ding。它盯的是混合模型的前缀缓存：这类模型由全注意力层与循环线性层混搭，循环层把历史压成一个状态，无法从一个更短的前缀里恢复出更早的状态，所以现有系统只能在若干边界上留检查点。传统对话的复用模式有规律，够用；但智能体负载会回头修改、回头访问更早的上下文，把那些从未保存、或者已经被淘汰的可复用前缀暴露出来。直觉解法是多留检查点，但检查点总量会挤掉别的会话的前缀，反而制造更多未命中。作者的关键观察是：一次前缀复用会读取全部匹配的 KV 条目，却只取一个循环检查点，与留了多少检查点无关。这个不对称让 HiState 把历史检查点放到 SSD（背后是 NVMe 介质与存储集群），而把快内存优先留给 KV 条目——每次命中只取一个检查点，且它的大小与上下文长度无关。在此之上做两件事：自适应间隔控制，在检查点存储与重算之间配平；统一驱逐，把检查点稀疏化与过期轨迹回收放进同一个决策。系统实现在 vLLM 上，两个公开编码智能体 trace 加受控微基准，p99 首字时延相对 vLLM-Marconi 与 SGLang-HiCache 分别最高提升 5.73 倍与 5.44 倍。

值得关注  其一，它把分层的依据从热度换成了对象类型。KV 条目大、随上下文线性增长、每次复用都要全读；循环检查点小、大小与上下文无关、每次只用到其中一个。把这两种东西放进同一个池里比热度，本来就比错了对象——它们该待在哪一层，由形状决定，不由访问次数决定。其二，多留检查点会挤掉别人的前缀这句话，是这篇最实用的地方。任何为了少重算而多存一点的优化，都要先回答多存的这块会顶掉谁。在共享池里容量是零和的，单看某类请求的重算率下降，很容易掩盖整体缓存复用率的下降，这也是为什么它必须把稀疏化与回收做成一个决策而不是两个。其三，智能体负载把这件事从优化变成了必须。多轮里上下文被反复改写与回访，复用点不再落在对话轮次的边界上——这正好解释了为什么近期各家的方案都在往会话级走：复用的单位变了，索引结构就得跟着变，而索引一变，分层的边界也就跟着变。

冷静提示  预印本，评测只用两个公开编码智能体 trace 加受控微基准，未披露硬件配置与并发规模；5.73 倍与 5.44 倍是 p99 首字时延的比值，不是吞吐；结论依赖混合模型这一前提，纯注意力模型不适用；检查点放 SSD 的收益取决于其带宽与检查点大小，两者随模型差异很大；对比基线的版本与配置未在摘要中给出。

◆◆◆

▍5. 论文：KV 搬过去的路上，被哈希撞在同一条脊上

事件  arXiv 10月29日提交的《ARK: Avoiding Routing Collisions for KV Cache Transfer in Disaggregated LLM Inference》（2610.41160），作者 Hung-Chun Lin、Ting-Wei Hsu、Chung-En Ho、Ahmed Saeed。论点很直接：分离式推理把 Prefill 与 Decode 分到两个 GPU 池，随之产生海量的 KV Cache 传输；这些传输要持续几百毫秒到几秒，在这个时间尺度上它们不是普通流量，而是巨型象流，直接决定链路带宽利用率。问题出在无状态 ECMP：哈希碰撞会把一条脊交换机打满，其余的脊空转，单次传输就被拉长数秒。而恰恰因为这类流活得更长，协调反而划算——一次轻量的一对多协调可以摊到整条流的生命周期上。ARK 的做法是让发送端挑源端口，使并发流的哈希落到不同的脊上，不改交换机、也不要求接收端做重排序。包级 RDMA 仿真显示：中等负载下平均与 P95 流完成时间最高降低 27.3% 与 34.0%，平均 TTFT 最高降低 12.9%。

值得关注  其一，这是分离式推理第一次把瓶颈指到交换机的哈希函数上。过去讨论 KV 传输，问的都是带宽够不够、路径长不长；这篇说的是路径选得对不对——同样的带宽，哈希撞了就等于少了一条脊。多路径负载均衡在网络里是老问题，但当流量从很多小流变成少数几条巨流，统计复用的前提就消失了，无状态哈希也就失去了意义。其二，不改交换机是它的工程价值所在。让发送端选源端口，意味着不换硬件、不改协议、不在接收端加缓冲区——对一个已经跑起来的集群，这几乎是唯一能落地的方案。反过来说，它也只能解决哈希这一层：真要是总带宽不够，选端口也没用，这也是必须先把带宽账算清的原因。其三，27.3% 与 34.0% 的差距值得留意：均值降得比 P95 少，说明碰撞的损失本来就集中在尾部——多数流碰不上，少数流被拉长数秒。而首字时延只降 12.9%，比流完成时间更少，因为一次请求的等待里还包含排队与 Prefill 计算。顺着这个逻辑再往前一步：如果做成 AF分离（即 AF 分离，也就是 AFD——把注意力与前馈拆成两级流水），搬的就不只是 KV 而是每层激活，流量更大更频繁，同一套哈希问题只会更严重；到那时，路径选择的粒度已经细到端口，和内存那边细到页表是同一个趋势——基础设施的调度单位在变小。分离的收益，最终要靠这些变小的单位去兑现。

冷静提示  包级仿真而非真机集群实测，未给拓扑规模、链路速率与交换机型号；收益在中等负载下测得，高低负载的表现未见说明；方法依赖流持续数百毫秒到数秒这一量级，短传输收益有限；只处理脊层哈希碰撞，不涉及拥塞控制与队列管理；与现有 RDMA 自适应路由方案的对比未在摘要中讨论。

免责声明：本文基于公开报道与预印本论文整理，参数与结论均为原文、厂商或调研纪要口径，仅供参考，不构成投资建议。

— 观天下 · 聚焦 AI Infra 与超节点