PD 分离进了同一张网,卸载第一次算出阈值

2026年10月17日 · 观天下

AI SUPERNODE · KV CACHE DAILY

▍1. 微软把 PD 分离做进同一张网，KV 状态不再离开超节点

事件  10 月 12 至 15 日，OCP 全球峰会在加州圣何塞举行；微软在会上公布自研推理加速器第三代产品 Maia 300 的芯片与机架级规格，Azure 官方博客随后给出深度架构披露。它的定位是「推理优先」：面向长上下文、访存密集、decode 偏重的工作负载，不做训练。单颗加速器为多芯粒封装，计算芯粒用台积电 N2P，内存控制器与 I/O 独立成 die，微软称这使计算 FLOPs 较 Maia 200 提升 36%；8 个 HBM4 堆栈给出 288GB 容量与 18TB/s 峰值带宽，TDP 950W，相对 Maia 200 内存带宽 2.5 倍、容量多 33%、每瓦 HBM 带宽约 2 倍。内存组织从均匀访问改为跨芯粒的 NUMA 布局，让数据靠近使用它的计算；片内 SRAM 由软件作为受管工作区使用；格式上支持增强 MXFP4 与 3 比特以下的存储格式。机架才是这次公布的基本单位：24 个四卡托盘共 96 颗加速器，功率 167 千瓦，整机架 27.6TB HBM、1.7PB/s 聚合带宽；因为取消了独立主机托盘，加速器密度是 Maia 200 的两倍，液冷承担机架 80% 以上的热负载。网络是设计上最有主见的一处：Maia 采用基于以太网的自定义 AI 传输，机架内 96 颗以电气链路组成一个 pod，第二层光交换最多连接 128 个机架、构成 12,288 颗加速器的超级集群，加速器可以直接向集群内任意对端发起通信，既不经过主机、也不经过独立的 scale-out 网卡；微软把时延分成三个域，并明确机架内与跨机架的带宽如何划分不在系统设计时固定，而由作业打包决定，单颗加速器最高可向任意对端开到 750GB/s。真正落到本期题目上的是这一条：prefill 与 decode 的 worker 可以独立定容、独立放置，prefill 算完之后 KV 状态直接经同一张 scale-up fabric 送往选定的 decode worker，不再离开这个域。容错也挂在这张网上——某个机架的加速器不可用时，调度器可以把集群内其他机架的热备容量顶上去，对软件内核透明。时间表上，Maia 200 已投产、正服务 Copilot 与微软 MAI 团队；Maia 300 于 2027 年开始生产部署，Maia 家族届时成为微软自家产品与服务的主要推理系统，并向多吉瓦规模扩展。

值得关注  其一，这一条把 PD 分离的边界从软件层挪到了硬件层。此前讨论 PD 分离，两端之间总要跨过一段「谁都不完全掌控」的路——要么走主机中转的对外网络，要么走一套独立的对外网卡。Maia 300 的做法是把两级网络合成一张、让加速器自己发起通信，于是 KV 状态的搬移始终留在 scale-up 域内。这解决的不只是带宽，而是「搬移发生在谁的域里」：域内的搬移可以被同一套调度与同一套容错覆盖，域外的不能。其二，「带宽划分由作业打包决定」是这条最容易被忽略、工程含义却最大的一句。传统机架在设计时就固定了机架内与跨机架的带宽配比，Maia 300 把它变成运行期参数——只有当一部分加速器跨机架时才需要让出带宽，于是跨机架那一部分可以开到 750GB/s。这意味着同一批硬件可以按当期作业的形状重新分配快慢，而不是按出厂时的假设。其三，它还暴露了一个口径问题，值得一并记下：微软给出的核心指标是「每兆瓦 token 数比领先的 GPU 系统高 40%」与「整机架 token 吞吐最高为上一代 7 倍」，但没有点名比较对象，也没有给出质量约束，业界当场的质疑正是冲着单位去的——该写 tokens/s/W 还是 tokens/kWh，在什么上下文长度上测。

冷静提示  本条全部参数与性能数字均为微软自述口径，官方披露中不含第三方基准；288GB 容量与英伟达 Rubin 相同，但单颗峰值带宽低约 20%；Maia 300 不作为可单独租用的加速器提供，外部无法独立复现。

◆◆◆

▍2. 范式智能与睿思智联开源「模域」：统一 KV 缓存池与 PD 分离成了集群层默认项

事件  10 月 16 日，范式智能技术集团（4Paradigm，港股 6682.HK）联合北京睿思智联科技宣布，一站式生产级 AI 部署平台「模域」（ModelSphere）正式上线，面向企业用户免费开源、采用 Apache 2.0 协议，代码已发布在 GitHub。它的定位很明确：在 vLLM、SGLang 这类推理引擎之上——引擎负责把单台服务器的计算效率做高，模域负责集群架构级的纳管与优化，包括负载与缓存感知的请求路由、统一的 KV 缓存池、基于服务质量的自动扩缩容、服务断流自动续写、基于线上数据的自动调优以及运行监控与服务管理。功能清单里与本期题目直接相关的有四项：自动弹性扩缩容、PD 分离部署、三级 KV 缓存、高可用负载均衡，另有图形化部署面板。异构是另一条主轴：平台融合 EngineX 推理引擎，可以统一、也可以混合调度华为昇腾、天数智芯、摩尔线程、海光 DCU 等国产算力，用户不必为不同芯片重写底层逻辑代码。模型侧已适配 DeepSeek-V4 与 V4-Flash、Qwen、Kimi、MiniMax、GLM，目标是新模型发布后尽快给出可上生产的配置。性能上，平台内置 AutoTune 智能排期策略与结合硬件加速的自适应负载均衡，官方称极限吞吐效率较基准提升约 285%、性能跃升至原来 4 倍。

值得关注  其一，KV 缓存池这一层，正在从「每家自己攒」变成「平台自带」。过去把 KV 缓存汇成池子，是少数头部云厂商与模型公司自己写的组件；这一条的意义在于它被放进了一个开源平台的功能清单，与弹性扩缩容、负载均衡并列。当一项能力从「自研亮点」变成「平台默认」，门槛就从算法掉到了运维。其二，「三级 KV 缓存」与「PD 分离部署」被写在同一条功能列表上，说明分离与分层已经是同一件事。PD 分离把 prefill 与 decode 拆成两种负载，拆开之后，两端之间的 KV 状态需要一条明确的通路，而三级分层正是给这条通路定价的方式——近的那一级给热的前缀，远的那一级给大容量。这也解释了它为什么要把请求路由做成「缓存感知」的：路由不认缓存，分层就没有意义。其三，它把异构调度做成了「不用重写底层代码」。单看某一颗国产芯片的适配并不新鲜，但把昇腾、天数智芯、摩尔线程、海光 DCU 放进一个统一调度面、再叠上一个统一的 KV 缓存池，实际回答的是「一个机房里多种芯片混着用，内存池化之后的缓存一致性怎么保证」。

冷静提示  285% 与 4 倍均为厂商自测口径，无第三方复现，且未说明是在什么模型、什么上下文长度与什么并发下测得；平台虽已开源，但性能数字与「生产级」表述仍待外部验证。

◆◆◆

▍3. 3D 堆叠存算一体公司思敏威完成亿元级天使轮，把 AF分离 写进芯片路线

事件  10 月 15 日，思敏威（上海）集成电路有限公司宣布完成亿元级天使轮融资：本轮由中兴通讯战略投资，也是本轮唯一的产业方，博华产投、松青资本、建信信托、合创资本联合投资，老股东德同资本继续加码。公司成立于 2024 年底、总部在上海浦东，创始团队来自 Intel、AMD、华为海思等企业，SoC 芯片工程与系统软件经验 20 年以上，在存算一体方向积累超过 10 年、完成 20 多次流片验证，2025 年率先流片验证了支持 FP4 浮点的存内计算核心 IP，在 ISSCC、JSSC 等顶会顶刊发表成果 11 篇；第一代 3D 堆叠量产芯片流片在即。真正的技术主张叫「青衡」3D-HPU 存算融合架构，一句话概括是把不同类型的存储放在离计算最近的地方：静态权重放在 HBF+ 存储芯片上，实时 KV Cache 放在 3D DRAM 上，HPU 负责协同调度与计算，再融合 SRAM 存内计算、自研 RISC-V 计算核心与 Chiplet 芯粒互联。落到本期四个关键词上，公司公开的算力网络方向表述是：围绕大模型推理过程中 Prefill 与 Decode、Attention 与 FFN 的不同计算与访存特征，推进 PD分离、AF分离，构建 3D-HPU 与 XPU 等其他 AI 计算单元协同的异构推理体系，面向企业私有化部署与私有数据中心，目标是降低企业部署与算力网络建设的总 TCO；下一代产品也计划围绕 PD分离 与 AF分离 继续构建这一体系。合作侧有两条：已与大模型基础设施企业无问芯穹形成实际商业合作；与领开半导体达成战略合作，围绕 3D 堆叠存算融合架构及 AF 分层推理存储方案联合开发，目标是降低大模型推理对 HBM 显存的依赖与系统部署成本。端侧另有一条线：CPU 主控与 3D-HPU 的异构推理方案面向 AI PC、AI Box、AI NAS，端侧推理性能称达 1000 token/s。政策侧，工信部与国家发改委印发的《电子信息制造业发展「十五五」规划》已提出加快存算一体、量子计算、光计算等新计算范式的布局。

值得关注  其一，「静态权重放一层、实时 KV Cache 放另一层」是把缓存分层从软件策略变成了芯片定义。此前几期讨论的分层，多是把 KV 缓存在 HBM、DRAM、SSD 之间按冷热搬移；这一条给的是另一种回答——先承认两类状态的访问模式根本不同，权重是读多写零、KV Cache 随 token 线性增长，再分别给它们各自的介质。这与把 HBF 用来补内存分层空缺是同一个判断，但落点更靠前：不是等缓存溢出再往下倒，而是在架构里先把两层摆好。其二，AF分离（AFD）第一次作为「一家芯片公司要卖的东西」出现在公开表述里。把 Attention 与 FFN 拆开，在此前的论文与超节点方案里都出现过，但多数是以调度或算法优化的形式；这里它是产品路线的一部分，并与「AF 分层推理存储方案」绑在一起——也就是说，拆开之后的两个半场要各自配存储。AF分离 的成本不在拆，而在拆完之后谁给两个半场各自的内存。其三，产业资本的选择本身是一个信号。中兴通讯既是算力基础设施的供应方、也是需求方，以战略投资身份进入一家成立不到两年的存算一体公司，锁定的是下一代高能效推理算力的可选来源；而把「降低对 HBM 的依赖」写进合作目标，指向的正是 HBM 产能被三家原厂垄断、且上下文越长越贵的那道结构性约束。

冷静提示  本条为融资与产品路线口径，第一代 3D 堆叠量产芯片表述为「流片在即」，公开报道未见任何实测的性能、功耗或容量数字；PD分离 与 AF分离 目前是产品规划与合作方向，尚无规格表与时间表。

▍4. 论文一：把 KV 缓存搬到远端之前，先要算清一个带宽阈值

事件  论文：When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill（arXiv:2610.21500，10 月 15 日提交，Muhammad Ibrahim）。它做了一件此前少有人做的事：在一个真实的生产级分离式部署里，测出远端 KV 层到底值不值。环境是 GLM-5.3（FP8 混合专家（MoE）模型，带多头潜在注意力 MLA）跑在 8 张 B300 节点上，prefill 采用上下文并行，远端层用 LMCache 加 Valkey 存储。结论出人意料：启用远端层之后，中位首字时延（TTFT）没有变化，但 16k token 请求的 p99 从 3.96 秒升到 17.3 秒。在隔离出的单引擎上回放生产请求流后原因清楚了——一次远端命中要 0.88 秒，而把这段提示重算一遍只要 0.31 秒；更严重的是同步加载把一条「命中很多」的流变成了不稳定的队列，p99 高达 83.32 秒，而 GPU 只有 7% 在忙。论文给出两项成本模型来解释这一切：命中只有在远端层的交付带宽超过 B* = sR（在该模型与该 GPU 上为 2.53GB/s）时才划算；此外还有一个固定的每次命中引擎开销 T0 约 0.33 秒，两者合起来意味着短于约 17k token 的提示，在任何带宽下命中都跑不赢重算。作者的改造有四步：把 MLA 的 KV 存储按 PCP rank 分片，并证明既有的「多 rank 取最小」查询返回的正是最长缓存前缀、加载协议不会让集合通信失步；把远端层按 rank 分区、每个 rank 一个 server 实例且彼此不协调，取数带宽提升 6.3 倍到 10.76GB/s；为分片存储加上异步加载；再修掉三个导致无限停顿的客户端 bug。结果是命中为主的流上，98.5% 的提示 token 由远端层供给，p99 从 83.32 秒降到 0.67 秒；分片存储让 prefill 吞吐提升 14%，叠加一处上游 kernel 修复后为 34%。全部改动已提交给 LMCache 上游。

值得关注  其一，它把「卸载」从一个方向问题变成了一个阈值问题。行业里关于 KV 缓存卸载的叙述大多是「能省算力、能扩容量、能解开显存压力」，这篇给出的是前提条件——交付带宽要大于一个由模型与芯片共同决定的值，而且每次命中还带着一笔固定开销。这两项一叠加，就出现了反直觉的结论：短提示下，命中比重算更贵，且加带宽也救不回来。对自建推理服务的人，这等于给了一条可以直接套用的判断规则。其二，它把「命中率高」这件事去魅了。p99 从 3.96 秒变成 17.3 秒，不是因为命中率变低，而是因为命中本身在同步等待里排了队——GPU 只有 7% 忙这个数字说明，损害不是来自算力不够，而是来自加载是同步的。也就是说，卸载方案的上限首先由「加载是异步还是同步」决定，其次才轮到带宽与命中率。其三，修法的性质比数字更值得记。四个改动里没有一个是换硬件或换介质，全是「把数据放在与并行度对齐的分区上」。尤其是「按 rank 分区、每个 rank 一个实例、彼此不协调」这一步——它用放弃协调换来了 6.3 倍的取数带宽，而所谓集合通信失步的风险，是靠证明来排除的，不是靠调参试出来的。

冷静提示  本文为单模型、单硬件配置（GLM-5.3 与 8 张 B300 与上下文并行 8 路）上的实测与建模，B* 与 T0 两个常数都依赖具体模型与 GPU，不宜直接外推到其他组合；作者的改动已提交上游，但尚未见到合入版本与第三方复现。

◆◆◆

▍5. 论文二：存储路径上的每一层都在按「逻辑对象」收费

事件  论文：Range: Decoupling KV-Cache Reuse Granularity from Storage Work（arXiv:2610.21241，10 月 15 日提交，Dingsen Shi、Jiahao Zhang、Liqiang Lv、Boming Huang、Yanbo Dai、Ying He、Donger Chen、Harry Fu 等 10 人）。背景是上下文变长把 KV 状态推过 GPU 显存与 CPU 内存、落到 NVMe SSD，前缀恢复因此被放上首字时延的关键路径。论文的第一个发现是反直觉的：在配置良好的主机发起路径上，SSD 根本不是瓶颈——恢复同样 6GiB 的 KV，分成 192 个对象要 2.1 秒，分成 6,144 个对象要 3.0 秒，开启分层加载后更差。原因不是 I/O 慢，而是存储栈的每一层——查找、分配、I/O 提交、送进 GPU、存储、索引——都按「逻辑对象」收费，而字节数完全没变；这笔开销还随 KV 足迹增长：更长的上下文、分层加载下更深的模型、张量并行，都会成倍放大对象数。既有系统做的优化是把这份「按对象的工作」从 CPU 挪到 GPU，但工作本身仍然按对象计。Range 因此立了一条原则：存储路径上的每一项成本只随字节或物理批次增长，绝不随逻辑对象增长。三项设计对应它——用 token 元数据与物理租约取代按 key 的查找与归属（Range tickets）；让介质上的布局与复用粒度解耦（byte stripes）；让 GPU 传输按完成事件批量投递与取出，每层落地即释放给注意力计算（completion-owned transfer banks）。它保留了 kernel 的 cuFile 路径，对 vLLM 只改四行代码。结果是：在固定的 6GiB 恢复上，对象数在 32 倍范围内变化、且开启分层投递时，Range 的中位首字时延稳定在 1.79 至 1.80 秒，与「这段前缀已经常驻 GPU 显存」只差 70 毫秒以内；而调优过的进程内 LMCache 从 2.12 秒升到 3.01 秒；在粗粒度上它比最快的多进程 DRAM 中转路径快 0.44 秒，且不把任何有效载荷经过主机内存。

值得关注  其一，它指出「粒度」是被低估的成本来源。同一份数据，切成 192 份与 6,144 份，字节一样、时间差 43%。这解释了为什么很多卸载方案在小规模测试里表现良好、一到长上下文与张量并行就退化——对象数是被上下文长度与并行度乘出来的，而路径上的每一层都在为每个对象付一次固定成本。其二，它的原则可以拿来审自己现有的方案。「成本只随字节或物理批次增长」是一条很硬的判据，任何一项写着按块、按页、按 key 计费的开销都值得重新量一次。而它给出的对照很干净：进程内 LMCache 的中位首字时延从 2.12 秒涨到 3.01 秒，Range 在 32 倍对象数范围内几乎不动，这正是「与粒度解耦」和「随粒度退化」的差别。其三，改动只有四行代码这一点，比它的绝对性能更值得注意。它说明这层成本不是引擎架构的宿命，而是可以被一处数据结构换掉的。对做推理平台的团队，这是本期两条论文里最容易立刻验证的一条。

冷静提示  论文的两组对照是观测式而非严格控制变量的对照，数据来自作者自建的 vLLM 与 LMCache 路径与固定 6GiB 恢复的单一场景；1.79 至 1.80 秒这个稳定性结论依赖其实现，未见第三方复现。

免责声明：本文基于公开信息整理，仅供参考，不构成投资建议。

— 观天下 · 聚焦 AI Infra 与超节点