多模型LLM调度中的卸载与抢占:基于实证的关键技术洞察

1. 核心发现综述

本文通过对《Towards Multi-Model LLM Schedulers: Empirical Insights into Offloading and Preemption》的系统性梳理，揭示了在异构硬件环境下服务多模型大型语言模型（LLMs）时，分层CPU-GPU卸载与作业级抢占两大机制所涉及的关键性能规律。研究通过细粒度实证方法，挑战了若干现有直觉假设，并为未来调度器设计提供了坚实的数据基础。核心观点如下：

第一，解码吞吐随GPU驻留层数增加呈现强非线性增长，且该退化曲线高度模型依赖。小型模型（如Llama3 8B）对部分卸载极为敏感，即使少量层被卸至CPU也会导致吞吐急剧下降；而大型模型（如Llama2 70B）则表现出更平滑、近似线性的提升趋势。这一差异意味着统一的资源分配策略无法适用于所有模型。

第二，归一化性能受硬件平台间相对计算能力显著影响。尽管RTX A6000绝对算力更强，但在部分卸载场景下其归一化吞吐反而低于RTX 5000。原因在于其与CPU之间的性能鸿沟更大，使得CPU执行带来的相对惩罚更为严重。这表明调度决策必须是硬件感知的。

第三，序列长度通过KV缓存增长放大卸载效率损失。随着输出token数增加，KV缓存线性膨胀，加剧内存带宽压力。由于解码阶段占主导，任何由CPU引入的延迟都会被反复累积，从而进一步降低整体吞吐。因此，预期输出长度是决定是否启用卸载的重要请求特征。

第四，抢占操作的总开销基本恒定，不随中断时机变化。无论任务在生成100个还是5000个token后被中断，恢复所需时间几乎相同。Figure 5显示，Qwen2.5-14B在RTX 5000上的平均开销稳定在约7.3秒。这表明抢占成本主要由固定因素决定，而非动态工作进度。

第五，抢占的主要成本并非KV缓存迁移，而是模型状态重载。Table II分解表明，模型卸载与重载合计占总开销的98.5%以上，其中重载alone即占主导；而KV迁移双向合计不足1.5%，即便在最大缓存情况下也仅为数十毫秒。这意味着KV迁移当前并非瓶颈，真正的代价在于从存储重新加载权重。

上述发现共同指向一个结论：有效的多模型LLM调度器不能仅基于负载均衡或简单比例规则运行，而必须整合模型特定的性能退化函数、硬件平台特征以及请求级动态信息，才能在复杂现实环境中实现资源利用与服务质量的最优平衡。

2. 分层卸载下的非线性性能退化机制

在异构硬件环境中服务多模型大型语言模型时，为缓解GPU内存压力而采用的分层CPU-GPU卸载策略，其性能影响并非直观的线性关系。本章基于对Llama 3 8B、Qwen3-32B和Llama2 70B三个不同规模模型的系统性实验，深入剖析了卸载比例与解码吞吐量之间的复杂关联，揭示了性能退化呈现强非线性且高度模型依赖的特性，并进一步阐明了硬件平台差异对此特性的调节作用。

2.1. 小型模型对GPU卸载的高度敏感性

实验结果表明，小型模型对GPU资源的依赖极为显著，其吞吐量随GPU驻留层数增加呈现急剧的非线性增长。Figure 1展示了Llama 3 8B模型在RTX 5000与RTX A6000两种GPU平台上的解码吞吐量（tokens per second）随GPU驻留层比例变化的曲线。当仅有少量层（例如低于80%）驻留于GPU时，吞吐量维持在极低水平；随着GPU分配比例提升至90%以上，吞吐量曲线才开始出现陡峭的回升，直至接近100% GPU驻留时达到峰值。这种“L”形曲线表明，对于Llama 3 8B这类小型模型，即使将少量计算卸载至CPU，也会导致整体性能的急剧塌陷。此现象源于小型模型整体计算密度较低，其推理过程对计算延迟更为敏感。当部分层在CPU上执行时，不仅引入了单层计算延迟，更重要的是破坏了GPU与CPU之间的流水线效率，频繁的设备间数据传输与同步开销在解码阶段的数千次迭代中被反复放大，从而导致了远高于预期的性能惩罚。

2.2. 大型模型的平滑退化特性

与小型模型形成鲜明对比的是，大型模型对部分卸载表现出更强的鲁棒性。Figure 3展示了Llama2 70B模型在相同实验条件下的性能曲线。其吞吐量随GPU驻留比例增加的趋势更为平缓，近似于线性增长。这意味着，对于Llama2 70B，逐步将更多层从CPU迁移至GPU所带来的性能提升是相对均匀和可预测的。这种差异的根本原因在于大型模型的计算密度高，单次前向传播的计算负载远大于小型模型。因此，由CPU执行引入的固定延迟开销（包括数据传输和较慢的计算）在整体计算时间中所占的相对比例较小。此外，大型模型通常具有更深的层数，使得计算在GPU与CPU之间的切换频率相对降低，从而部分缓解了流水线中断带来的效率损失。Figure 2中Qwen3-32B模型的曲线则呈现出介于Llama 3 8B与Llama2 70B之间的过渡形态，进一步证实了模型规模是影响卸载敏感度的关键因素，但并非唯一因素，模型架构的差异亦会产生影响。这种模型间的异质性明确指示，未来的调度策略必须根据模型的具体规模和架构进行差异化设计，避免采用基于简单比例或统一阈值的“一刀切”式资源划分方案。

2.3. 归一化吞吐揭示模型间敏感度差异

为消除不同模型和硬件平台间绝对性能的差异，实现跨模型的直接比较，Figure 4将各模型在不同GPU分配比例下的吞吐量归一化至其100% GPU驻留时的基准性能。该图表以归一化吞吐为纵轴，GPU驻留比例为横轴，直观地量化了不同模型对卸载的敏感度。图表清晰显示，在相同的部分卸载配置下，小型模型的性能损失远大于大型模型。例如，当仅80%的模型层驻留于GPU时，Llama 3 8B的归一化吞吐不足其全GPU基准的60%，表明性能损失超过40%。相比之下，在相同的80% GPU分配下，Llama2 70B的归一化吞吐仍能维持在85%以上，性能损失相对有限。这种显著的敏感度差异突显了构建模型特定性能模型的重要性。一个有效的多模型调度器不能仅依据通用的资源余量进行决策，而必须整合每个模型独有的“性能退化函数”，该函数描述了在特定硬件上，吞吐量如何作为GPU驻留层数的函数发生变化。只有基于此类精细化的模型，调度器才能在进行层放置决策时，准确权衡内存节省与性能损失，从而在整体系统吞吐量与服务质量之间达成最优平衡。

2.4. 硬件平台对卸载惩罚程度的影响

实验涉及的两种GPU平台——NVIDIA RTX 5000 Ada Generation与NVIDIA RTX A6000——在绝对计算能力上存在差异，然而在部分卸载场景下，其相对性能表现却与直觉相悖。尽管RTX A6000拥有更高的峰值算力和更大的VRAM（48GB对比RTX 5000的32GB），但其归一化吞吐曲线在Figure 4中普遍低于RTX 5000对应的曲线。这一反直觉现象的核心原因在于硬件平台间的相对性能差距。RTX A6000与实验所用CPU（AMD Threadripper PRO 5995WX）之间的计算能力鸿沟远大于RTX 5000与同一CPU之间的鸿沟。当执行从高性能的A6000 GPU卸载至CPU时，所引入的相对性能惩罚更为严重。换言之，CPU的“慢速”在执行中占比更高，从而放大了卸载带来的效率损失。相反，RTX 5000本身的绝对性能较低，其与CPU的性能比更为接近，因此将部分计算转移至CPU所带来的相对代价较小，使得在相同卸载比例下能维持更高的归一化性能。这一发现具有重要的调度意义：调度决策不能仅基于GPU的绝对性能指标（如TFLOPS或内存带宽），而必须是硬件感知的，必须综合考虑GPU与CPU之间的相对计算能力比。在由异构GPU甚至不同代际CPU组成的实际生产环境中，调度器需要为每种硬件组合预计算或在线学习其特有的卸载惩罚系数，以确保资源分配决策在不同设备间都能产生预期效果。

3. 序列长度与KV缓存对卸载效率的放大效应

3.1. KV缓存的线性增长特性及其资源占用

在大型语言模型（LLM）的推理过程中，内存消耗由静态和动态两部分组成。静态部分对应于模型参数，在推理期间保持不变，必须在所有解码步骤中驻留在内存中。动态部分则源于中间激活，特别是注意力机制中使用的键值（KV）缓存。KV缓存存储先前已处理令牌的表示，以避免在后续步骤中进行冗余计算，从而导致内存占用与序列长度成正比增长。这种动态内存占用显著影响资源分配和调度，尤其是在服务多个并发推理请求或在GPU内存受限条件下运行时，从而推动了混合CPU-GPU执行策略。

实验观察证实了这一线性关系。在卸载实验中，研究交叉测试了六种输出长度（50、150、300、500、1000和5000个令牌），以评估序列长度对性能的影响。在所有模型尺寸中，吞吐量均与提示长度呈现一致的负相关关系，较长的提示产生成比例较低的吞吐量。这种行为源于KV缓存的增长，其内存占用随总序列长度线性扩展。随着提示长度的增加，内存带宽压力和缓存访问成本均会上升，从而限制了有效的令牌生成吞吐量。因此，长序列推理更容易触发内存压力，迫使更多层被卸载至CPU，进而引发连锁性能退化。

3.2. 解码阶段主导下的延迟累积机制

LLM推理遵循自回归生成过程，其中令牌是顺序产生的。在每个解码步骤中，模型消耗先前生成的令牌并计算下一个令牌的概率分布。这引入了跨步骤的固有时间依赖性，阻止了在生成期间跨令牌的并行化。因此，端到端延迟不仅由每层执行时间决定，还受到顺序令牌生成的累积效应影响，使得调度决策对计算放置和令牌级迭代动态均敏感。

在长输出任务中，解码阶段占据绝大部分时间。任何因CPU执行引入的单步延迟将在数千次迭代中被重复放大，显著拉低端到端吞吐。这种延迟累积机制意味着，即使CPU执行单层带来的微小延迟，也会在生成数千个令牌的过程中被反复累加，从而对整体性能产生不成比例的负面影响。因此，优化重点应放在保障解码阶段的高效率执行路径上。

3.3. 输出长度作为调度决策的关键输入

实验设计明确将输出长度作为独立变量进行系统测试。卸载实验交叉了3个模型、13-15种独特的GPU放置方案、6种输出长度（50、150、300、500、1000和5000个令牌）以及3次重复，总计在每个服务器上进行774次推理调用。这种设计允许直接观察输出长度对卸载效率的影响。

结果一致显示：越长的序列，卸载带来的性能损失越显著。这表明调度器应将预期输出长度纳入放置决策模型。对于预期输出较短的请求，即使采用部分卸载策略，其累积延迟也可能在可接受范围内，从而允许通过卸载释放GPU内存以服务更多并发请求。相反，对于长序列生成任务，CPU引入的延迟将被严重放大，因此调度器应优先保障此类请求的GPU执行资源，或至少为其分配更高比例的GPU层，以最小化端到端延迟。

3.4. 预填与解码阶段的成本不对称性

LLM推理过程包含预填（prefill）和解码（decode）两个阶段，其成本结构存在根本性不对称。预填阶段处理整个输入提示，其计算可以并行化，成本可通过批处理进行摊销。而解码阶段是严格的串行过程，无法并行化，每个新令牌的生成都依赖于前一个令牌的计算结果。

这种不对称性进一步强化了序列长度对卸载效率的放大效应。由于解码阶段在长输出任务中占据主导地位，任何在该阶段因CPU执行而引入的效率损失都将直接且线性地影响整体完成时间。因此，在制定涉及CPU-GPU卸载的调度决策时，必须特别关注请求的解码阶段特性。优化重点应放在保障解码阶段的高效率执行路径上，这意味着对于解码密集型的长序列请求，调度策略应倾向于将其更多或全部层保留在GPU上，即使这可能导致短期内GPU内存利用率下降或需要抢占其他短任务。

综上所述，序列长度通过KV缓存的线性增长和解码阶段的延迟累积，显著放大了CPU-GPU卸载带来的效率损失。这一发现强调了未来多模型LLM调度器必须是工作负载感知的，需要将预期输出长度作为关键输入，以在内存约束、吞吐量目标和请求延迟之间做出最优权衡。

4. 抢占开销的稳定性与主导因素识别

4.1. 抢占总开销的恒定性验证

抢占操作的总开销表现出显著的恒定性，其数值基本不随任务中断时的生成进度而变化。这一核心发现通过Figure 5得到了直观验证，该图展示了四种不同模型组合在两种GPU硬件平台（NVIDIA RTX 5000 Ada Generation与NVIDIA RTX A6000）上，于九个不同检查点（N ∈ {100, 200, 300, 500, 1000, 2000, 3000, 4000, 5000} tokens）中断并恢复后所引入的总暂停时间。所有曲线均呈现近乎水平的形态，表明无论任务在生成100个token还是5000个token后被中断，恢复所需的总时间几乎相同。具体而言，在RTX 5000平台上，Qwen2.5-3B模型每次抢占的平均开销约为3秒，Qwen3-8B模型约为5.1秒，Qwen2.5-14B模型约为7.3秒。在RTX A6000平台上，由于磁盘到GPU的传输速度更快，相应的开销有所降低，分别为约2.6秒、4.1秒和5.7秒。实验结果的稳健性通过每个检查点多次重复实验的标准差（以图中阴影带表示）得到确认，对于较小的模型，该标准差范围较窄，对于最大的Qwen2.5-14B模型则略宽，但整体上均支持开销恒定的结论。这一现象的根本原因在于，构成抢占总开销的主要组成部分是模型权重的卸载与重载，而这些操作的成本仅与被中断模型自身的参数规模相关，与任务执行过程中动态增长的中间状态（如已生成的token数量）无关。

4.2. 模型重载作为主要成本来源

对抢占-恢复周期各阶段耗时的精细分解揭示了模型状态重载是绝对主导的成本来源，而非通常假设的键值（KV）缓存迁移。Table II提供了在两种GPU平台上，针对三个不同规模模型（Qwen2.5-3B, Qwen3-8B, Qwen2.5-14B）的抢占开销平均分解数据。数据显示，模型重载（Reload Model A）步骤耗时占据了总开销的绝大部分。例如，在RTX 5000上，Qwen2.5-3B、Qwen3-8B和Qwen2.5-14B的重载时间分别为2.71秒、4.70秒和6.70秒。在RTX A6000上，由于更快的磁盘到GPU传输，相应时间略低，分别为2.33秒、3.62秒和5.12秒。将模型卸载（Unload Model A）时间与重载时间合并计算，模型交换（model swap）操作占总开销的比例在RTX 5000上超过99%，在RTX A6000上也高于98.5%。相比之下，双向的KV缓存传输（KV GPU→CPU 与 KV CPU→GPU）合计耗时仅占总开销的极小部分，在RTX 5000上不足1%，在RTX A6000上不超过1.5%。即使对于缓存增长至近1GB的Qwen2.5-14B模型在生成5000个token后的场景，其KV传输时间也仅为数十毫秒量级，与数秒级的模型重载时间相比可忽略不计。这一分解结果清晰地解释了Figure 5中开销曲线保持水平的原因：决定总开销的模型重载成本是一个仅取决于模型权重文件大小的固定值，与任务执行进度完全无关。

4.3. 卸载时间的模型尺寸依赖性

尽管模型卸载步骤在总抢占开销中占比远低于重载步骤，但其耗时同样表现出对模型尺寸的依赖性，并且该过程涉及一系列顺序执行的CPU侧操作，并非瞬时完成。卸载过程主要包含三个连续阶段：首先，Python的循环垃圾收集器必须遍历整个模型模块树，以检测并解除构成模型的数千个参数张量和子模块之间的引用循环；其次，PyTorch缓存分配器必须通过单独的解分配调用，将所有已释放的内存块返还给CUDA驱动程序；最后，必须完成一次设备同步，以确保释放的内存可供下一个模型使用。由于需要遍历的对象数量和需要释放的缓存块数量均随模型规模增长，卸载时间也相应增加。根据Table II的数据，在两种GPU平台上，Qwen2.5-3B模型的卸载时间约为0.26-0.28秒，Qwen3-8B模型约为0.39-0.41秒，而最大的Qwen2.5-14B模型则增至0.53-0.54秒。卸载时间在不同GPU平台间差异极小，这印证了其本质上是受CPU性能限制的操作，与GPU的绝对计算能力关系不大。尽管卸载时间随模型增大而增长，但其增长幅度远小于重载时间，因此在总开销构成中，重载始终是主导因素。

4.4. 抢占模型大小不影响被抢占方开销

实验通过比较不同模型配对组合下的抢占开销，进一步验证了抢占成本主要取决于被中断模型自身，而与执行抢占任务的模型身份或大小基本无关。在Figure 5中，两条涉及Qwen3-8B作为被抢占模型（Job A）的曲线——一条是被同模型Qwen3-8B抢占（实线），另一条是被更大的Qwen2.5-14B模型抢占（虚线）——在两种GPU平台上几乎完全重合，无法区分。这一观察表明，抢占方模型（Job B）的内存占用大小对由被抢占方（Job A）所承受的恢复延迟没有可测量的影响。决定抢占开销的关键变量是被抢占模型自身的权重占用空间（footprint），而非暂时取代它的作业特性。这一发现对于调度器设计具有重要含义：在评估是否对某个运行中的作业进行抢占时，可以将其恢复成本建模为一个仅与该作业所属模型相关的已知常量，而无需考虑即将调度上来的高优先级作业是何种模型。这简化了调度决策中的成本预估模型。

Table II: PREEMPTION OVERHEAD BREAKDOWN, AVERAGED ACROSS ALL CHECKPOINTS AND REPEATS.

	Qwen2.5-3B (5.9GB)		Qwen3-8B (15.6GB)		Qwen2.5-14B (28.3GB)
	RTX 5000	A6000	RTX 5000	A6000	RTX 5000	A6000
KV GPU→CPU (s)	0.0096	0.0125	0.0325	0.0387	0.0414	0.0439
Unload Model A (s)	0.26	0.28	0.41	0.39	0.54	0.53
Reload Model A (s)	2.71	2.33	4.70	3.62	6.70	5.12
KV CPU→GPU (s)	0.0076	0.0075	0.0211	0.0205	0.0276	0.0275
Total overhead (s)	2.98	2.62	5.16	4.06	7.31	5.73
Model swap (%)	99.4	99.2	99.0	98.5	99.1	98.8
KV transfer (%)	0.6	0.8	1.0	1.5	0.9	1.2
Overhead vs. baseline (%)	2.04	1.72	2.11	1.86	1.75	1.61

5. KV缓存迁移的实际开销评估与未来瓶颈预测

5.1. KV传输时间随缓存增长的缓慢上升

实验数据明确表明，关键值（KV）缓存在抢占过程中的双向传输时间，即使在其达到最大规模时，也仅占总开销的极小部分。Table III详细记录了Qwen2.5-3B、Qwen3-8B和Qwen2.5-14B三个模型在不同生成token数量检查点下的KV缓存大小及其在RTX 5000与RTX A6000平台上的传输耗时。KV缓存的大小与已生成的token数量呈线性增长关系，其增长速率由模型架构决定：Qwen2.5-3B约为0.035 MB/token，Qwen3-8B约为0.14 MB/token，Qwen2.5-14B约为0.19 MB/token。在最大检查点（5000 tokens）时，三个模型的KV缓存分别达到178.3 MB、713.1 MB和950.8 MB。

尽管缓存规模显著增长，但相应的传输时间增长却相对缓慢。以Qwen2.5-14B在RTX 5000上的数据为例，当KV缓存从100 tokens时的32.1 MB增长至5000 tokens时的950.8 MB时，GPU到CPU方向的传输时间仅从8.7毫秒增加至86.7毫秒，CPU到GPU方向的传输时间则从12.0毫秒增加至62.5毫秒。即使在最极端的情况下，即Qwen2.5-14B在RTX A6000上传输951 MB的缓存，GPU到CPU的耗时也仅为104.9毫秒，CPU到GPU的耗时仅为59.8毫秒。这些数值与Table II中揭示的数秒级别的模型重载（Reload）时间（例如Qwen2.5-14B在RTX 5000上为6.70秒）相比，其贡献微乎其微，合计不足总抢占开销的1.5%。这一发现直接挑战了将KV缓存迁移视为抢占主要瓶颈的直觉，并确立了模型权重重新加载才是主导性成本来源的结论。

5.2. PCIe带宽利用率分析

对传输过程中有效PCIe带宽的测量进一步解释了KV迁移开销较低的原因，并揭示了潜在的优化空间。实验测量了GPU与主机内存之间双向传输KV缓存数据时的有效带宽。数据显示，有效带宽随着传输数据量的增大而提高，这是因为固定的每次传输开销被更大的数据量所分摊。在5000 tokens的检查点，对于最大的KV缓存（约951 MB），RTX 5000平台在GPU到CPU路径上达到了10-12 GB/s的有效带宽，在CPU到GPU路径上达到了13-16 GB/s的有效带宽。RTX A6000平台在CPU到GPU路径上实现了类似的速率，但在GPU到CPU路径上的吞吐量略低，为9-10 GB/s。

然而，这些实测带宽值显著低于PCIe Gen4 x16链路的理论峰值31.5 GB/s。论文指出，造成这种差距的主要原因在于当前实现中通过PyTorch运行时进行的逐层张量拷贝所产生的开销。这种细粒度的拷贝操作引入了额外的软件层开销，限制了硬件互连带宽的充分利用。这一分析表明，通过优化数据传输机制，例如采用批量传输（bulk-transfer）策略来减少每次传输的固定开销，有可能进一步压缩KV缓存的迁移时间。尽管在当前成本结构中，KV迁移并非瓶颈，但提升带宽利用率对于未来可能出现的、对数据移动更敏感的场景具有积极意义。

5.3. KV迁移成为瓶颈的前提条件

基于上述开销分解和带宽分析，论文明确指出了KV缓存迁移在何种条件下可能演变为新的性能瓶颈。当前实验环境的核心特征是模型重载时间（以秒计）远高于KV缓存传输时间（以毫秒计）。因此，在现有的硬件和软件栈下，优化抢占开销的重点应放在加速模型权重的加载过程，而非进一步优化已经很快的KV迁移。

论文推断，只有当模型加载速度得到数量级提升时，KV传输的相对成本才会变得显著，从而可能成为新的瓶颈。这种提升可能通过新兴技术实现，例如利用计算快速链接（CXL）内存来提供更接近GPU的、大容量的持久内存池，或者采用基于NVMe over Fabrics（NVMe-oF）的远程直接内存访问，从而大幅缩短从存储介质加载模型权重的时间。在这种情况下，原本被模型重载所掩盖的、数十到上百毫秒的KV迁移延迟将变得相对突出，需要在调度决策中予以更仔细的考量。这一前瞻性分析为未来硬件演进下的调度器设计提供了重要参考。

5.4. 数据移动成本的长期监控必要性

尽管在当前实验设定中KV迁移开销占比极低，但论文强调，由于其是抢占开销中唯一随任务进度（序列长度）线性增长的组件，因此在极端或未来的工作负载场景下，必须将其纳入调度考量。Table III清晰地展示了KV缓存大小与生成token数之间的线性关系。虽然实验覆盖了最长5000 tokens的序列，但实际生产环境中可能涉及远超此长度的上下文，例如超过10万tokens（>100K tokens）的对话或文档分析任务。

在此类极端长上下文场景下，KV缓存可能膨胀至数十GB甚至更大规模。即使保持当前的传输效率，其迁移时间也将成比例增长。如果未来模型加载技术取得突破，使得重载时间大幅缩短，那么这种随序列长度增长的KV迁移成本将不可避免地成为总开销中更显著的一部分。因此，一个具有鲁棒性的多模型调度器不应静态地认为KV迁移成本可忽略不计，而应建立动态监控机制，持续评估数据移动成本在总开销中的占比，特别是在处理长上下文请求或部署于新型高速存储硬件时。这种长期视角确保了调度策略能够适应技术演进和工作负载变化。

6. 设计启示与未来方向：迈向智能多模型调度器

本文系统总结了《Towards Multi-Model LLM Schedulers》的核心实证发现，揭示了在多模型共存环境下，传统调度假设面临的根本性挑战。研究证实，卸载导致的性能退化是非线性且模型特异的，小模型尤为脆弱；同时，抢占的主要成本来源于模型权重重载而非KV缓存迁移，且该成本基本恒定，不受任务进度影响。这些结论颠覆了“KV迁移是主要瓶颈”或“卸载影响线性可估”的常见认知。

由此衍生的设计原则清晰而深刻：未来的LLM调度器必须超越简单的负载均衡框架，转而构建融合模型感知（model-aware）、工作负载感知（workload-aware）与硬件感知（hardware-aware）的三位一体决策体系。具体而言，应将每个模型在特定平台上的“swap penalty”建模为固定常量，并结合其独特的卸载敏感度函数进行资源编排。

展望未来，研究建议将实验扩展至连续批处理与多轮抢占场景，以评估聚合开销的真实影响。同时，随着CXL等高速互连技术普及，KV迁移的地位或将重塑，亟需建立前瞻性监控机制。唯有持续基于实证洞察迭代调度逻辑，方能在动态、异构的现实部署中实现效率与服务品质的真正平衡。