拆解 TensorRT-LLM 源码：C++ 物理内存池与

跑 2048×2048、60 帧视频，DiT 的时空 Token 会从 24.5 万飙到 98.3 万。单卡 24GB，没优化的话，第一步去噪就爆显存。

很多人以为开了 FlashAttention-2 就稳了。但在百万级序列面前，QKV 激活值、LayerNorm 特征，加上 T5、CLIP、VAE 常驻显存，24GB 根本不够用。再切线上多风格 LoRA，静态合并还会卡请求、造碎片。

物理内存池管分配：它不走传统动态申请，而是虚拟页映射到连续物理内存。运行时几乎零碎片，释放后微秒级复用，长文本不再被碎片顶出去。

CuTe 管计算：密集注意力会暴涨显存。CuTe 按细粒度二维布局只加载非零块，配合原地计算，显存能砍掉七成以上。

代码里还接了 CUDA 异步流做换入，以及微秒级打桩的动态 LoRA 融合。说白了，FlashAttention 只是润滑剂，真要扛百万 Token，得从内存布局一路改到算子调度。