夜雨聆风学习资料网

ARTICLE · 1235320

FFS KV Cache 卸载实现Prefill阶段TTFT 降低 97.6%,Token 吞吐性能提升35倍

FFS KV Cache 卸载实现Prefill阶段TTFT 降低 97.6%,Token 吞吐性能提升35倍
PERF TEST · 性能实测2026.10

32K 长输入,首 Token 要等 4 分钟?

FFS KV Cache 卸载实现Prefill阶段TTFT降低 97.6%

Token 吞吐性能提升35倍

FFS AI KV Cache存储 · 摩尔 MTT S5000 实测

瑞网广通 × 摩尔线程

MTT S5000FFS L3

在 MTT S5000 集群上实测 FFS AI KV Cache 存储:64 并发、32K 输入,KV Cache卸载前后,两相对比。

实测结果

35.03×

Token吞吐提升

97.57%

Prefill阶段 TTFT降幅

结论

64 并发 / 32K 输入下,FFS 在L3层卸载KV Cache 实现Prefill阶段首 Token 时延从降低 97.6%,Token吞吐提升 35 倍。多轮对话、Agent 长上下文复用等重复前缀场景最受益。

上一篇 · 瑞网广通8台FFS全闪存储助力4台算力服务器Token吞吐提升到330K TPS

相关学习资料