ARTICLE · 1235320
FFS KV Cache 卸载实现Prefill阶段TTFT 降低 97.6%,Token 吞吐性能提升35倍
FFS KV Cache 卸载实现Prefill阶段TTFT 降低 97.6%,Token 吞吐性能提升35倍PERF TEST · 性能实测2026.10 MTT S5000FFS L3 上一篇 · 瑞网广通8台FFS全闪存储助力4台算力服务器Token吞吐提升到330K TPS
32K 长输入,首 Token 要等 4 分钟?
FFS KV Cache 卸载实现Prefill阶段TTFT降低 97.6%
Token 吞吐性能提升35倍
FFS AI KV Cache存储 · 摩尔 MTT S5000 实测
瑞网广通 × 摩尔线程
在 MTT S5000 集群上实测 FFS AI KV Cache 存储:64 并发、32K 输入,KV Cache卸载前后,两相对比。
实测结果
35.03×
Token吞吐提升
97.57%
Prefill阶段 TTFT降幅
结论
64 并发 / 32K 输入下,FFS 在L3层卸载KV Cache 实现Prefill阶段首 Token 时延从降低 97.6%,Token吞吐提升 35 倍。多轮对话、Agent 长上下文复用等重复前缀场景最受益。















































































