自定义推理引擎正成为新的本地 AI 增强工具

Qwen3.8-27B 在 DGX-Sparks 上达到 80 tps。

有人使用自定义推理引擎，将 Qwen3.8-27B 在 4× DGX Sparks 上推至超过 80 tok/s 的持续性能。

veloGB10，这是一个专为 GB10 优化的 Rust/CUDA 引擎。

配置如下：
🧠 Qwen3.8-27B
📦 NVFP4
⚡ >80 tok/s 持续
🚀 ~92 tok/s 峰值
🖥️ 4× DGX Spark / GB10
🔀 TP=4
⚡ MTP + DFlash2
📚 完整 256K 上下文
🌐 ~7–8µs 网络集成延迟

只需一个专用的 Rust/CUDA 推理引擎，旨在从硬件中榨取尽可能多的性能。