教程
vLLM 在 Vera Rubin NVL72 上跑 DeepSeek-V4.1-Flash:吞吐达 GB300 NVL72 的 58 倍,单用户 387 tokens/s
导读
vLLM 在单台 NVIDIA Vera Rubin NVL72 机架上部署 DeepSeek-V4.1-Flash,每 GPU 吞吐 1.7M tokens/s、单用户 387 tokens/s,为 GB300 NVL72 的 58 倍,峰值吞吐 2.52M tokens/s、单用户最高 1,810 tokens/s。