正在加载陈远的个人网站

教程

vLLM 在 Vera Rubin NVL72 上跑 DeepSeek-V4.1-Flash:吞吐达 GB300 NVL72 的 58 倍,单用户 387 tokens/s

vLLM 官方博客(RSS)

导读

vLLM 在单台 NVIDIA Vera Rubin NVL72 机架上部署 DeepSeek-V4.1-Flash,每 GPU 吞吐 1.7M tokens/s、单用户 387 tokens/s,为 GB300 NVL72 的 58 倍,峰值吞吐 2.52M tokens/s、单用户最高 1,810 tokens/s。