vLLM 详解 Elastic EP 如何实现近零停机 GPU 扩缩容

导读

vLLM 团队介绍如何通过异步准备与 NIXL EP 让 Elastic Expert Parallelism 在扩缩容时实现近零停机。在 DeepSeek V4 Pro 的 GB200 基准中，16 到 20 GPU 扩容停机从 99.62 秒降至 0.82 秒，缩回时降至 1.96 秒。