教程
用 vLLM 在双 NVIDIA DGX Station 上部署 GLM-5.3
导读
NVIDIA 发布教程,演示如何用 vLLM 在两台 NVIDIA DGX Station 上通过 ConnectX-8 RDMA 以张量并行(TP=2)部署 GLM-5.3 NVFP4 模型,并给出单端点 OpenAI 兼容 API 的完整配置与压测流程。
教程
NVIDIA 发布教程,演示如何用 vLLM 在两台 NVIDIA DGX Station 上通过 ConnectX-8 RDMA 以张量并行(TP=2)部署 GLM-5.3 NVFP4 模型,并给出单端点 OpenAI 兼容 API 的完整配置与压测流程。