英伟达优化 Kimi K3 推理速度，GB300 NVL72 上提升 1.68 倍

导读

英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user 的推理速度，性能提升 1.68 倍。