教程
vLLM 完成 CUDA 构建向 LibTorch Stable ABI 的迁移
导读
vLLM 团队宣布其 CUDA 构建已迁移到 LibTorch Stable ABI,并从 v0.33.0 起发布 ABI Stable CUDA wheels,此后升级 PyTorch wheel 无需重建 vLLM。
教程
vLLM 团队宣布其 CUDA 构建已迁移到 LibTorch Stable ABI,并从 v0.33.0 起发布 ABI Stable CUDA wheels,此后升级 PyTorch wheel 无需重建 vLLM。