vLLM 发布 TorchTPU 后端，让 vLLM 在 Google Cloud TPU 上运行

导读

vLLM 团队与 Inferact、Google 合作发布 vLLM TorchTPU（vllm-torchtpu），一个在 Google Cloud TPU 上运行 vLLM 的新后端插件，复用 vLLM 既有模型代码，无需改动模型定义即可部署大多数现有模型。