正在加载陈远的个人网站

产品

RadixArk 联合 Google、Meta 开源 SGLang-TorchTPU,将 SGLang 推理栈带到 TPU

LMSYS Blog

导读

RadixArk 的 SGLang 团队与 Google、Meta 合作开源 SGLang-TorchTPU,一个原生 PyTorch 后端,把 SGLang 完整推理栈带到 Google Cloud TPU,同一引擎可在 GPU 和 TPU 上服务模型。