SGLang-TorchTPU 发布，Ling 3.1 Flash 等开源模型入选首批支持阵容

导读

SGLang 与 Google TPU 团队、Meta PyTorch 团队合作发布 SGLang-TorchTPU，这是 SGLang 的 TPU 插件，已在 Meta 生产推理中使用，代码开源于 github.com/sgl-project/sglang-torchtpu。它支持 Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash、MiniMax H3 等开源模型及大规模智能体工作负载，自定义 MegaKernel 让 Muse Spark Open 在 InferenceX 8K/1K、bs=1 下达到 770 tok/s 解码。蚂蚁百灵转发表示，Ling 3.1 Flash 和 Ling 3.0 家族入选发布阵容，PyTorch 原生 TPU 服务扩展了 MoE 推理的硬件选择。