用 SGLang-TorchTPU 在 TPU v7 上优化 Meta Muse Spark Open

导读

Meta 的 816B 参数 MoE 模型 Muse Spark Open 在单台四芯片 TPU v7 主机上通过 SGLang-TorchTPU 部署，核心是把全部 62 层的解码或验证步骤合并为一个 Pallas megakernel，并将权重加载、KV 读取和跨设备传输全部流水化。