SGLang 推出低延迟模式，通过插件框架引入专用内核

导读

SGLang 团队联合 NVIDIA 和 AMD 推出 SGLang Low-Latency Mode，通过插件框架把专用内核接入 SGLang，在 AgentX trace replay 中将 P90 每用户 token 生成速度在 NVIDIA GB300 上提升最高 1.38×、在 AMD MI355X 上提升最高 1.56×。