正在加载陈远的个人网站

教程

SGLang 弹性专家并行扩展:用 NIXL 在线扩容 MoE 部署

LMSYS Blog

导读

SGLang 的 Elastic EP Scaling 让 MoE 模型可在运行中按细粒度增量加入 GPU,无需部署完整副本或重启服务,max_ep_size 预留元数据与通信缓冲容量。