正在加载陈远的个人网站

产品

SGLang 驱动 NVIDIA NIM 认证微服务,推进企业级推理

LMSYS Blog

导读

SGLang 现已成为 NVIDIA NIM 认证微服务的推理引擎,NVIDIA 通过验证容器、针对受支持模型和 GPU 的优化配置以及 NVIDIA AI Enterprise 企业支持,让企业更易采用 SGLang 的 serving 创新。