正在加载陈远的个人网站

产品 · 精选

SGLang 原生支持 Reflection 的 Beam 并驱动其生产 API

LMSYS Blog

导读

SGLang 团队宣布原生支持 Reflection 的 Beam 1.0(501B 参数 MoE、每 token 激活 23B),并以其驱动 Reflection 的生产 API。

推荐理由

原文给出 SGLang 对 Beam 的原生支持细节与实测吞吐数据,读者可据此评估该推理栈在智能体负载下的服务性能。