正在加载陈远的个人网站

产品 · 精选

vLLM 实现 Reflection Beam 501B MoE 模型 Day 0 支持

vLLM 官方博客(RSS)

导读

vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型,这是一个 501B 参数、每 token 激活 23B 的 MoE 模型,在 NVIDIA Blackwell 上完成优化。

推荐理由

原文给出了 Beam 在 vLLM 上的具体优化数据和部署命令,读者可以直接评估落地配置与吞吐收益。