正在加载陈远的个人网站

产品

vLLM Day-0 支持 Recursive 40B MoE 模型 Flint,单卡推理约 500 tokens/s

vLLM 官方博客(RSS)

导读

vLLM 宣布 Day-0 支持 Recursive 的 Flint,其 NVFP4 和 BF16 checkpoint 均可在单张 GPU 上运行,在一张 GB200、100K token 上下文下单请求解码约 500 tokens/s。