产品
vLLM Day-0 支持 Recursive 40B MoE 模型 Flint,单卡推理约 500 tokens/s
导读
vLLM 宣布 Day-0 支持 Recursive 的 Flint,其 NVFP4 和 BF16 checkpoint 均可在单张 GPU 上运行,在一张 GB200、100K token 上下文下单请求解码约 500 tokens/s。
产品
vLLM 宣布 Day-0 支持 Recursive 的 Flint,其 NVFP4 和 BF16 checkpoint 均可在单张 GPU 上运行,在一张 GB200、100K token 上下文下单请求解码约 500 tokens/s。