教程
推理卡时是训练的12倍,decode 阶段一块卡只跑出5%算力:YC Paper Club 聊 DeepSeek 推理成本
导读
Saito 归纳 YC Paper Club 播客中四位推理从业者的讨论:DeepSeek 训练 V3 用了280万个 H800 卡时,推理每天烧4.3万个卡时,按两年模型寿命摊是训练的12倍,decode 阶段 MFU 仅5%,瓶颈在显存带宽而非算力。
教程
Saito 归纳 YC Paper Club 播客中四位推理从业者的讨论:DeepSeek 训练 V3 用了280万个 H800 卡时,推理每天烧4.3万个卡时,按两年模型寿命摊是训练的12倍,decode 阶段 MFU 仅5%,瓶颈在显存带宽而非算力。