产品
Prime Intellect 推出 Prime Mega MoE:面向训练的高速融合 MoE kernel
导读
Prime Intellect 在 DeepSeek 开源 Mega MoE kernel 基础上补上快速重叠的反向传播,使其可用于训练,MoE kernel 相比默认 PyTorch 实现最高快 3.11×,端到端训练相比 Prime-RL 基线最高快 1.34×(吞吐提升 34%)。
产品
Prime Intellect 在 DeepSeek 开源 Mega MoE kernel 基础上补上快速重叠的反向传播,使其可用于训练,MoE kernel 相比默认 PyTorch 实现最高快 3.11×,端到端训练相比 Prime-RL 基线最高快 1.34×(吞吐提升 34%)。