腾讯论文：MoE 模型按神经元剪枝保技能

导读

腾讯论文发现 MoE 模型的数学、代码等领域技能分散在跨专家的零散神经元中，因此按神经元而非整个专家剪枝可在压缩模型的同时保留大部分能力。其 RAMP 方法按神经元的路由贡献打分，剪掉最无用的 25% 神经元后，6 个模型仍保留 91% 至 98% 的性能。剪掉 50% 神经元时，GPU 显存下降 36% 至 43%，批量 prefill 吞吐提升 17% 至 39%。