返回每日动态论文Zyphra 研究：MoE 预训练中的专家耦合（Expert Coupling）Zyphra Research（网页）10月8日 08:00导读Zyphra Research 提出利用 MoE 路由的层内与跨层相关性来优化专家放置，从而降低 all-to-all 通信开销。实验显示，在 8 台 MI300x 节点集群上，EP8 升至 EP32 时 all-to-all 占训练步时间比例从 13% 升至 45%（top-2 路由），top-6 路由下则从 24% 升至 60%。