Cohere 论文：投机解码在细粒度 MoE 上有效

导读

Cohere 新论文发现投机解码在细粒度 MoE 模型上即使 batch size 为 1 也效果显著，推翻了此前认为低 batch 下收益有限的预测。