EAGLE-4 投机解码提速实测

导读

EAGLE-4 在 27B 模型单请求下达到 863.8 tokens/s，为 DFlash 2 的 1.28 倍、DSpark 的 1.40 倍。它保留“草稿—验证”循环，改进集中在草稿侧：自适应草稿结构和更廉价的草稿 LM head，由小模型预猜多个 token、目标模型一次前向校验，输出结果不变，测试环境约快 3 倍。