TokenGate 用可学习剪枝把长上下文 Prefill 提速约 11 倍

导读

斯坦福与伯克利研究者提出可插拔小模块 TokenGate，插在现有 LLM 浅层学习"跳读"长上下文，只把 top-K token 传给上层。论文报告无精度损失时首 token 时间快 1.4–11.3 倍、峰值显存降 1.5–3.4 倍，相对最强免训练剪枝最高约 6.4 倍更快、2 倍更省显存。训练成本接近 LoRA，无需从零预训练。