小红书 DoSA 将长上下文首 token 延迟无损减少近一半

导读

小红书自研的稀疏注意力索引器加速方法 DoSA，在保持原始 Top-K 选择结果的前提下，用分数上下界提前排除不可能入选的候选。