Zyphra 提出 ZHA 分层注意力：用树搜索实现亚二次复杂度稀疏注意力

导读

Zyphra 提出稀疏注意力方法 ZHA（Zyphra Hierarchical Attention），通过构建并搜索分层树为每个 query 确定相关 token 集合，在合适 top-p 阈值下实现亚二次复杂度，优于仍需二次索引器的现有稀疏注意力方法。