从记忆视角推导 Transformer：线性层、MLP 到 self-attention 的容量分析

导读

作者以联想记忆视角讲解如何从线性层逐步推导出 MLP 和 self-attention，用干扰信号比衡量各层作为键值记忆存储的容量。在 64 维键下，外积存储容量约 64 条记忆，最优线性存储和 ReLU MLP 约 128，平方 ReLU 约 2,700，β=√d_k 的 self-attention 约 120 万条；文章还讨论了用 log M 缩放注意力 logits 支撑长上下文的做法。