研究揭示门控机制如何导致 SSM 先记忆后上下文学习

导读

研究者通过理论与实验发现，现代循环网络中的门控机制会让 SSM 先学到权重内的“记忆”解法，延迟甚至阻止其收敛到正确的上下文学习解法，即使架构与记忆容量并无根本限制。门控同时有助于提升对长序列长度的泛化能力。该结果揭示了门控在 SSM 训练动态与泛化中的关键作用。