Nvidia 等机构论文揭示无关文本通过 intrusion heads 削弱模型对问题的利用

导读

Nvidia 等机构论文发现，提示中的无关文本主要通过削弱模型对问题的利用来降低正确答案的支持度，而非直接压制正确答案，机制可定位到少量 attention heads，即 intrusion heads。