EleutherAI 论文追踪预训练中的潜意识学习：教师偏好可跨模型架构迁移

导读

EleutherAI 的 SOAR 项目论文《Tracing Subliminal Learning Through Pretraining》研究潜意识学习：教师模型的动物偏好可通过蒸馏迁移给学生，且不要求共享初始化、数据顺序、预训练语料、模型规模或架构。