Beren Millidge 撰文分析能力与对齐的三个阶段：预训练、RL 与持续自主学习

导读

Beren Millidge 发文提出 AI 发展经历预训练、RL 与持续自主学习三阶段，训练循环逐步内生化，对齐挑战也相应迁移到更抽象的层级。文章认为每阶段的对齐难题都是能力难题的镜像，核心瓶颈从数据集构造，到设计可靠的判断程序，最终变为设计能在模型自主变化中维持不变量的控制系统，并指出持续学习会带来漂移和类灾难性遗忘的新挑战。