Perplexity 与英伟达提出 JOLT 自蒸馏训练法

导读

Perplexity 与 NVIDIA AI 提出后训练方法 JOLT，让同一模型同时充当教师和学生，并训练教师从自身尝试的奖励中学习、惩罚偏离学生行为的漂移。在 MATH 基准上，JOLT 用少 6.5 倍的训练 token 达到与 GRPO 相当的准确率。JOLT+ 在此基础上为学生模型增加结果奖励，在数学、编程、终端任务和工具使用基准上明显优于 GRPO。