语言模型对齐的理论极限：KL 预算下奖励提升的上界与 reward hacking 分析

导读

Apple 研究团队推导出 KL 正则化对齐在固定 KL 预算下可实现的最大期望奖励增益的闭式解，其由 Jeffreys 散度项而非此前分析使用的 √KL 决定。