马东锡解析 Instruction Tuning 的 SFT 训练目标

导读

马东锡在“后训练系列第二篇”中讲解 Instruction Tuning：SFT 沿用预训练目标，即在每个位置预测下一个 token，用 cross-entropy loss 衡量预测与正确 token 的差距，训练以提高正确 token 概率。