预训练之后为什么还要后训练：三种技术如何把基座模型变成助手

导读

作者以 InstructGPT 与 GPT-3 对同一请求的不同回答为切入，解释预训练只教模型猜下一个词，基座模型因此存在不听指令、可能造成伤害、不擅长长链条推理三个短板。