PyTorch 为 TorchTitan 引入 Zephon 弹性确定性数据加载

导读

PyTorch 为 TorchTitan 引入 Zephon，一种弹性确定性数据加载方案，在训练任务内即时完成 tokenize、pack、shuffle 和 mix，无需预处理语料副本。