NVIDIA 用 Reshard 集合通信加速强化学习权重重分配

导读

NVIDIA 提出 Reshard 集合通信，用于加速强化学习训练与推理分离部署时的权重重分配（refit），并已在 GitHub 的 NVIDIA/nccl-extensions 仓库开源参考实现 NCCL M2N Reshard。