Google Cloud 在 TPU 上为 MaxText 推出长上下文训练支持

导读

Google Cloud 开源 JAX 训练框架 MaxText 新增长上下文训练支持，通过 All-gather、A2A、P2P 及 A2A+P2P 混合四种上下文并行策略，在 Cloud TPU 上实现超长序列训练。