Luma AI 打包多模态掩码精确序列并行

导读

面向打包多模态掩码的精确序列并行。 它按层选择 ring attention、稀疏 all-to-all 或 Ulysses，数值与单 GPU 一致，并在最多 128 块 H100 上于 48 个案例中的 47 个优于 FlashMask + Ulysses 混合方案。 https://lumalabs.ai/news/packed-multimodal-attention