NVFP4量化让视频模型提速且不掉质量

导读

(3/6) 4-bit 量化，质量不打折。 NVFP4 QAD 以 BF16 Flex 为蒸馏目标，与它的差距比普通量化缩小 14-17%。 长片段受限于注意力计算，因此 FP4 注意力将 768p 15 秒的耗时从 101.8 秒降至 85.3 秒。