教程
NVIDIA 如何通过协同设计最大化 AI 工厂中每个字节的价值
导读
NVIDIA 详解其协同设计如何最大化 AI 工厂中每个字节的价值：从 GB300 NVL72 到 Vera Rubin NVL72，HBM 容量维持 288 GB 而带宽升至 19.2 TB/s，在 SemiAnalysis AgentX 上实现最高 30 倍的每兆瓦吞吐提升。NVFP4 将模型占用较 FP16 缩减约 3.5 倍，KV cache 占用较 FP8 减少最高 50%。
教程
NVIDIA 详解其协同设计如何最大化 AI 工厂中每个字节的价值：从 GB300 NVL72 到 Vera Rubin NVL72，HBM 容量维持 288 GB 而带宽升至 19.2 TB/s，在 SemiAnalysis AgentX 上实现最高 30 倍的每兆瓦吞吐提升。NVFP4 将模型占用较 FP16 缩减约 3.5 倍，KV cache 占用较 FP8 减少最高 50%。