Groq 下一代推理芯片拟堆叠 DRAM 突破 SRAM 容量瓶颈

导读

据行业消息，Groq 计划在下一代推理芯片中堆叠 DRAM，以绕开片上 SRAM 容量过小的限制。当前 Groq 3 LPU 的 500MB SRAM 带宽达 150TB/s、约为 Rubin GPU HBM 带宽的 7 倍，但整机架 256 芯片仅 128GB，8-bit 万亿参数模型光权重就需约 2000 颗芯片。