DeepSeek 开源推理框架 DeepInfer，Thomas Wolf 盘点其连续开源的基础设施项目

导读

Thomas Wolf 转评 DeepSeek 宣布将其生产推理框架 DeepInfer 开源，该框架支撑 DeepSeek-V4.1-Flash 的高吞吐低延迟推理，代码以 Apache 2.0 协议发布在 http://github.com/deepseek-ai/DeepInfer。他同时列举 DeepSeek 此前开源的 FlashMLA（H800 上 580 TFLOPS attention）、DeepEP（MoE 通信）、DeepGEMM（1350+ FP8 TFLOPS 矩阵乘）和 3FS 文件系统，称其开源势头令人敬佩。