vLLM 讲解 EPD 编码分离架构如何扩展多模态推理服务

导读

vLLM 发文讲解 Encoder/Prefill/Decode（EPD）分离架构的工程实现，支持编码、预填充、解码三个阶段独立部署扩缩容。核心变化包括 metadata-only 请求避免下游重复媒体预处理、编码器专用执行路径、NIXL 与 Mooncake 远程嵌入传输、跨编码器输出复用等。