HiCache 如何适配多种并行策略与分布式推理服务

导读

LMSYS 博客详解 HiCache 在上下文并行、流水线并行、投机解码与 P/D 分离场景下的缓存一致性方案，包括按页分片的 KV 归属、逐层 all-gather 读取和 rank_consensus_checker 调试工具。