正在加载陈远的个人网站

教程

vLLM 混合模型前缀缓存全零块 bug 修复

X:UCSD Hao AI Lab (@haoailab)

导读

vLLM 在混合模型开启细粒度前缀匹配时,会在缓存块尚未写入就标记为可复用,导致同一步内第二个请求过早复制到全零块并从零继续,错误块还会留在缓存中被后续请求复用,而响应看起来一切正常。在 GB200 上修复前 32 次试验中复制源全为零,修复后为 0 次。小修复将复制源未写入的请求推迟到下一个调度步,PR 见 vllm-project/vllm#67451。