正在加载陈远的个人网站

论文

vLLM 流式会话越界写共享缓存漏洞

X:UCSD Hao AI Lab (@haoailab)

导读

vLLM 存在静默越界写问题:流式输入时只校验每个新 chunk 的长度、不校验整个会话总长,超长会话的 token 数据会溢出到共享前缀缓存块,后续请求复用该块时输出被改变且无报错。限制 worker 写入、丢弃超限 token 数据可修复,PR 见 vllm-project/vllm#67457。