正在加载陈远的个人网站

产品

SGLang 统一内存:所有 token 生命周期共用一个 arena

LMSYS Blog

导读

SGLang 推出 --enable-unified-memory,让全注意力 KV、滑动窗口 KV 与循环状态共用一个 GPU 内存 arena,容量随需求动态分配,无需在启动时设定切分比例。