NVIDIA 论文：智能体频繁压缩历史可在短上下文下几乎不损精度

导读

NVIDIA 论文发现，AI 智能体通过频繁压缩历史保持短上下文时精度几乎不降。服务 256K 上下文窗口比 16K 的每 token 生成成本高 3.6 倍到 7 倍。