返回每日动态教程NVIDIA Dynamo 通过会话级 ID 优化智能体推理:路由、准入控制与 KV 缓存管理PyTorch:Blog(RSS)10月9日 02:13导读NVIDIA Dynamo 引入统一的会话级标识符 session_id,把请求级推理服务升级为程序感知系统,覆盖会话感知路由、共享 KV 索引与程序化缓存迁移,兼容 vLLM 和 SGLang。