Inferact 谈 vLLM 跑智能体负载的缓存要点

导读

Inferact 的 Yifan Qiao 将在 DigitalOcean Open Intelligence Summit 的 Serve 分轨演讲，主题是在智能体生产负载上运行 vLLM。