Google Cloud 发布 llm-d 1.0，为 TPU 与 GPU 集群带来缓存感知路由

导读

Google 在 PyTorch Conference North America 发布 llm-d 1.0，这是该开源分布式推理栈的首个稳定版本，将 vLLM 或 SGLang 模型服务器整合为 Kubernetes 原生的统一资源池。