Buoyant 开源 Kinference：面向 vLLM 与 Kubernetes 的推理控制平面

导读

Buoyant 开源 Kinference，一个为 vLLM 与 Kubernetes 构建可扩展推理平台的控制平面，支持 token 限流、租户用量与成本追踪、智能负载均衡和推理策略。