Google 开源 TPU Sync：面向 TPU 的 KV cache 传输 C++ 库

导读

Google Cloud 发布开源 C++ 库 TPU Sync（Apache-2.0），把 TPU HBM、主机 DRAM、共享存储和数据中心网络当作统一内存层级，用异步 DMA 传输 KV cache 和模型权重。