ByteByteGo 详解 LLM 两层缓存：Prompt Caching 复用前缀计算，Semantic Caching 复用整条答案

导读

ByteByteGo 作者 Samuel Wong 撰文讲解 LLM 应用中两类缓存如何分工并叠加使用：Prompt Caching 复用共享前缀的 KV 计算以降低输入成本，Semantic Caching 复用语义相近问题的整条答案，可完全跳过模型调用。