为什么你需要自己运行 LLM 代理来掌握调用情况

导读

针对依赖第三方订阅前端调用 LLM 的现状，作者主张自建 LLM 代理：在单一端点统一接入多家供应商与模型，并记录哪个 key 在何时调用了哪个模型、状态如何。自建代理还可用虚拟 API key 避免主密钥散落各处，并在基础设施层快速切换模型与供应商。作者称借助代理 API，编码会话中出现缓存未命中时可在 20 秒内手工定位原因。