正在打开每日关注
正在打开每日关注
解释切换 reasoning effort 为何可能破坏前缀缓存,并建议按会话固定档位。
很多人习惯:规划用 Sol high,实现切 low。 Tibo 的解释是:reasoning effort 是写在 上下文窗口开头的一条 instruction。你一改,前缀变了,缓存命中就崩,额度会比你以为的快很多。 👉更好的做法是: 一个会话固定一个 effort,换档就新开线程,或把实现丢给 Luna 子代理。
是什么 这是一条关于 Agent 使用成本与上下文缓存机制的实践观点。作者观察到,用户常在规划阶段使用较高 reasoning effort,在实现阶段切换到较低档位,但这种切换可能改变上下文开头的指令前缀,从而降低前缀缓存命中率。
核心机制 如果底层模型服务按完整前缀或关键前缀进行缓存,reasoning effort 被写入上下文起始位置时,high 与 low 就不只是参数变化,也可能形成两套不同的缓存键。缓存失效会增加实际推理量、延迟或额度消耗。因此,推文建议一个会话固定一个档位,需要换档时新开线程,或把低成本的实现任务委派给 Luna 子代理。
关键洞察 它把模型选择从单次调用优化提升为会话级架构决策:规划、实现和委派应按稳定的上下文边界组织,而不是频繁调整同一线程的推理预算。这样既保留高档位规划的质量,也能控制实现阶段的成本。
边界与风险 缓存规则、reasoning effort 的注入位置和计费方式取决于具体模型平台,原文没有提供测量数据,不能据此断言所有服务都会失效。新线程也会损失部分上下文连续性,子代理还可能引入交接成本、需求误解与结果复核负担。实践中应结合命中率、延迟、额度和返工率做小规模对照测试。