正在加载陈远的个人网站

教程

Jev 模式之推测性提问:把追问合并进同一次调用

X:TypeSafe AI (@typesafeai)

导读

作者转发 allietheicon 的 Jev 模式最佳实践,介绍推测性提问:在多数情况下把问题批量合并进单次调用更快且往往更便宜,即使还不确定是否需要答案。原因包括单次调用可完成整个任务、只需为状态中的 token 付费一次从而避免重复支付状态成本、同一调用中问题互不影响输出因此准确性不受损;图中建议在初始调用中随 gate 一起加入追问,代码先检查 gate,只使用需要的追问答案并忽略其余。