opinion
长程智能体可靠性:99%单步成功率为何不够
导读
单步成功率 99% 时,10 步任务全程无失败的概率约 90%,100 步则降至 37%;若每次失败可重试一次且失败相互独立,37% 可回升到约 99%。但重试并不简单:响应超时可能导致动作重复执行,失败也可能改变系统状态,失败之间未必独立。因此长程智能体不只是 LLM 问题,模型周围的系统同样关键。
opinion
单步成功率 99% 时,10 步任务全程无失败的概率约 90%,100 步则降至 37%;若每次失败可重试一次且失败相互独立,37% 可回升到约 99%。但重试并不简单:响应超时可能导致动作重复执行,失败也可能改变系统状态,失败之间未必独立。因此长程智能体不只是 LLM 问题,模型周围的系统同样关键。