六种 Agent Harness 任务耗时对比

是什么\n这条内容是 Composio 对六种 Agent harness 在同一模型、26 项 Agent 任务上的横向比较，截图聚焦“从启动到完成”的中位耗时：Pi Agent 为 161.7 秒，Claude Code 为 347.6 秒。它把速度问题从单纯的模型能力，延伸到 Harness 的执行编排与工程实现。\n\n核心设计\n核心价值在实验设计而非界面设计：固定模型与任务，用中位数降低极端值影响，并以 clock time 衡量用户实际等待成本。完整线程还比较成功率与任务成本，形成速度、可靠性、费用三个维度，比单次 Demo 更适合工具选型。\n\n关键洞察\nPi Agent 的领先被原文归因于 minimal design，但这仍是解释而非已证实因果。Codex 速度排名第三，却只有 17/26 的成功率，说明更快不等于更可靠。相同模型下，Harness 选择本身可能显著改变成本与成功率，因此模型评测和 Harness 评测应拆开进行。\n\n边界与风险\n这是 Composio 的单方基准，样本只有 26 项任务，不能直接外推到所有代码库或生产流量。中位耗时也会掩盖长尾、失败任务和人工介入。复现时应公开任务定义、环境、版本、并发、重试及超时计时规则，并同时关注成功率、P95、单位成功任务成本与人工介入率。