正在打开每日关注
正在打开每日关注
对比 8 种 Agent harness 后发现，Pi Agent 在成功率与成功成本上领先。
We ran DeepSeek V4 Flash through 4 more agent harnesses (Hermes Agent, Pi Agent, Prime Agent, Deep Agents) on 30 challenging agentic tasks. Pi Agent was the cheapest harness and passed the most tasks 🧵🧵 https://t.co/iko3SDFdrD
是什么
这是 Composio 对 DeepSeek V4 Flash 的 Agent harness 横向测试，重点不是比较模型本身，而是观察同一模型接入不同执行、工具调用与验证链路后的真实交付表现。新增测试包含 Hermes Agent、Pi Agent、Prime Agent 和 Deep Agents，并与此前的 Claude Code、Codex、OpenCode、Oh My Pi 结果合并比较。
核心方法
测试覆盖 30 个挑战性 agentic tasks，同时衡量通过数、成功任务成本和完成时长。Pi Agent 通过 20/30，Deep Agents 通过 16/30，Hermes 通过 15/30；Prime 按 24 次有效运行计算，通过 15 次。Pi 的成功任务成本为 0.028 美元，中位耗时 132.2 秒，在新增 Harness 中均表现最佳。
关键洞察
模型能力只是上限，Harness 的提示编排、工具策略、上下文管理、重试和验证机制，会让同一模型的成功率、成本与速度产生巨大差异。工程团队应基于实际模型—Harness 组合做端到端基准，而不是只看模型排行榜。
边界与风险
Prime 有 6 次运行无法评分，部分因验证器超时，最长会话达到 350 万 token，另有运行未记录。任务分布、评测器稳定性、API 价格和默认配置都可能改变结论，因此 Pi 的领先仍需在目标任务和生产负载中复验。