论文
IBM 评测 CUGA、Hermes 与 Deep Agents:同一模型下 AppWorld 完成率从 30% 到 81%
导读
IBM CUGA 团队用同一开源模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比三种 agent harness:CUGA 完成 81.1%(73/90),Hermes 46.7%,Deep Agents 30.0%;SGC 一致性指标差距更大,分别为 20、8、2 个场景。
论文
IBM CUGA 团队用同一开源模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比三种 agent harness:CUGA 完成 81.1%(73/90),Hermes 46.7%,Deep Agents 30.0%;SGC 一致性指标差距更大,分别为 20、8、2 个场景。