Comet长程Skill评估方案值得跟踪

是什么

视频介绍一个名为 Comet 的长程任务 Skill 评估实践：以 Rubric 作为可复核的评分标准，并用 Pass@k、Pass^k 衡量多次运行下的成功率与稳定性。画面还展示了对多个 workflow 任务、多个 treatment 和不同 k 值的批量评测，以及生成 HTML/Markdown 对比报告。

关键内容

评测链路将 LangSmith Trace、LLM-as-judge overlay 与 Docker 环境纳入执行流程。OCR 中出现了 16 个任务、3 个 treatment、k=3/5 等实验矩阵，并记录了失败单元补跑后刷新报告的过程，说明重点并非单次演示，而是迭代比较不同基线。

可借鉴之处

长程 Agent/Skill 应把“是否完成”拆成可审计 Rubric 与重复采样指标；同时保存 trace、实验配置和报告，才能定位失败任务、区分偶发波动与真实回归。

边界与风险

视频中的具体任务数、通过率及结论仅来自 OCR，未见原始报告或公开项目链接，不能据此确认 Comet 的实现、版本或性能优势。外发评测输入输出至 LangSmith、调用外部 LLM 与 Docker 权限也涉及数据、成本和执行权限风险。