Agent评测应兼顾能力上限与稳定性

视频围绕 Agent 应用的评测流程展开，核心判断是：评测不能只看一次任务成功与否，更要区分能力上限和稳定性。作者以 Pass@k 与“跑 k 次全过”的指标作对比，主张开发迭代关注前者、发版前关注后者。

可借鉴之处包括：尽早从 20～50 个真实场景开始；为任务补齐前置条件、输入、预期行为、边界及通过标准；同时覆盖正向与负向案例；不要只依赖正则等脆弱评分脚本，应结合更稳健的评分方式与人工抽检；复盘完整对话记录，而非只盯分数；当用例被模型轻易通过时持续提高难度并指定维护责任人。

边界在于，视频未提供可复现的评测集、指标定义、样本规模或平台细节，诸如转写中的产品/工具名称也存在明显识别误差。因此这些内容适合作为流程启发，不能据此推断某个具体项目、工具或指标实现的效果。