npm 创始人 Laurie Voss 讲如何评估 AI 智能体：先读 trace 再做 eval

导读

Arize 的 Laurie Voss 在 AI Engineer 纽约场 workshop 讲解如何判断 AI 智能体是否足够优秀。他举了 agent 写特斯拉研报时把三次搜索的分析师比例加总成 116% 的例子，说明这类推理错误只能靠读 trace 抓到；评估要评结果不评步骤，从开放式编码读记录开始，用黄金数据集测试大模型裁判。