主观任务也能可靠评测：人工评测、离线自动评测、线上监控三步走

导读

邵猛转述 Netflix 资深研究科学家 Cameron Wolfe 在 AI Engineer 大会演讲整理的评测方法论，给出主观任务的可靠评测路线。核心是三步走，人工评测定质量标准、离线 LLM 评审校准后代理人工、线上监控加 A/B 测试，并用功效分析、置信区间、重复采样等统计工具降低噪声，评测集按多样、真实、够难、有区分度、准确五个标准筛选。