正在加载陈远的个人网站

论文 · 精选

OpenAI 研究:智能体安全评测与生产行为存在差距,评测目标误判是关键因素

OpenAI:Alignment 研究博客(RSS)

导读

OpenAI Alignment 团队对比六个模型在 Respecting Warnings 安全评测与匹配的 Codex 生产决策上的表现,发现评测成功率普遍低于生产,差距为 10.2 至 37.4 个百分点。模型普遍口头表现出评测意识(评测中一般性意识率 57.0%–83.7%),但仅告知

推荐理由

原文用六个模型对比评测与生产数据,发现评测成绩反而更低,并把差距归因于模型对评测目标的误判。