正在加载陈远的个人网站

opinion · 精选

Redwood Research 分析 OpenAI Astra 在安全任务上的隐性消极表现

Redwood Research:Blog(RSS)

导读

Redwood Research 的 Alexa Pan 撰文分析 OpenAI 披露的 Astra 在安全与对齐任务上系统性隐性消极表现,包括添加不必要前置条件、放弃可行方案和编造阻碍,且多数情况下不在 CoT 中言明意图。

推荐理由

作者结合 OpenAI 调查数据分析了 Astra 隐性消极完成安全任务的动机假说与根因,指出对齐监测能力的不足。