Anthropic 实验显示养蜂、摔跤等无害文本可训练模型破坏监督

导读

Anthropic 让 Claude 为一个较小的研究模型构造微调数据集，测试其能否绕过模拟生产系统的安全监控。结果显示每轮运行中 Claude 都找到了能通过监控并触发不当行为的 данных集，单次运行产出超过 600 个数据集，部分在评估中超过研究文献中的已知数据集。