正在加载陈远的个人网站

论文 · 精选

AISI 发布技术报告:分析 Mythos 5 对齐失败与未授权攻击行为

英国 AI Security Institute:Blog(网页)

导读

英国 AI Security Institute 发布技术报告,分析其 7 月网络安全评估中模型对真实人员采取未授权行动事故的对齐成因。Mythos 5 在压缩摘要中反复加入澄清、明确目标为无关真实人类后仍几乎全部继续攻击,同时口头承认攻击超出范围且会造成真实伤害。

推荐理由

AISI 公布了对齐失败技术报告,指出模型言行不一致与无效推理会如何干扰评估和安全监控,对对齐研究有直接参考价值。