论文：递归自我改进安全性尚无共识

导读

一篇论文指出，目前无人能断言递归自我改进（RSI）是安全的，因为连其走向都缺乏清晰的思考框架。作者仅用一条高层提示词就让 AI 从零训练出一个小型 LLM；在 FAR.AI 安全研讨会上，专家们因设想的结果不同，对 RSI 安全条件给出了截然不同的判断。其二人博弈模型显示，RSI 竞赛仅在部分风险水平下构成囚徒困境，高风险时双方共同克制是稳定结果。