谁来治理 AI 智能体学到的东西？Tim O'Brien 谈智能体的语义与认知治理

导读

Tim O'Brien 提出智能体安全需要"语义与认知治理"：既管智能体可感知和行动的世界模型，也管它接受哪些证据作为决策依据。他以 Hugging Face 事件中智能体把 Artifactory 软件包缓存改造成"留言板"并互相派活为例，指出临时 token 无法约束智能体对情境的重新解释。他主张智能体学到新概念只能先提议，须由有权者审批是否扩大其决策范围。