Sam Altman 转发 Nick 谈可解释性突破

导读

很高兴看到 Nick 的这篇分享！ （引用推文核心要点：可解释性可能是当下全球最重要的科学问题，因为不了解自己在构建什么就无法解决对齐问题。Nick 曾参与 OpenAI 早期机制可解释性研究，当时对神经网络看似纠缠成任意乱结感到悲观；后来他启动了 OpenAI 首个大规模自动化可解释性项目，用原始工具发现约 2% 的神经元可读。而借助现代智能体工具和更细致的观察，情况完全不同：在高达数万亿参数的模型中，绝大多数神经元可读，其回路优美，许多著名的"纠缠神经元"案例实为误解。他原本预期的障碍大多并不存在。他认为，随着自动化科学家不断进步，雄心勃勃的可解释性研究将在我们最需要它之前被解决，且可能很快。这或许是可解释性的苦涩教训：简单的方法，在荒谬的规模下，行之有效。）