Thinking Machines 详解 Inkling 2 Small 原生 4-bit 全流程训练

导读

Mira Murati 发布 Connectionism 博客，详解 Inkling 2 Small 在 NVIDIA GB300 上以原生 4-bit 前向传播从预训练第一步到最终 RL rollout 的完整训练过程。这是全栈多项改进之一，将预训练时间从数周缩短到 68 小时；量化训练更快，但需解决量化误差干扰学习的问题。