返回每日动态opinionQwen 27B 内存占用压缩至 6GBX:Rohan Paul (@rohanpaul_ai)10月8日 11:09导读Emad Mostaque:AI 模型“几乎已经达到了人脑的效率”。 阿里巴巴的 Qwen 27B 通常需要约 60GB 内存,而 Prism ML 的一个团队通过用 1.5 bit 而非 16 bit 存储其数值,将其压缩到 6GB,同时保留了 95% 的性能。 在 6GB 下它可以在树莓派上运行,“其能耗与人脑相当。” ---- 完整视频在 “Tom Bilyeu” YouTube 频道,(链接在评论中)