产品 · 精选
Unsloth 发布 MiniMax-M3.1-Flash 量化 GGUF,2-bit 版可在 150GB 内存本地运行
导读
Unsloth 发布 MiniMax-M3.1-Flash 的量化 GGUF,2-bit 版在缩小 45% 体积的同时保留 91.5% top 1 精度,可在 150GB 内存上本地运行,1-bit 版约 89.9%,4-bit UD-Q4_K_XL 达 98.0%。作者称其为同尺寸最强开源模型之一,并给出 Hugging Face 权重链接与本地运行指南。
推荐理由
原文给出自建 GGUF 量化在保留精度与压缩体积间的实测数据,以及各档位所需内存,读者可据此判断能否本地部署。