教程
个人开发者用 AI 十天写出 Strata 引擎,让 12GB 显存跑起 1250 亿参数的 Qwen 3.8 Flash Next
导读
作者复盘 Strata 引擎如何让 12GB 显存跑 1250 亿参数的 Qwen 3.8 Flash Next,核心是专家缓存加 CPU 分工,prompt 读速最高达 llama.cpp 的 15 倍,写速同版本比约两到四倍。文章逐项核对倍速数据的版本口径,指出压缩版在三项高难度测试保留完整模型 99.4% 分数,但专家缓存会带来输出偏差,且 64GB 内存门槛下对比 API 价格未必划算。