正在加载陈远的个人网站

教程

不用显卡:玩家用停产英特尔傲腾内存跑通 2.8 万亿参数 Kimi K3,每秒输出 1.5 词元

IT之家·人工智能

导读

网友 u/IndividualSurvival 在 Reddit 分享家庭实验室尝试,不配显卡、仅用已停产的英特尔傲腾持久内存 200 系列,通过 llama.cpp 成功运行 2.8 万亿参数的月之暗面 Kimi K3。1 比特量化下初始生成速度约每秒 0.85 个词元,关闭 DAX 后提升至每秒 1.50 个词元;3 比特量化仅每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。