产品
面壁智能解析 LES 推理技术:让 MiniCPM-V 4.7 在 iPhone 上跑出 20.51 tokens/s
导读
面壁智能(OpenBMB)介绍 MiniCPM-V 4.7 端侧高效推理背后的 LES(Lookahead Expert Scheduling)技术,解决 35B 总参数、每 token 激活 3B 的 MoE 模型在有限设备内存下专家权重加载等待的问题。
产品
面壁智能(OpenBMB)介绍 MiniCPM-V 4.7 端侧高效推理背后的 LES(Lookahead Expert Scheduling)技术,解决 35B 总参数、每 token 激活 3B 的 MoE 模型在有限设备内存下专家权重加载等待的问题。