正在加载陈远的个人网站

产品

面壁智能解析 LES 推理技术:让 MiniCPM-V 4.7 在 iPhone 上跑出 20.51 tokens/s

X:面壁智能 OpenBMB (@OpenBMB)

导读

面壁智能(OpenBMB)介绍 MiniCPM-V 4.7 端侧高效推理背后的 LES(Lookahead Expert Scheduling)技术,解决 35B 总参数、每 token 激活 3B 的 MoE 模型在有限设备内存下专家权重加载等待的问题。