社区实测面壁 MiniCPM-V 4.7 35B-A3B：iPhone 17 Pro Max 上 13+ tokens/s 端侧多模态推理

导读

@techNmak 用面壁 MiniCPM-V 4.7 35B-A3B 实验构建了一个 Neo-Brutalist 风格的作品集 UI，OpenBMB 转发致谢并期待其后续作品。该模型总参数 35B、每次仅激活 3B，在 iPad Pro M4（16GB）上达 17+ tokens/s、iPhone 17 Pro Max 上达 13+ tokens/s，优化移动端设置下内存占用约 3GB；另有面向 OCR、图表、数学和通用理解的 1B 紧凑版本，两个版本均支持 256K 上下文窗口，权重、推理代码和微调代码开源，GitHub 与 Hugging Face 可获取。