Qwen-MM-Plugins：让任意 Agent 框架原生多模态

是什么

Qwen-MM-Plugins 是阿里 Qwen 团队开源的一套多模态插件集合，目标是将任意 Agent 框架（harness）升级为"多模态原生"。它并非绑定 Qwen 模型独占，而是面向 Claude Code、Codex、Qwen Code、Gemini CLI、OpenClaw 等主流 Agent 工具提供可插拔能力。仓库 1893 Stars，Python 实现，2026 年 7 月底创建，8 月仍在活跃迭代。

核心设计

架构采用 Skill + MCP Server 双轨模式：

• Skill：让模型知道工具集存在（prompt 层面注入工具描述）
• MCP Server：工具本体，按需通过 uvx 启动，零手动 pip 依赖

每个 Capability 独立安装，当前 8 个能力模块：

• core：本地 I/O 基础（动态分辨率读图/视频/文档/3D，可视化、裁剪、标注）
• api：DashScope 云端 VL/Omni API（OCR、ASR、时序定位、SAM3 分割）
• search：网页+反向图片搜索（Serper）
• video-memory：长视频分层图记忆，支撑超长视频 QA
• video-edit：视频编辑与生成工作流
• blender / freecad：驱动运行中的 Blender（22 工具）/ FreeCAD（14 工具）做 3D 建模与参数化 CAD，含 FEM 分析
• edu-agent：纯 Skill，将数学题/图片转为分步中文讲解视频

关键亮点

1. 动态分辨率读取：图像、视频帧、文档页自动缩放到 VL 模型的 patch 网格，4K 截图和缩略图都能自适应细节，无需手动调整
2. 一键安装器：单脚本覆盖安装/配置/校验/卸载，驱动各框架原生命令，不写重复配置；统一 ~/.qwen-mm-plugins/config 文件让 GUI 和终端 harness 共享密钥
3. 薄客户端架构：Blender/FreeCAD 能力不内嵌重型软件，而是驱动外部已运行的实例，降低集成负担
4. Harness 中立：明确列出 Claude Code、Codex、Qwen Code、Gemini CLI、OpenClaw、Qoder 等的安装命令，甚至 pi/opencode 可通过"直接问 Agent"安装

边界与风险

• Windows 仅支持 WSL2，原生 Windows 未验证
• API 能力依赖外部密钥：DashScope、Serper 非免费，且 core 之外的多数能力需联网
• 部分 Cookbook 尚未完成：search、video-memory、video-edit、blender、freecad、edu-agent 标记为 TBD，文档成熟度不均
• 3D/CAD 能力需预装软件：Blender、FreeCAD 需用户本地运行，插件只是远程驱动
• 生态锁定隐忧：api 模块当前仅支持 DashScope，未提及 OpenAI、Anthropic 等替代后端