正在打开每日关注
正在打开每日关注
微软开源桌面应用,将一次工作录制转化为可复用技能或自动化流程。
🚀微软开源了一个很有意思的项目:Skill Recorder。 你只需要亲自完成一遍任务,它就会记录屏幕操作、窗口切换、网页、剪贴板、终端命令和语音讲解,再通过 GitHub Copilot 将整个过程转换成: 任务意图 → 通用步骤 → SKILL.md → 定时自动化 它不是传统 RPA,不会简单重复鼠标坐标,而是尽量把网页点击转换成更稳定的 API、CLI 或 Agent 原生工具。 例如你演示一次处理 GitHub Issue,它可以尝试生成一个能够批量处理同类 Issue 的 Agent Skill。 目前原生支持 Microsoft Scout 和 Microsoft 365 Copilot Cowork,暂不直接支持 Claude Code、Codex 和 OpenCode,但生成的 SKILL.md 可以手动适配。 这可能代表 Agent 工作流的新方向: 不是教 AI 怎么做,而是直接做给 AI 看。 项目:https://t.co/LPWDgCLKNW
是什么
Skill Recorder 是微软开源的桌面应用,目标是让用户录制一次真实工作流程,再产出可复用的 Skill 或 Automation。仓库使用 TypeScript,创建于 2026 年 7 月 29 日,README 显示 macOS 为主要目标,同时支持 Windows 11 x64 与 ARM64,并以源代码发布方式安装。
核心设计
录制阶段在本机捕获屏幕、活动窗口切换、macOS 浏览器 URL、剪贴板短预览和可选语音;点击 Analyze 后,才把事件时间线、抽取的画面与旁白文本交给 GitHub Copilot CLI,重建“意图+有序步骤”。用户可以复核、编辑分析结果,再生成 SKILL.md 或定时、触发式 Automation。生成物优先调用 gh CLI、web_fetch 等原生工具,而不是机械回放坐标,强调从单次示例泛化到同类任务。
关键洞察
它把“示范”转成 Agent 可执行的中间表示,再连接技能生成与调度,降低流程自动化门槛。仓库还提供 describer 与 builder 的 fixture-based eval,说明泛化质量需要持续验证。
边界与风险
当前生成目标主要是 Microsoft Scout、Microsoft 365 Copilot Cowork 和 Copilot Studio,不能据此断言直接支持 Codex 或 Claude Code。录制本身留在本机,但 Analyze 会向 GitHub 云端发送事件、画面和旁白等上下文;密码、令牌、API key 等绝不能录入。依赖 Copilot 访问权限,原生工具替换、跨站泛化和权限控制仍需人工审查。