又一个神级AI工具:操作录个屏,直接生成可复用Skills

微软最近在 GitHub 上开源了一个桌面工具，叫 Skill Recorder。用法挺新鲜：你把自己在电脑上干活的过程录一遍，AI 看完这段录像，会自己整理出一个技能文件，下次再遇到同样的活，它就能照着替你干了。

这个录屏给AI教学，保存成Skill的思路我感觉非常有新意，安装试了试，只能说，真牛！

Skill Recorder 是个什么

Skill Recorder 是微软开源的一款桌面应用，7 月底刚开源，不到十天时间，现在 Star 已经干到 2.4k 了。

它就做一件事情：

你把一个任务在电脑上正常做一遍，它把过程录下来，然后让 AI 把这段录像还原成「你想干什么」加上「一步一步怎么干的」，最后生成一个 SKILL.md 技能文件。AI Agent 拿到这个文件，以后就能照着把这个任务重复做下去。

有几个关键信息，先跟大家交代一下：

• 平台： macOS 为主，Windows 11 也支持（x64 和 ARM64），Ubuntu 也有对应的安装方式
• 费用： 软件本身免费开源，但分析这一步要调用 GitHub Copilot，所以你的 GitHub 账号得有 Copilot 使用权限
• 数据： 录制过程全部在本地，只有你点了分析，数据才会发到 GitHub 云端处理

功能详情

录制：把你干活的过程全录下来

录制这块没什么学习成本，点一下界面上的录制按钮就行，不想点鼠标的话按快捷键也可以，Mac 上是 ⌘⇧R，Windows 上是 Ctrl+Shift+R。

开始之后你该干嘛干嘛，不用管它，它就在后台把整个过程记下来，记的东西大概有这么几类：

• 你在哪些应用和窗口之间来回切换
• 浏览器里访问了哪些页面，不过这个目前只在 macOS 上支持
• 屏幕的画面。它会录屏，但为了控制体积，保留下来的是低频率的抽帧，画面有变化或者到固定时间点才存一帧，所以文件不会太大
• 你复制过的剪贴板内容，这个是为了帮 AI 把前后的步骤串起来
• 语音旁白，这个是可选的，你可以一边操作一边解说两句，AI 理解起来会准很多。语音转文字是在你本机跑的，支持中文在内一共 99 种语言，就是第一次用要下载一个 252MB 左右的模型

录的过程中，屏幕上方会一直挂着一条小控制栏，想临时静音、换个麦克风，都在那上面操作。要是这一段录得不满意，也不用硬留着，直接丢掉重录就行。

分析：AI 看懂你刚才干了什么

录完之后点一下 Analyze，接下来就交给 AI 了。它会把你录下来的这些东西整体过一遍，窗口切换的时间线、屏幕抽出来的帧、还有你的语音解说，综合起来分析。最后给你一份结果，里面主要就两样东西：一个是它总结出来的整体意图，一个是按顺序排好的步骤列表。

官方演示里有个例子，我觉得挺能说明问题。录的是一段客户调研的操作，AI 最后分析出来的意图是「研究表格里的每个客户，把调研结果发到团队频道」，下面列了 6 个步骤，从打开表格开始，到挨个搜客户的近况，再把结果填回表格，最后发到群里。每一步都写得很清楚，基本就是你刚才做过的事情的复述。

要是分析得不对，或者哪句话说得不准确，你直接在上面改就行。点哪一步就改哪一步，改完自动保存，不用让 AI 重新分析一遍。

生成：一次录制变成一个技能

分析确认没问题之后，点 Create，这里可以生成两种东西：

• Skill：就是一个 SKILL.md 文件，Agent 需要的时候自己调用
• Automation：还是同样这套流程，但是挂到定时任务或者触发器上，到了时间或者条件满足了，它自己就跑

生成出来的技能是标准的 SKILL.md 文件，理论上认这个格式的 Agent 都能用。按仓库的介绍，微软这边主要是给自家的 Scout、Copilot Cowork 和 Copilot Studio 这些产品准备的。

它和录屏回放不是一回事

这部分我多说两句，因为它恰恰是这个项目和以前那些工具最大的区别。

按键精灵、传统 RPA 那类工具，录的是你的鼠标轨迹和点击坐标，界面稍微变一下就全废了。Skill Recorder 在生成技能的时候，会优先让 AI 用它自己顺手的工具，把这个流程重新实现一遍。

举个例子：

同一件事能用命令行解决，它就不会去开浏览器点来点去；数据能直接抓下来，它也不去学你那种手动复制粘贴的操作。

用官方的话说，你录一次提交某个表单，Agent 学会的其实是提交所有这类表单。它记住的不是你鼠标点在哪个位置，而是这件事到底要干什么。

数据安全：录制阶段什么都不上传

前面说的录制、保存文件这些操作，包括语音转文字，全部都是在你自己电脑上做的。也就是说录的过程中，数据一直在你本机，不会传到外面去。

那什么时候数据会出去呢？就是你点 Analyze 的时候，点完之后，事件时间线、屏幕截图，还有语音转出来的文字，会发到 GitHub 的云端让 Copilot 处理。

官方每次录制前都会弹提醒：别录密码、Token、API key 这些。这个提醒我觉得得当回事，毕竟点完分析之后，录到的东西是真要发出去的，录的时候顺手把密码敲进去这种事，最好别发生。

快速开始

安装这块先说清楚，它没有现成的安装包，用的是源码发布的方式。好处是一条命令就能搞定，它会帮你拉代码、下载 Node 运行时，然后在你自己机器上构建，也不会往系统里全局装一堆东西。

温馨提示：安装过程会比较（其实是非常）慢，可以边做别的事情边等。

macOS 和 Ubuntu 用这条（commit 换成 Release 页面里给的）：

commit="<release-commit>"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

Windows 用 PowerShell 跑这条：

$commit="<release-commit>"; $env:SKILL_RECORDER_COMMIT=$commit; irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

装完之后，macOS 的 ~/Applications 目录里会多出一个叫 Skill Recorder (Source) 的应用，Windows 的话是在桌面和开始菜单里加快捷方式。

第一次启动的时候，系统会要屏幕录制的权限，给了就能用，录完点 Analyze，第一次分析的时候会提示你登录 Copilot。

适合拿来干什么

重复的办公流程。 像报销、数据录入、在几个系统之间搬数据这类活，每周都要干一遍，步骤基本不变，人也干得很烦。这种就特别适合录一次，以后让 Agent 来。

定期的信息收集。 比如每周固定去一批网站上看看有没有新动态，看完把结果汇总发到群里。这种事录一遍，再配个 Automation，设好时间，它自己就跑完了，你到点看结果就行。

团队里的经验沉淀。 老员工那些熟练的操作流程，以前只能靠口口相传，或者写一堆没人看的文档。现在让他录一遍，就能变成一个技能文件，新人遇到同样的活，让 Agent 照着做就行。

我的看法

微软开源的这个项目非常牛，以前教 AI 干活全靠写提示词，写得累还不一定管用。现在变成「我干一遍，你看一遍」，这个教法更像在教一个真人，把制作Skill的门槛都打下来了。而且，像OA系统的一些录入、信息汇总等操作，录屏让它学习一遍以后自己操作，这个100%能让我们省人力。

开源地址：

https://github.com/microsoft/skill-recorder

点击下方卡片，关注极客之家

这个公众号长期分享实用开源项目。如果你不想逐篇翻阅历史文章，可以直接关注微信公众号“极客之家”，通过后台留言与我们互动交流。