ARTICLE · 1031707
AI工具推荐 - 微软开源的skill-recorder:录一遍你的操作,Copilot 帮你写成 Skill
录一遍,生成 Skill
手写 SKILL.md 是件折磨人的事。微软开源了一个桌面工具:录一遍屏幕操作,交给 Copilot 拆成「意图 + 有序步骤」,再生成 Agent 能重复执行的 Skill。
WORDS 约 2900 字
TIME 约 8 分钟
TAGS 微软开源 / Agent Skill / 桌面工具 / MIT
INTRO
写过 SKILL.md 的人应该都知道那个滋味。
你要从头到尾把一个操作流程描述清楚,记住每个步骤、每个工具,还得把边界条件、输入参数一并写明白。
写完自己读一遍,发现漏了两步。
真的很折磨。
“
别写了,直接做一遍给它看。
微软开源的 skill-recorder 干的就是这件事。它把你操作屏幕的整个过程录下来,交给 GitHub Copilot 重构成「一个意图 + 一串有序步骤」,再生成 Agent 能重复执行的 Skill。
先说它怎么跑。
整个流程就四步。
录
按一下录制键,或按 ⌘⇧R / Ctrl+Shift+R,然后正常干活,该点哪点哪。它在后台默默记录,不打搅你。
控
录制时有个始终置顶的小条,显示捕获状态和麦克风开关。说错话可以随时静音、换麦;整段录废了就丢掉,丢之前会让你确认,防手滑。
分析
点 Analyze,Copilot 把你这一通操作重构成「一个整体意图 + 一份有序步骤」。注意,这一步给你的不是最终结果,是草稿,可以逐条改。
生成
从审核通过的分析里,产出 Skill 或者 Automation。
你可以逐条改,改到读起来对了为止。我觉得这个环节的设计挺关键,后面再说。
FIG.01 录制界面

录制键、Narrate 开关、Copilot 检测状态、离线语音转写
那它到底记了些什么。
窗口切换、应用切换、浏览器地址(目前只有 macOS 能抓 URL)、屏幕画面的低频快照——注意是屏幕变了才留一帧,不是全程录像——还有你复制过的文本预览,用来把前后的步骤串起来。
另外还有一个可选项:语音。
你边做边把想法说出来,它用 Whisper 在你自己的电脑上转成文字,支持 99 种语言,第一次用要下个 252MB 的模型。
这个功能我觉得是懂行的设计。因为很多操作,关键信息不在你点了哪里,而在你当时为什么这么点。
它最聪明的地方在这里,也是我觉得整个项目最值得看的一段。
它不是把你的点击回放一遍。
它生成的东西,会优先调用 Agent 自己的原生工具。
你录的时候用了 gh 命令行,生成的 Skill 就去调 gh;你用了网页抓取,生成的 Skill 就用网页抓取。
为什么不回放点击?因为回放太脆了——按钮挪个位置、弹窗晚出来两秒,整条流程就断。而调 CLI 和 API 不会。
这已经比传统的宏录制和 RPA 高一个层级了。
但真正让我停了一下的是另一句话:
“
录一次提交某个表单,它能学会提交所有同类表单。
也就是说它不是记住「你把 2026 年 9 月的报销单填了」,而是理解「你在提交一张报销单」,然后找出哪些部分是可变的、哪些是固定的。
这个能力有个专业说法叫 programming by demonstration——示范式编程。听起来挺学术,其实特别朴素:你平时怎么教新同事?不会先写个 SOP 文档吧,一般是坐他旁边演示一遍,然后让他自己来。
skill-recorder 就是把「坐在旁边看一遍」这件事,做成了一个软件。
FIG.02 从一次示范里拆出固定与可变

然后是隐私这块,我知道这是很多人第一反应会担心的地方。
它把数据分成了两段走。
录制、存储、画面抽取、语音转写,全都发生在你自己的电脑上。
录的过程中,一个字节都不会离开你的设备。
只有你主动点了 Analyze,才会把这几样东西发到 GitHub 的云端:事件时间线(窗口和文档标题、网址、剪贴板预览)、抽出来的屏幕图、还有语音转出来的文字。
不要把密码、token、API key 录进去,也别在录制的时候输入、粘贴、念出来。
SOURCE — 官方 README
官方在 README 里把这件事写得很直白,每次开始录制前,它都会提醒你一遍。
代码里还有一层防线,叫 common/sensitive.ts,在发送之前先在本地做一遍敏感信息检测。
这个设计我给个正面评价:它没有假装自己绝对安全,而是把边界一条条写清楚,把该提醒的提醒到位。剩下的交给你自己判断。
NOTE
顺手说一句,录屏这种工具,忘记关一次就够麻烦的,用之前先把自己的习惯理一理。
FIG.03 录制全在本地,闸门由 Analyze 控制

说完能力,说产物。
它生成的东西分两种,这个区分挺重要。
SKILL
一个 SKILL.md 过程文件。Agent 按需运行——你说一声它就干,你不说它就待着。适合「需要的时候才执行」的任务,比如创建 PR、提工单。
AUTOMATION
同一套流程,但挂在定时器或者触发器上。比如每天早上九点检查一遍 CI 状态,收到某类邮件时自动处理,或者在 Teams 里被 @ 的时候跑起来。
这两种产物,直接对接微软自家的三个 Agent 平台。
A Microsoft Scout
放 ~/.copilot/skills/ 里,它自己会发现,你开口就能用。
B Copilot Cowork
丢进 OneDrive 的 /Documents/Cowork/skills/,每个会话开始自动加载,最多 50 个。执行时会优先用原生 Microsoft 365 能力,需要时回落到本地浏览器,而且在发邮件、发消息这类敏感动作之前会先问你一声,权限也继承你的——你访问不到的东西,它也访问不到。
C Copilot Studio
导入到工作区,走企业自动化的路子。
看到这里你大概能明白它为什么是微软做的了。
它不是一个孤立的小工具,是微软自己那套 Agent 版图里补上的一块拼图——前面有 Scout、有 Cowork、有 Studio,那这些 Agent 的技能从哪来?靠人去写 SKILL.md 吗?太慢了。录一遍就行。
FIG.04 同一份 Skill 投递到三个平台入口

那怎么装。
它的分发方式有点特别,叫源码发布:一条命令下去,它先下一个固定版本的 Node.js 运行时,然后在你的机器上把那个确切版本的代码构建出来,最后给你一个叫 Skill Recorder (Source) 的应用。不往全局装任何东西。
macOS 和 Ubuntu 用这行:
commit="<release-commit>"; curl -fsSL \
"https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | \
SKILL_RECORDER_COMMIT="$commit" bash
Windows 用 PowerShell:
$commit="<release-commit>"; \
$env:SKILL_RECORDER_COMMIT=$commit; \
irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex
那个 commit 值去 release 页面复制就行。
不想自己敲命令的,把仓库地址直接丢给你的 Agent,让它自己装,缺什么你再补。
装完第一次打开,macOS 会要一个屏幕录制权限,给了就能用。
支持情况是这样的:macOS 是主要平台,Windows 11 的 x64 和 ARM64 都支持,Ubuntu 部分支持。
CAUTION
Analyze 这一步需要 GitHub Copilot 的访问权限,这是 GitHub 的付费功能。应用本身免费、录制免费、本地处理全免费,但「分析」这个动作要用到 Copilot。学生、教师和开源维护者是免费的。还有一点,浏览器 URL 的捕获目前只在 macOS 上有效。
VERDICT
我的评价是。
这是一个方向非常清楚的项目,而且它不是玩票。
几个细节能看出来:仓库里有专门的 evals 目录,Copilot 的「描述器」和「生成器」都有基于样本的评估套件,npm run eval 测描述准确度,npm run eval:builder 测泛化能力——一个开源工具,还自带衡量自己好不好用的考卷,这不太常见。
提交记录也很实在,你会看到有人在修 Windows 安装速度、在改录制条宽度突然变大这种边角问题。这是有人在正经当产品做,不是丢个 demo 出来。
它最值钱的设计,我认为是那一步「分析之后可以人工编辑」。
因为从一次示范里反推意图,本来就是件容易走偏的事——你顺手做的两个动作,到底是有意为之还是无关操作,判断权最好还是留在人手里。它没把自己包装成全自动黑盒,而是把审阅环节明明白白摆在流程中间。
这也是我为什么觉得它比传统的宏录制值得看:宏记录的是动作,它想记的是意图。
FIG.05 分析结果页,每一步都能点击编辑

要说边界,也一起讲清楚。
它深度绑定微软自家生态。分析靠 GitHub Copilot,产物主要给 Scout、Cowork、Studio 用。生成的 SKILL.md 本身是通用格式,其他的 Agent 要拿来用得自己适配一圈,安装后有不适配的问题可以和 AI 聊补上缺失的内容;
安装方式偏开发者,源码发布这条路对不写代码的人不太友好——不过找到 release 页复制一行命令,也比从零配环境简单多了。
录制期间涉及隐私,这件事绕不过去,它已经把提醒做到位了,剩下的看你自己。
FIT FOR
每周或者每月要重复做一遍的流程,最合适。做一次,录下来,以后交给 Agent。
跨好几个软件的活,比如要一边看浏览器一边填桌面应用的那种,也合适——这正是它擅长的场景。
复杂到讲不清、但演示一遍就懂的事,更合适。你带过新人就懂这种感觉,有些东西你根本写不成文档。
反过来,一次性的、或者你自己都还没想清楚流程的事,先别录。录出来的东西也是乱的。
我自己想的一个用法,是拿它当流程考古工具。
有些活我做了半年,早就形成肌肉记忆了,让我写下来我反而卡壳。那就录一遍,让它把步骤拆出来给我看——很多时候不是 AI 学不会,是我自己都没意识到我是怎么做的。
拆出来之后再看哪些该保留、哪些其实可以删掉,这个过程本身就挺值。
感兴趣的话,仓库在 microsoft/skill-recorder,MIT 协议,随便看。
最后,我建了一个交流群给大家友好交流,有问题可以在群里提出来,大家相互回答一下;我做的开源项目也会同步发到群里;欢迎大家加入~后台发送「交流群」就可以了~
END OF DOC
以上,既然看到这里了
如果觉得不错,随手点个赞、在看、转发三连吧;如果想第一时间收到推送,也可以给我个星标 ⭐
谢谢你看我的文章,我们,下次再见。
/ 作者:Patrick
/ 这里分享好用的AI工具和skill
/ 创作不易,三连支持一下吧~