夜雨聆风学习资料网

ARTICLE · 1031707

AI工具推荐 - 微软开源的skill-recorder:录一遍你的操作,Copilot 帮你写成 Skill

AI工具推荐 - 微软开源的skill-recorder:录一遍你的操作,Copilot 帮你写成 Skill
SPEC SHEET2026.09

录一遍,生成 Skill

手写 SKILL.md 是件折磨人的事。微软开源了一个桌面工具:录一遍屏幕操作,交给 Copilot 拆成「意图 + 有序步骤」,再生成 Agent 能重复执行的 Skill。

WORDS 约 2900 字

TIME  约 8 分钟

TAGS  微软开源 / Agent Skill / 桌面工具 / MIT

INTRO

写过 SKILL.md 的人应该都知道那个滋味。

你要从头到尾把一个操作流程描述清楚,记住每个步骤、每个工具,还得把边界条件、输入参数一并写明白。

写完自己读一遍,发现漏了两步。

真的很折磨。

别写了,直接做一遍给它看。

微软开源的 skill-recorder 干的就是这件事。它把你操作屏幕的整个过程录下来,交给 GitHub Copilot 重构成「一个意图 + 一串有序步骤」,再生成 Agent 能重复执行的 Skill。

STAR3.9k
LICENSEMIT
STACKElectron

先说它怎么跑。

整个流程就四步。

01

按一下录制键,或按 ⌘⇧R / Ctrl+Shift+R,然后正常干活,该点哪点哪。它在后台默默记录,不打搅你。

02

录制时有个始终置顶的小条,显示捕获状态和麦克风开关。说错话可以随时静音、换麦;整段录废了就丢掉,丢之前会让你确认,防手滑。

03

分析

点 Analyze,Copilot 把你这一通操作重构成「一个整体意图 + 一份有序步骤」。注意,这一步给你的不是最终结果,是草稿,可以逐条改。

04

生成

从审核通过的分析里,产出 Skill 或者 Automation。

你可以逐条改,改到读起来对了为止。我觉得这个环节的设计挺关键,后面再说。

FIG.01 录制界面

录制键、Narrate 开关、Copilot 检测状态、离线语音转写

那它到底记了些什么。

窗口切换、应用切换、浏览器地址(目前只有 macOS 能抓 URL)、屏幕画面的低频快照——注意是屏幕变了才留一帧,不是全程录像——还有你复制过的文本预览,用来把前后的步骤串起来。

另外还有一个可选项:语音。

你边做边把想法说出来,它用 Whisper 在你自己的电脑上转成文字,支持 99 种语言,第一次用要下个 252MB 的模型。

这个功能我觉得是懂行的设计。因为很多操作,关键信息不在你点了哪里,而在你当时为什么这么点。

02 / 05

它最聪明的地方在这里,也是我觉得整个项目最值得看的一段。

它不是把你的点击回放一遍。

它生成的东西,会优先调用 Agent 自己的原生工具。

你录的时候用了 gh 命令行,生成的 Skill 就去调 gh;你用了网页抓取,生成的 Skill 就用网页抓取。

为什么不回放点击?因为回放太脆了——按钮挪个位置、弹窗晚出来两秒,整条流程就断。而调 CLI 和 API 不会。

这已经比传统的宏录制和 RPA 高一个层级了。

但真正让我停了一下的是另一句话:

录一次提交某个表单,它能学会提交所有同类表单。

也就是说它不是记住「你把 2026 年 9 月的报销单填了」,而是理解「你在提交一张报销单」,然后找出哪些部分是可变的、哪些是固定的。

这个能力有个专业说法叫 programming by demonstration——示范式编程。听起来挺学术,其实特别朴素:你平时怎么教新同事?不会先写个 SOP 文档吧,一般是坐他旁边演示一遍,然后让他自己来。

skill-recorder 就是把「坐在旁边看一遍」这件事,做成了一个软件。

FIG.02 从一次示范里拆出固定与可变

然后是隐私这块,我知道这是很多人第一反应会担心的地方。

它把数据分成了两段走。

录制、存储、画面抽取、语音转写,全都发生在你自己的电脑上。

录的过程中,一个字节都不会离开你的设备。

只有你主动点了 Analyze,才会把这几样东西发到 GitHub 的云端:事件时间线(窗口和文档标题、网址、剪贴板预览)、抽出来的屏幕图、还有语音转出来的文字。

不要把密码、token、API key 录进去,也别在录制的时候输入、粘贴、念出来。

SOURCE — 官方 README

官方在 README 里把这件事写得很直白,每次开始录制前,它都会提醒你一遍。

代码里还有一层防线,叫 common/sensitive.ts,在发送之前先在本地做一遍敏感信息检测。

这个设计我给个正面评价:它没有假装自己绝对安全,而是把边界一条条写清楚,把该提醒的提醒到位。剩下的交给你自己判断。

NOTE

顺手说一句,录屏这种工具,忘记关一次就够麻烦的,用之前先把自己的习惯理一理。

FIG.03 录制全在本地,闸门由 Analyze 控制

03 / 05

说完能力,说产物。

它生成的东西分两种,这个区分挺重要。

SKILL

一个 SKILL.md 过程文件。Agent 按需运行——你说一声它就干,你不说它就待着。适合「需要的时候才执行」的任务,比如创建 PR、提工单。

AUTOMATION

同一套流程,但挂在定时器或者触发器上。比如每天早上九点检查一遍 CI 状态,收到某类邮件时自动处理,或者在 Teams 里被 @ 的时候跑起来。

这两种产物,直接对接微软自家的三个 Agent 平台。

A Microsoft Scout

放 ~/.copilot/skills/ 里,它自己会发现,你开口就能用。

B Copilot Cowork

丢进 OneDrive 的 /Documents/Cowork/skills/,每个会话开始自动加载,最多 50 个。执行时会优先用原生 Microsoft 365 能力,需要时回落到本地浏览器,而且在发邮件、发消息这类敏感动作之前会先问你一声,权限也继承你的——你访问不到的东西,它也访问不到。

C Copilot Studio

导入到工作区,走企业自动化的路子。

看到这里你大概能明白它为什么是微软做的了。

它不是一个孤立的小工具,是微软自己那套 Agent 版图里补上的一块拼图——前面有 Scout、有 Cowork、有 Studio,那这些 Agent 的技能从哪来?靠人去写 SKILL.md 吗?太慢了。录一遍就行。

FIG.04 同一份 Skill 投递到三个平台入口

04 / 05

那怎么装。

它的分发方式有点特别,叫源码发布:一条命令下去,它先下一个固定版本的 Node.js 运行时,然后在你的机器上把那个确切版本的代码构建出来,最后给你一个叫 Skill Recorder (Source) 的应用。不往全局装任何东西。

macOS 和 Ubuntu 用这行:

MACOS / UBUNTU

commit="<release-commit>"; curl -fsSL \

 "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | \

 SKILL_RECORDER_COMMIT="$commit" bash

Windows 用 PowerShell:

WINDOWS

$commit="<release-commit>"; \

$env:SKILL_RECORDER_COMMIT=$commit; \

irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

那个 commit 值去 release 页面复制就行。

不想自己敲命令的,把仓库地址直接丢给你的 Agent,让它自己装,缺什么你再补。

装完第一次打开,macOS 会要一个屏幕录制权限,给了就能用。

支持情况是这样的:macOS 是主要平台,Windows 11 的 x64 和 ARM64 都支持,Ubuntu 部分支持。

CAUTION

Analyze 这一步需要 GitHub Copilot 的访问权限,这是 GitHub 的付费功能。应用本身免费、录制免费、本地处理全免费,但「分析」这个动作要用到 Copilot。学生、教师和开源维护者是免费的。还有一点,浏览器 URL 的捕获目前只在 macOS 上有效。

05 / 05

VERDICT

我的评价是。

这是一个方向非常清楚的项目,而且它不是玩票。

几个细节能看出来:仓库里有专门的 evals 目录,Copilot 的「描述器」和「生成器」都有基于样本的评估套件,npm run eval 测描述准确度,npm run eval:builder 测泛化能力——一个开源工具,还自带衡量自己好不好用的考卷,这不太常见。

提交记录也很实在,你会看到有人在修 Windows 安装速度、在改录制条宽度突然变大这种边角问题。这是有人在正经当产品做,不是丢个 demo 出来。

它最值钱的设计,我认为是那一步「分析之后可以人工编辑」。

因为从一次示范里反推意图,本来就是件容易走偏的事——你顺手做的两个动作,到底是有意为之还是无关操作,判断权最好还是留在人手里。它没把自己包装成全自动黑盒,而是把审阅环节明明白白摆在流程中间。

这也是我为什么觉得它比传统的宏录制值得看:宏记录的是动作,它想记的是意图。

FIG.05 分析结果页,每一步都能点击编辑

要说边界,也一起讲清楚。

它深度绑定微软自家生态。分析靠 GitHub Copilot,产物主要给 Scout、Cowork、Studio 用。生成的 SKILL.md 本身是通用格式,其他的 Agent 要拿来用得自己适配一圈,安装后有不适配的问题可以和 AI 聊补上缺失的内容;

安装方式偏开发者,源码发布这条路对不写代码的人不太友好——不过找到 release 页复制一行命令,也比从零配环境简单多了。

录制期间涉及隐私,这件事绕不过去,它已经把提醒做到位了,剩下的看你自己。

FIT FOR

每周或者每月要重复做一遍的流程,最合适。做一次,录下来,以后交给 Agent。

跨好几个软件的活,比如要一边看浏览器一边填桌面应用的那种,也合适——这正是它擅长的场景。

复杂到讲不清、但演示一遍就懂的事,更合适。你带过新人就懂这种感觉,有些东西你根本写不成文档。

反过来,一次性的、或者你自己都还没想清楚流程的事,先别录。录出来的东西也是乱的。

我自己想的一个用法,是拿它当流程考古工具。

有些活我做了半年,早就形成肌肉记忆了,让我写下来我反而卡壳。那就录一遍,让它把步骤拆出来给我看——很多时候不是 AI 学不会,是我自己都没意识到我是怎么做的。

拆出来之后再看哪些该保留、哪些其实可以删掉,这个过程本身就挺值。

感兴趣的话,仓库在 microsoft/skill-recorder,MIT 协议,随便看。

最后,我建了一个交流群给大家友好交流,有问题可以在群里提出来,大家相互回答一下;我做的开源项目也会同步发到群里;欢迎大家加入~后台发送「交流群」就可以了~

END OF DOC

以上,既然看到这里了

如果觉得不错,随手点个赞、在看、转发三连吧;如果想第一时间收到推送,也可以给我个星标 ⭐

👍 点赞
👀 在看
↗ 转发

谢谢你看我的文章,我们,下次再见。

/ 作者:Patrick

/ 这里分享好用的AI工具和skill

/ 创作不易,三连支持一下吧~

相关学习资料