乐于分享
好东西不私藏

OpenAI:你干的活,AI看一遍就学会了

OpenAI:你干的活,AI看一遍就学会了
不达聊AI

大家好,我是不达。

先问个扎心的问题:你每个月是不是都有那么几件事,重复、机械、毫无技术含量,但又不得不做?

比如填报销单——打开系统,登录,点新建,选类别,传发票,填金额,写备注,提交,然后祈祷财务别打回来。整套动作你闭着眼都能做,做了三年,肌肉记忆比拿筷子还熟。

以前你想让电脑替你干这种活,得写脚本、配 RPA、跟按键精灵斗智斗勇。现在 OpenAI 说:别写了,你做一遍给 AI 看就行。

这就是 6 月 18 日刚上线的新功能——Record & Replay(录制与回放),挂在 OpenAI 的 Codex 应用里。今天不达就把它是什么、怎么用,一次给你讲明白。

01  这到底是个啥?

一句话:你在 Mac 上把一件事演示一遍,AI 在旁边看着,看完就把这套操作打包成一个可以反复使用的"技能"(Skill),以后这活儿它替你干。

有点像老师傅带徒弟。老师傅不用写操作手册,就说一句看好了啊,然后当面做一遍。徒弟看完点点头:懂了,以后这活儿归我。

区别在于,这个徒弟不摸鱼、不请假、不提离职,而且看一遍是真的会了。

官方举的例子:填报销、订车位、按固定格式建工单、发布视频、下载周期报表。凡是步骤固定、每次就换点参数的活,都是它的菜。

02  这不就是按键精灵吗?

老网民看到这里可能要笑了:录屏幕操作然后回放?按键精灵二十年前就有了,大鹅厂的游戏都被它刷怕了。

还真不一样,而且是本质上的不一样。

按键精灵和传统 RPA 记的是坐标:在屏幕 (312, 458) 的位置点一下,等 2 秒,再点 (500, 620)。哪天网页改版了,按钮挪了 3 个像素,整个脚本当场去世,你还得重录。

Record & Replay 记的是意图。你录完之后,它不会生成一堆坐标,而是写出一份人话版的说明书(一个叫 SKILL.md 的文件),里面写清楚四件事:

① 什么时候用 —— 这个技能适用于什么场景

② 需要什么输入 —— 比如这次要传哪张发票、填多少钱

③ 具体怎么做 —— 完整的操作步骤

④ 怎么算做完了 —— 成功的判断标准

执行的时候,是由大模型去理解这份说明书,再结合当前屏幕上的实际情况去操作。页面改版了?按钮换位置了?没关系,它认的是提交按钮,不是坐标 (500, 620)。

而且这份说明书你随时可以打开看、动手改。觉得它没学到你的精髓,直接补一句:文件命名必须用日期开头,它下次就照办。

顺便说个冷知识:这个思路在学术圈叫"演示编程"(Programming by Demonstration),上世纪 80 年代就有人研究,一直没做起来——因为从一次演示里总结出通用规律这步太难了。现在 OpenAI 把这步扔给大模型来干,几十年的老坑,算是被填上了。张无忌的看一眼就会神功也在现实应验了。

03  具体怎么用?

前提条件先说清楚,免得你兴冲冲下载完发现用不了:需要 Mac 电脑 + Codex 桌面应用(26.616 及以上版本)+ 付费的 ChatGPT 账号(Plus/Pro/Business 等都行),并且要把设置里的 Computer Use(计算机使用)功能打开。

然后就是六步,比注册公众号还简单:

1

打开 Codex 应用,进入 Plugins(插件)面板,点 +,选择 Record a skill(录制技能)

2

先跟它交代一下背景:你要干什么、哪些东西每次会变(比如"发票文件每次不同")。相当于开工前给徒弟打个招呼。

3

它会请求录制权限(观察你的操作和窗口内容),点同意。

4

该干嘛干嘛,把整个流程正常做一遍。不用刻意放慢,也不用配旁白。

5

做完了,从菜单栏或悬浮窗停止录制。Codex 开始消化这段演示,几分钟后交出一份技能草稿,你可以让它继续修改润色。

6

下次要干这活,新开一个对话,说"用那个报销技能,这是这个月的发票",把变化的参数丢给它,然后你就可以去泡茶了。

💡 官方给的几条录制心法:

· 演示要短而完整,别录到一半跑去回微信;

· 用真实数据演示,但密码和敏感信息千万别入镜;

· 活干完就停止录制,别把收拾桌面的操作也教给它;

· 录完记得把你的隐藏偏好补进去,比如命名规则、默认选项。

04  泼点冷水:它不是万能的

吹完了,按惯例不达要说几句大实话。

第一,门槛不低。目前只支持 macOS,Windows 用户暂时只能围观;欧盟、英国、瑞士首批还用不上;国内用户想体验,懂的都懂,得先解决入场券问题。

第二,长流程还是会翻车。有个很反直觉的数学:假设 AI 每一步的成功率是 85%,听起来不错吧?但一个 10 步的流程串下来,从头到尾全对的概率只剩 20% 左右——一步一步乘下去,折损得比你想象的快。所以官方自己也承认,它最适合步骤稳定、成功标准清晰的任务。让它填报销可以,让它替你做年终述职,还是算了。

第三,权限问题自己掂量。录制时它会观察你的屏幕内容,执行时它能替你点鼠标敲键盘。收益和风险从来是一对,涉及银行、支付这类操作,建议还是自己的手自己动。

05  不达怎么看

这个功能本身不算惊天动地,但它代表的方向很值得琢磨:人和 AI 的交互方式,正在从说变成做。

过去两年我们都在学怎么写提示词,怎么把需求描述得又准又全。但很多活儿,做一遍只要三分钟,写清楚步骤得琢磨半小时——语言是有损压缩,演示才是原图直出。

而且技能是可以共享的:你录一遍,整个部门都能用。以后公司里最值钱的老员工,可能不是干活最快的那个,而是录了最多技能的那个——他把二十年工作经验全打包成了 Skill,人还没退休,数字分身已经在替全公司打工了。

至于我们这些普通打工人,先别焦虑。AI 学会的是你重复劳动的部分,把这部分交出去,你才有空干点它学不会的事——比如,思考。

END

我是不达,专门把 AI 圈的新鲜事翻译成人话。

觉得有用,点个 爱心 和 小赞,我们下期见