让AI帮你造个自控软件

上篇我让 AI 亲手打开微信、发了条消息，还接飞书远程派活。初体验，这功能——真香。

香是香，但我得泼盆冷水：那种“AI 现看现点”的玩法，只适合一次性、探索性的事。

它每一步都要截屏 + 模型推理，慢；同一个任务跑两次路径可能不一样，不可复现；而且用的是特殊模型，每一步都烧积分。你要是每天让它干同一件固定的事，又慢又贵还不稳，等于雇了个记性不好的临时工天天打卡。

如果大量重复工作也这么用，积分还是挺肉疼的。

那固定流程该交给谁？交给你自己写的脚本。成本几乎是零，跑一千次都一模一样，也不需要烧任何 AI 积分。

这篇就把“怎么自己写一个会操作电脑的脚本”讲透——原理不复杂，而且最妙的是：这套东西你不用自己从头写，把需求丢给 AI，它就能帮你写出来。

把两篇放一起看就清楚了：

一句话：没见过的活让 AI 试着干，天天干的固定活自己写脚本。 两样都不是万能，但各管一摊，合起来才完整。

剥开花活，控制一个软件自动取数，本质就三步，第三步最容易被忽略，也最容易出事故：

定位：找到目标窗口、找到要点的那个控件。

操作：把它激活到前台，发鼠标键盘事件。

校验：确认真的到位了，再截图取数。

血泪教训就一句话：不做校验的脚本不是“能跑”，只是“还没出事”。

我这里出过两类事故——只管滚动不验证，结果交了列表中间的错图；判据写得太松，错误页面也蒙混过了校验。所以校验不是锦上添花，是命门。

一个靠谱的控制脚本，骨架长这样：

找窗口 → 唤回 → 重启兜底；激活并复核是否真的到了前台；按固定坐标或 OCR 定位去导航；校验是不是真的在目标页；滚动并自证滚到位了；窗口截图；用锚点裁切出你要的那块。

两条铁律，建议刻在脑子里：

绝不静默交差——任何一步没把握就报错退出，宁可不产出，也不要产出错的。每个关键步骤都要能自证——到没到目标页？滚没滚到顶？数据刷新了没？

只要守住这两条，脚本就能在没人盯着的情况下天天跑、还不出假数据。

第一个：固定坐标 vs OCR 定位。 能用固定坐标就用固定坐标——稳、快、没有识别波动。但坐标要用窗口内相对偏移，别用绝对屏幕坐标，否则窗口一挪就点偏。只有内容位置会变的地方（比如列表项、区块标题），才上 OCR。

第二个：逻辑点 vs 像素。 你发点击事件用的是逻辑点，但截图出来是两倍像素。换算要记得除 2，否则坐标整体偏掉一截，点到隔壁去。

这两个坑踩过一次，你就再也不会忘。

挑几个最有代表性的：

只操作不验证——前面说了，这是最贵的一课，交过错图才知道疼。

判据太松——“整张图里有没有某个词”这种判据不可靠，错页面的边栏里可能正好有同名字样，校验就过了。判据必须限定到目标区域。

OCR 的 y 轴镜像——苹果 Vision 框架的识别框是左下原点，而区域矩形是从上往下算的。全屏区域恰好抵消看不出来，局部区域会直接算到屏幕另一头，页面校验永远失败。

焦点被抢——你在用别的软件，目标窗口就被抢回后台，截图截到别人的画面。手动测试时要把“激活 + 跑脚本”放在同一条命令里。

沙箱静默失败——某些环境会拦工作区外文件的写入删除，症状是静默失败，删完还必须自己复核。

坑的本质都一样：你以为到位了，其实没有。所以才要“每步自证”。

前面那些原理、骨架、坑，你现在不用背。真正想说的是这句：

你只需要会描述“我要让某个软件自动做某件事”，把这套原理 + 骨架 + 取舍丢给任意一个 AI，它就能给你写出一份能跑的专属脚本。

我造的这套自动化，靠的就是 WorkBuddy：它帮我编译脚本、改源码、看截图调边界、后台跑长任务、把结论写进跨会话的 memory。但我今天想给你的是更通用的东西——一份需求描述模板，你填空后直接丢给 AI 就行：

我要一个 macOS 脚本，控制 [软件名] 自动完成 [具体任务，比如每天定时打开直播，录制并转成文字稿和总结]。

要求：

1. 用 [你熟悉的语言，比如 Swift / Python]；

2. 流程严格按“定位窗口 → 激活并复核前台 → 导航 → 校验到位 → 操作并自证 → 窗口截图 → 锚点裁切”；

3. 每一步都要能自证，任何一步没把握就报错退出，绝不静默交差；

4. 点击坐标用窗口内相对偏移，截图用窗口截图；

5. 需要定位时用 OCR 锚点，注意 Vision 的 y 轴是左下原点；

6. 给我可直接编译/运行的完整代码，并列出需要的系统权限。

把这坨 + 具体软件和任务描述，丢给 WorkBuddy 或任意大模型，出来的就是一份零成本、可复现、跑在你自己电脑上的自控软件。

AI 出代码，你出需求，积分一分都不用花——这才是上篇那个“AI 动手操作”之外，更省、更稳的那条路。

上篇的 AI 手操和这篇的自研脚本，其实是同一件事的两面：把“操作电脑”这件事从人力里外置出去。区别只在于，探索性的交给会思考的 AI，固定的交给会重复的脚本。

外置一次是省事，外置多了就是复利。等你攒下三五个这样的小脚本，你会发现——原来每天花在重复操作上的那点精力，早就该还给自己了。

固定流程别再让 AI 一遍遍手动点：把需求丢给 AI，它就能写出零成本、可复现、跑在你自己电脑上的自控脚本。

如果今天这篇对你有启发，欢迎点赞、在看、转发三连。