夜雨聆风学习资料网

ARTICLE · 1379592

6 万星的插件:让 AI 不用截图,直接使唤专业软件

6 万星的插件:让 AI 不用截图,直接使唤专业软件

方块代表干活的智能体,中间是它们共用的命令行面板

你让 AI 帮忙把一批图裁成同一个尺寸,或者给一段视频加字幕。它答应得挺痛快,真到动手那一步就卡住——软件在桌面上开着,它看不见,也点不着。有些 agent 会退一步,改成截图、找按钮、挪鼠标,点歪一次,整套流程从头再来。

香港大学数据智能实验室(HKUDS)的CLI-Anything走的是另一条路:不教 AI 看屏幕,给软件开一个命令行。仓库今年 3 月开源,到 11 月 18 日 59,350 星,Apache-2.0 协议。

 | 它没有重写软件,只是给软件装了方向盘

插件装进 agent 之后,多了一条/cli-anything <软件目录或仓库>。你把 GIMP 的源码丢过去,它自己读完代码,摸清界面上那些操作背后调的是哪个函数,再写出一整套命令行:新建图层、套滤镜、导出图片,都能一行敲出来。

官方把流水线拆成七步:读源码、设计命令组、写实现、列测试计划、写测试、补文档、打包。在生成的 harness 目录里跑一遍pip install -e .,一个cli-anything-gimp就装进了 PATH,agent 拿--help就能自己摸清有哪些命令。

差别就在这儿。命令是新的,干活的还是原来那个程序:LibreOffice 真出 PDF,Blender 真渲染,Audacity 真处理音频。市面上不少「让 AI 操作软件」的方案,本质是做一个简化替代品,功能砍掉一半;CLI-Anything 是给原装软件接了一根文字线。

 | 强在这几处

输出是给机器读的。每条命令都带--json:人看表格,agent 读结构化结果,不用从一段自然语言里猜。项目状态能存能撤,一步没干好可以退回去。

交出来的东西自带测试。每个 harness 都带着单元测试、端到端测试,还有装好之后再跑一遍的子进程验证。仓库自列的汇总里,30 个软件合计 2,464 项测试全部通过——这不是我们实测的数字,是它自己写的成绩单,但至少能看出这批 harness 不是跑个 demo 就交差。

它造出来的 CLI,自己又是一个 skill。流水线最后会生成一份 SKILL.md,写明有哪些命令组、怎么调、JSON 长什么样。也就是说这东西有滚雪球的一面:你给别人做的 CLI,别的 agent 能发现、能直接用;CLI-Hub 这个注册表攒的就是这些成品,一条命令装一个。

创意类软件还能边做边看。Blender、FreeCAD 这几个 harness 带预览:agent 每跑一步都能拿到一张渲染图,自己看效果、自己改,不用人在旁边盯着说「再往左一点」。官方演示里那台火星车和那架无人机,就是这么一层层加上去的。

 | 哪些 agent 能用

官方铺得比较开,主流编码 agent 基本都有入口:

agent
入口
Claude Code
插件市场两条命令,官方主推的路子
Codex
跑仓库里的 codex-skill 安装脚本
Cursor
用 cursor-plugin 目录里的插件
OpenCode
把 opencode-commands 拷进命令目录,官方标了实验性
Pi
扩展目录里带 install.sh
OpenClaw、Nanobot、Antigravity
装 CLI-Hub 的 meta-skill,一条 npx skills add
Hermes、Reasonix、Qodercli、Copilot CLI、Goose
各有 skill 或插件包,官方标社区或实验性

这张表不用记。兜底一句话:生成出来的 CLI 就是一个标准命令行程序,任何能跑 shell 的 agent 都能调,不绑某一家。

 | 效率最高的地方,是"重复"两个字

左边每一步都要一张截图,右边每一步都是一条命令

真正省时间的有三处,大致是这么个顺序。

一是同一套操作要重复很多遍。一批图裁成同样尺寸、盖同样水印,几十条视频压成同样码率——人在界面里点一百次,agent 在命令行里写一个循环。这类活原本最磨人,也最适合交出去。

二是步骤多、参数要反复试。渲一张,换个角度再渲一张;改一版参数,跑一版看看。界面里每改一次都要翻一遍菜单,命令行里只改一个数字重跑。

三是跨软件接力。一个 CLI 的输出文件,直接喂给下一个 CLI。中间不用人另存为、不用切窗口,也不用盯着进度条。

为什么快,道理不复杂:截图那条路,每一步都得把一张图交给模型看,模型算完坐标点下去,再截一张确认;命令行这条路,一步一条命令,回来的是一段结构化文本。往返次数少了,结果还是确定的——同一条命令重跑一遍,还是那个结果。

反过来说,也有不划算的活。只干一次、又要人眼审美的操作,比如给一张封面调气质,自己动手更快。生成 harness 本身要花时间,官方也说要跑 refine 补覆盖,用一次就扔的活不值当。

 | 两个入口:自己生成,或者直接装

两条入口最后都落到同一套命令行上

手上有源码或者内部工具,就让 agent 自己生成。以 Claude Code 为例,三条命令,第三条要填你自己的软件路径:

/plugin marketplace add HKUDS/CLI-Anything/plugin install cli-anything/cli-anything ./gimp

CLI-Hub 里已经有人做好的,装个包管理器直接搜:

pip install cli-anything-hubcli-hub search imagecli-hub install gimp

装之前有两件事得清楚。第一,CLI-Anything 包的是接口,不是软件本身——要调 GIMP,本机得先有 GIMP;要调 Blender,Blender 得先装着。第二,需要 Python 3.10 以上;Windows 上还得有 Git for Windows 或 WSL,不然会报cygpath找不到。

还有一条:把公司内部代码库丢给云端 agent,代码等于交出去。涉密项目先确认你的 agent 是在本机跑还是云端跑。

 | 官方自己写的三条限制

吃模型。README 点名要 Claude Opus 4.6、Sonnet 4.6、GPT-5.4 这一档,弱一些的模型生成出来的 CLI 可能残缺,得手工补。

要源码。只有编译好的二进制、需要反编译的软件,生成质量会明显下降。

一次不一定够。首轮跑完常常要再跑/cli-anything:refine,按缺口补命令、补测试。它每次只做增量,不会推翻前面的成果。

这东西的意义,可能不在今天能替你改几张图。它押的是一个更远点的判断:以后用软件的不只是人,还有 agent,那软件就该留一个 agent 能读能写的入口。半年多涨到 59,350 星,说明这个判断有不少人认同。至于要不要动手,看你手上有没有那种每周都要重复几十遍的活——有,值得花点时间把环境配好;没有,等真遇上了再回来。

数据来源:GitHub API(Star 截至 2026-11-18)及仓库 README、arXiv 技术报告 2606.03854。测试数量为仓库自列汇总,非第三方复现;具体命令、入口与效果以你实际看到的为准;本文未做实测。配图为自绘概念图,非官方产品图。仓库许可为 Apache-2.0。


谢谢你读到这里。

点个在看把这份温暖传下去吧~

关注一下,下次见面不迷路☀️

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料