暴涨50k Star!港大让AI接管45款桌面软件

最近接了个活：让 agent 把一批产品截图批量压成 WebP、再加个水印。写脚本？agent 秒完。结果它卡在最后一步——图得用 GIMP 处理，而 GIMP 没有 agent 能调的 API。我最后还是自己开了软件手动点完的。这事暴露出一个断层：Claude Code、Cursor 这些 agent 强在"敲命令"，但大量桌面软件只有图形界面，agent 够不着。

现有两条路都堵：

• 视觉操作（computer use）：截屏、识别按钮、模拟点击。慢、贵、不稳定，点错一步全盘崩。
• 等厂商开放 API：多数软件永远不会开。

港大 HKUDS 实验室（LightRAG 同门）今年 3 月放出的 CLI-Anything，就是冲着这个断层来的：2026-03-08 建仓，6 个月做到约 50.7k Star、4.6k forks，Apache 2.0 协议，还附带 arXiv 技术报告。

一句话定位

给任意 GUI 软件自动生成一套 agent 能懂的 CLI 接口（harness），不改造软件、不等厂商 API，把现有软件直接变成 Agent 可调用的工具。

口号很直白："Today's Software Serves Humans. Tomorrow's Users will be Agents."

核心亮点拆解

能力层面：7 阶段流水线，从源码到可用 CLI。 对着软件仓库说一句 /cli-anything ./gimp，它自动跑完分析→设计→实现→测试规划→写测试→文档→发布 7 个阶段（据官方 README）。官方主表已覆盖 45 款软件，2,461 个测试全部通过——含 1,732 个单元测试和 579 个端到端测试。

效果看官方演示：Agent 用 FreeCAD CLI 搭出好奇号火星车模型，带预览和轨迹回放：

Agent 用 Blender CLI 构建轨道中继无人机：

架构层面：Agent-first 的确定性输出。 每条命令内置 --json 参数输出结构化数据，--help 自描述供 agent 自主发现能力，每个 CLI 还自动生成一份 SKILL.md（智能体技能描述文件，流水线 Phase 6.5 由 Click 装饰器元数据生成）。agent 不用猜、不用解析界面，行为可预测、结果可复现。

团队层面：CLI-Hub 统一分发。pip install cli-anything-hub 后，cli-hub list/search/install/update/launch 一站式管理全部社区 CLI，操作习惯和 pip 一致；agent 还能自己去 Hub 里发现、安装、读懂 SKILL.md 再干活（据官方 README）。

核心原理与架构差异

为什么它比视觉操作更适合进生产？

旧方案缺陷： 视觉操作把 GUI 当图片理解，每一步都有识别误差；模型直接猜接口，输出不可复现。这两条路都没法进生产。

新架构设计： CLI-Anything 不碰 GUI，而是扫描软件源码，把 GUI 操作映射到内部 API，再用 Python 的 Click 框架生成一层 CLI 壳——输入输出全部结构化。

核心优化点：

• 确定性：同样的命令、同样的 JSON 输出，可复现、可审计
• 自描述：agent 靠标准 --help 就能自主发现能力，不用喂文档
• 可迭代：refine 命令做差距分析，增量补命令、补测试，反复跑不破坏已有覆盖

看一个确定性输出的例子

$ cli-anything-libreoffice --json document info --project report.json
{
"name": "Q1 Report",
"type": "writer",
"pages": 1,
"elements": 2,
"modified": true
}

连《杀戮尖塔 II》这种连 API 都不存在的游戏，也能套壳让 agent 自动游玩：

还能通过 MCP（模型上下文协议）实时驱动正在运行的 ArcGIS Pro 会话——不关软件、不重开，直接接管：

个人快速上手

据官方 README，三步（Python 3.10+）：

# 1. 装 CLI-Hub 包管理器
pip install cli-anything-hub

# 2. 给 agent 装元技能（让它自己发现和安装 CLI）
npx skills add HKUDS/CLI-Anything --skill cli-hub-meta-skill -g -y

# 3. 或单独装某款软件的 CLI 技能
npx skills add HKUDS/CLI-Anything --skill <skill-name> -g -y

Claude Code 用户也可以走插件方式：/plugin marketplace add HKUDS/CLI-Anything，然后 /cli-anything ./gimp 一条命令生成完整 CLI。

支持 Claude Code、Cursor、Pi、OpenClaw、OpenCode、Codex 等主流 agent。注意：多数 harness 要求本地先装好对应软件（GIMP、Blender 等）。

说明：以上均来自官方文档，我尚未完整实测，具体以仓库 README 为准。

团队落地方案

以下是基于官方文档能力的落地方案推导，供团队参考，非官方宣称的现成落地方案：

1. 改造思路：不迁移业务系统，把"需要 GUI 软件"的环节外包给 harness。agent 通过 SKILL.md 学会用哪个 CLI，人只验收结果。

2. 批量部署：用 CLI-Hub 统一团队 harness 清单，全员 cli-hub install 同一版本，避免各装各的、版本漂移。

3. 流水线集成：CLI 本来就是命令行，天然能进 GitLab CI/Jenkins——把"导出报表""批量转格式"这类 GUI 操作变成流水线步骤。

4. 规范定制：JSON 输出结构化、可审计；自己软件的 harness 可以走 PR 进 Hub，统一团队规范。

真实适用场景

• 设计/建模/剪辑自动化：GIMP 修图、Blender 建模、Kdenlive 剪辑的批处理
• GIS 与工程：QGIS 出图、FreeCAD 建模，agent 按指令执行
• 知识管理：Zotero、Obsidian、Joplin 的批量整理
• 直播与会议：OBS 场景切换、Zoom 操作
• 流程编排：n8n、ComfyUI、Ollama 的 agent 化调用

一张官方演示感受下：agent 全程用命令行在 Draw.io 画出 HTTPS 握手时序图：

成品图：

客观优缺点 + 避坑指南

核心优势：

• 切入点务实：不逼厂商开放 API，用最古老的 CLI 做通用接口
• 2461 个测试兜底 + 100% 通过率，不是 demo 工程
• 港大团队 + arXiv 报告 + 中英文档，背书扎实

局限：

• 生态是命门：价值依赖社区持续贡献 harness，覆盖增速看社区热度
• 对本来就有成熟 CLI 的工具意义不大，主要解决"没有 CLI 的 GUI 软件"
• 环境门槛：多数 harness 要本地先装好对应 GUI 软件
• 2026 年 3 月才建仓，个别 harness 质量参差、迭代很快

写在后面的话

一句话：不改造软件、只套 CLI 壳，就让 agent 从"只能敲命令"变成"能修图、能建模、能画地图"——比逼厂商开放 API 务实多了。推荐指数拉满。做 agent 自动化、想打通桌面软件工作流的团队，值得现在就装一个试。

GitHub地址：

 https://github.com/HKUDS/CLI-Anything

你最想让 AI 接管哪款桌面软件？评论区聊聊。

如果这篇文章对你有帮助，欢迎点赞+在看+转发