前言

随着 Codex、Claude Code 等 AI Coding Agent 的快速发展，越来越多的开发者开始思考一个问题：

❝

AI 能不能像真人一样完成视频剪辑？

答案是：可以，而且已经能够应用于生产环境。

不过，需要明确一点：目前剪映（CapCut）并没有公开官方开发 API。因此，Codex 并不是直接调用剪映接口，而是通过 MCP（Model Context Protocol）+ Windows Automation + OCR + Vision 等技术，实现桌面自动化控制。

整个控制架构如下：

                 用户                  │                  │       "帮我剪辑今天的视频"                  │                  ▼           Codex Agent                  │          理解自然语言                  │                  ▼            MCP Server                  │      Tool Calling / Plugin                  │                  ▼       Windows Automation     ┌──────────────┐     │ UIAutomation │     │ OCR          │     │ Mouse        │     │ Keyboard     │     └──────────────┘                  │                  ▼             剪映专业版

Codex 的职责主要包括：

• 理解用户需求
• 制定执行计划
• 调用 MCP Tool
• 控制自动化流程

真正负责点击按钮、输入文字、拖拽素材的是 Windows Automation 层。

一、企业级整体架构设计

一个生产环境的视频自动剪辑项目，建议采用如下目录结构：

capcut-agent/├── agent/│      Codex Agent│├── mcp/│      MCP Server│├── controller/│      capcut.py│├── tools/│      mouse.py│      keyboard.py│      ocr.py│├── vision/│      gpt_vision.py│├── config/│      config.yaml│├── logs/│├── screenshots/│├── assets/│└── main.py

这种设计遵循模块化思想：

• Agent：负责理解用户需求
• MCP：负责工具调度
• Controller：负责业务逻辑
• Automation：负责桌面操作
• OCR：负责识别界面元素
• Vision：负责 AI 图像分析

各模块职责单一，方便维护和扩展。

二、完整工作流程

假设用户输入：

❝

帮我剪辑今天拍摄的视频。

Codex 会自动规划如下流程：

打开剪映      ↓等待程序启动      ↓点击"开始创作"      ↓导入视频素材      ↓拖入时间轴      ↓自动生成字幕      ↓添加转场效果      ↓导出视频

整个 Workflow 如下：

Prompt   │   ▼Codex   │   ▼MCP Server   │   ▼Automation Tool   │   ▼CapCut

整个过程无需人工干预。

三、为什么必须使用 MCP？

很多初学者会直接编写如下代码：

pyautogui.click(500, 300)

这种方案存在明显问题：

• 软件升级后按钮位置发生变化
• 不同分辨率坐标不同
• 多显示器环境容易失效

生产环境更推荐如下流程：

Codex   ↓find_button("开始创作")   ↓OCR   ↓计算坐标   ↓鼠标点击

这样能够显著提升自动化系统的稳定性。

四、生产级 MCP Server

首先创建 MCP 服务：

from fastmcp import FastMCPmcp = FastMCP("CapCutAgent")

注册工具：

@mcp.tool()defopen_capcut():"""打开剪映"""

继续注册：

@mcp.tool()defimport_video(path: str):"""导入视频"""

导出工具：

@mcp.tool()defexport_video(output: str):"""导出视频"""

Codex 会自动识别这些 Tool，并根据用户需求完成调用。

五、CapCutController 模块

企业项目建议封装 Controller：

classCapCutController:defopen(self):        ...defimport_video(self):        ...defsubtitle(self):        ...deftransition(self):        ...defexport(self):        ...

这样可以将所有业务逻辑集中管理，提高代码可维护性。

六、自动启动剪映

推荐直接启动程序：

import subprocesssubprocess.Popen(r"C:\Program Files\CapCut\CapCut.exe")

相比模拟 Win 键搜索，稳定性更高。

七、等待程序启动

避免使用固定等待时间：

time.sleep(15)

推荐循环检测窗口：

whileTrue:if window_exists():break    sleep(1)

这样能够根据实际启动速度动态等待，提高执行效率。

八、Windows UI Automation

推荐使用 uiautomation 库：

import uiautomation as autowindow = auto.WindowControl(    Name="剪映专业版")window.SetActive()

查找按钮：

button = window.ButtonControl(    Name="开始创作")button.Click()

无需依赖固定鼠标坐标。

九、自动导入素材

扫描素材目录：

from pathlib import Pathvideos = list(    Path("D:/素材").glob("*.mp4"))

批量导入：

for video in videos:    controller.import_video(video)

支持批量处理 MP4、MOV 等常见视频格式。

十、为什么一定要模块化？

未来不仅需要控制剪映，还可能控制：

• Photoshop
• OBS Studio
• Chrome
• Excel
• Word
• VS Code

因此建议抽象出统一 Automation Layer：

Automation├── Mouse├── Keyboard├── OCR└── Vision

未来所有桌面软件都可以共享这一层能力。

本篇总结

本文详细介绍了：

• Codex 自动控制剪映整体架构
• MCP Server 工作流程
• Windows UI Automation
• OCR + Vision 自动识别
• 企业级项目目录设计

需要再次强调：

目前剪映没有公开官方 API。

因此，生产环境通常采用：

❝

Codex + MCP + UIAutomation + OCR + Vision

实现 AI 自动剪辑，而不是直接调用官方接口。