OpenMontage:让 AI 编程助手变成一整个视频制作团队

OpenMontage — 首个开源的、基于 AI 智能体的视频制作系统

一句话定位

OpenMontage 不是"AI 视频生成器"，而是一个端到端的 AI 视频制作流水线系统。

它不直接从文字生成视频像素。它做的事情更有野心——模拟一整个影视制作团队的工作流：研究 → 提案 → 脚本 → 场景规划 → 素材获取 → 剪辑 → 合成渲染，全部由你的 AI 编程助手自动编排完成。

用项目 README 的原话说：

重要的区别： OpenMontage 可以制作基于图像生成的视频，但它也能为免费/开源工作流制作真正的原生视频（video video）：智能体会从免费的免版税素材和开源档案中建立语料库，检索实际的动态画面，将它们剪辑到时间线中，并渲染出成品。这绝非通常那种“让几张静态图片动起来就称为视频”的把戏。

一、它解决了什么问题？

现状：AI 视频工具 = 单步生成

市面上大多数 AI 视频工具（Runway、Pika、Sora 等）做的事情是：

提示词 → [AI 模型] → 5-10 秒视频片段

这是一个单步映射。你得到的是一个片段，不是一部作品。没有脚本，没有场景规划，没有剪辑逻辑，没有调色，没有字幕——什么都没有。

OpenMontage：完整的制作流水线

OpenMontage 的野心完全不同：

一句话描述 → [AI 智能体编排] → 完整成品视频

中间经历的是一个结构化的多阶段制作流程，每个阶段都有专门的"导演技能"指导、质量检查关卡和人工审批节点。

剪辑您自己的口播素材。从零开始生成一个完全动画化的解说。将长达 2 小时的播客剪辑成十几个社交短片。将您的内容翻译并配音成 10 种语言。用库存影像和 AI 生成的场景构建电影级品牌预告片。只要制作团队能做出来的东西，OpenMontage 就能编排它。

二、架构：AI 就是导演

OpenMontage 最激进的设计决策是：没有 Python 编排代码。

传统做法 vs OpenMontage 做法

三层知识架构

┌─────────────────────────────────────────────────────────────┐│  Layer 1: tools/ + pipeline_defs/                           ││  "有什么" — 可执行能力 + 编排剧本                            ││  57+ Python 工具 + 12 条 YAML 管道清单                       │├─────────────────────────────────────────────────────────────┤│  Layer 2: skills/                                           ││  "怎么用" — OpenMontage 的约定和质量标准                     ││  400+ Markdown 技能文件：管道导演、创意技巧、质量检查表        │├─────────────────────────────────────────────────────────────┤│  Layer 3: .agents/skills/                                   ││  "怎么运作" — 外部技术知识包                                  ││  FFmpeg、Remotion、HyperFrames、GSAP 等深度技术指南           │└─────────────────────────────────────────────────────────────┘

每个工具都会声明其依赖哪些 Layer 3 技能。智能体读取 Layer 1 了解有哪些可用工具，读取 Layer 2 了解 OpenMontage 期望的使用方式，当需要时，读取 Layer 3 获取深入的技术知识。

智能体的工作循环：

1. 读取管道清单 (YAML) → 了解"有几个阶段、每阶段用什么工具"2. 读取阶段导演技能 (Markdown) → 了解"这个阶段具体怎么做"3. 调用 Python 工具 (BaseTool) → 实际执行4. 自审 (meta skill) → Schema 验证、质量检查5. 保存检查点 (JSON) → 可恢复，带决策日志6. 提交你审批 → 在所有创意决定点保持你的控制权

Python 只提供工具和持久化。 所有的创意决策、编排逻辑、审查标准都存在于可读的指令文件中——您可以检查和自定义它们。

工作原理

OpenMontage 采用 智能体优先 (agent-first) 的架构。这里没有代码编排器。您的 AI 编程助手本身就是编排器。

您：“制作一个关于黑洞是如何形成的解说视频” | v智能体读取流水线清单 (YAML) -- 阶段、工具、审查标准、成功关卡 | v智能体读取阶段导演技能 (Markdown) -- 如何 (HOW) 执行每个阶段 | v智能体调用 Python 工具 -- 评分选择器在 7 个维度上对每个工具进行排名 | v智能体使用审阅者技能进行自我审查 -- Schema 验证、剧本依从性、质量检查 | v智能体保存状态检查点 (JSON) -- 可恢复，带有决策日志和成本快照 | v智能体提交等候您的批准 -- 在所有创意决定点保持您的控制权 | v合成前验证关卡 -- 交付承诺、幻灯片风险检测、渲染器治理 | v渲染 (Remotion 或 FFmpeg) -- 与视觉语法匹配的合成引擎 | v渲染后自我审查 -- ffprobe、帧提取、音频分析、承诺验证 | v最终视频输出 -- 只有通过自我审查才会输出

每一项决定都会被记录，包括考虑过的备选方案、置信度得分以及每次选择背后的推理。

网络研究是一等公民（first-class stage）。 在写下一句脚本之前，智能体会搜索 YouTube、Reddit、Hacker News、新闻网站和学术资源。它会收集数据点、受众问题、热门角度和视觉参考，然后将所有内容记录在结构化的研究简报中。您的视频将立足于真实、当前的信息，而不是幻觉产生的虚假事实。

三、项目结构

OpenMontage/├── AGENT_GUIDE.md        # 操作指南和智能体契约 — 智能体首先阅读这个├── PROJECT_CONTEXT.md    # 架构参考 — 关键文件、约定、代码库导航├── config.yaml           # 全局运行时配置（LLM、预算、检查点、输出、路径）├── .env.example          # API 密钥模板│├── lib/                  # 核心运行时基础设施│   ├── config_model.py   # Pydantic 配置模型│   ├── checkpoint.py     # 管道状态持久化与阶段转换│   ├── pipeline_loader.py # YAML 清单加载与验证│   ├── media_profiles.py # 平台特定渲染参数（YouTube、TikTok 等）│   └── scoring.py        # 7 维评分引擎│├── tools/                # 57+ Python 工具实现│   ├── base_tool.py      # 抽象基类 — 工具契约│   ├── tool_registry.py  # 自动发现单例注册表│   ├── cost_tracker.py   # 预算管控（估算 → 锁定 → 结算）│   ├── analysis/         # 转录、场景检测、帧采样、视频理解│   ├── audio/            # TTS（10+ 提供商）、音乐生成、混音、增强│   ├── avatar/           # 数字人动画、唇形同步│   ├── enhancement/      # 超分辨率、背景移除、人脸修复、色彩调色│   ├── graphics/         # 图像生成（FLUX、GPT Image、Recraft 等）│   ├── subtitle/         # SRT/VTT 字幕生成│   └── video/            # 20+ 视频生成提供商、合成、拼接、裁剪│├── pipeline_defs/        # 12 条 YAML 管道清单│├── schemas/              # JSON Schema 验证定义│   ├── artifacts/        # 11 个制品 schema（brief → publish_log）│   ├── checkpoints/      # 检查点状态 schema│   └── tools/            # 工具特定 schema│├── skills/               # Layer 2：OpenMontage 专用智能体指令│   ├── core/             # FFmpeg、Remotion、WhisperX、调色技能│   ├── creative/         # 视频编辑、增强、数据可视化、提示工程│   ├── meta/             # 审查器、检查点协议、技能创建器│   └── pipelines/        # 每条管道的阶段导演技能│├── .agents/skills/       # Layer 3：外部技术知识包│                         # FFmpeg、HyperFrames、GSAP、Three.js 等│├── styles/               # 视觉风格剧本（YAML）+ 加载器├── remotion-composer/    # Node.js/React — Remotion 视频合成渲染器├── tests/                # 契约测试、QA 集成测试、评估工具└── docs/                 # 最佳实践指南、架构文档

四、12 条制作管道

OpenMontage 内置了 12 条完整的制作流水线，覆盖绝大多数视频内容场景：

每条管道都遵循相同的结构化流程：

研究 → 提案 → 脚本 → 场景规划 → 素材获取 → 剪辑 → 合成

每个阶段都有专门的 导演技能（Markdown 文件），指导智能体如何精确执行。智能体阅读技能、使用工具、自我审查、为状态做检查点，并在创意决定点请求人类批准。

五、100+ 制作工具

OpenMontage 注册了 57+ Python 工具，覆盖视频制作全链路。

包含定价与免费额度的完整设置指南：docs/PROVIDERS.md

视频生成 — 15 家提供商

图像生成 — 10 种工具/提供商

文本转语音 (TTS) — 4 家提供商

音乐、音效与后期制作

音乐与音效：

后期制作（始终可用，完全免费）：

画面增强：

分析：

化身与唇形同步：

合成与渲染

运行时会在提案阶段选择（render_runtime）并通过 edit_decisions 锁定。在运行时之间静默切换属于治理违规行为 — 详见 skills/core/hyperframes.md。

风格系统

风格剧本 (Style playbooks) 为您的制作定义了视觉语言：

剧本控制着排版、调色板、运动风格、音频配置和质量规则。智能体读取剧本并将其统一应用到所有生成的资产中。

平台输出配置

为所有主流平台内置的渲染配置：

六、零 API 密钥的体验

您不需要付费 API 密钥就能制作出真正的视频。开箱即用的 make setup 会为您提供：

三条近乎免费的路径：

• • 基于图像的视频： Piper 为您的脚本配音，图像提供视觉效果，而 Remotion 将其动画化为精心打磨的剪辑。
• • 本地角色动画： SVG 绑定、姿势库、GSAP 时间线以及 HyperFrames 会渲染卡通角色表演，输出到 projects/<project-name>/renders/final.mp4。
• • 真实素材视频： 纪录片蒙太奇流水线从 Archive.org、NASA、Wikimedia Commons 构建支持 CLIP 检索的语料库，然后将实际的动态影像剪辑成一部完整的视频。

如果您想要真实素材路径，请在提示词中要求制作纪录片蒙太奇（documentary montage）、音画诗（tone poem）或素材库拼贴（stock-footage collage），并明确说明只使用真实素材（use real footage only）。

七、制作治理：不是黑箱

这是 OpenMontage 与其他 AI 工具最大的区别之一——每一个决策都可审计。

质量关卡

• • 合成前验证 — 交付承诺强制机制拦截类似 PPT 播放效果的渲染；合成前验证检查避免计划崩溃浪费 GPU 算力
• • 渲染后自审 — ffprobe 验证 + 在 4 个位置提取帧检查黑屏和破损覆盖 + 音频电平分析（静音/削波检测）+ 交付承诺验证 + 字幕检查。如果审查失败，将不会展示此视频
• • PPT 风险评分 — 6 维度分析（重复性、装饰性视觉、运动幅度弱、镜头意图、过度依赖排版、不支持的电影级宣称），防止产出"带动画的 PPT"
• • 源文件检查 — 当用户提供自己的素材时，系统会探查每个文件（分辨率、编解码器、音频通道、时长）并在做出创意决策前建立规划预估

7 维评分选择器

所有工具选择都经过评分引擎：

任务契合度 (30%) + 输出质量 (20%) + 控制功能 (15%) + 可靠性 (15%) + 成本效益 (10%) + 延迟 (5%) + 连续性 (5%)

选择器会在打分前对松散的简报上下文进行标准化。如果智能体只知道类似"具有角色一致性的皮克斯风格动画短片"这样的信息，选择器会将其扩展为便于打分的意图和风格信号。

决策审计日志

每个重大决策都记录在 decision_log 中，包含备选项、置信度得分和推理过程：

{  "category": "render_runtime_selection",  "decision": "remotion",  "reason": "documentary-montage pipeline requires CinematicRenderer",  "options_considered": [    { "runtime": "remotion", "selected":true },    { "runtime": "hyperframes", "rejected_because": "..." },    { "runtime": "ffmpeg", "rejected_because": "..." }  ]}

累积的决策日志跨所有阶段持久保存，这样您就能确切追溯为何输出呈现出最终的模样。

预算管控

• • 执行前估算 → 锁定预算 → 事后结算
• • 可配置模式 — observe（仅跟踪）、warn（超支警告）、cap（硬性上限）
• • 按行动审批（默认阈值 0.50 美元）
• • 总预算上限（默认 10 美元，完全可配置）

没有意外账单。智能体在花钱之前会告诉您需要花多少钱。

八、如何使用

前置条件

• • Python 3.10+
• • FFmpeg — brew install ffmpeg / sudo apt install ffmpeg
• • Node.js 18+
• • 一款 AI 编程助手 — Claude Code、Cursor、Copilot、Windsurf 或 Codex

安装

git clone https://github.com/calesthio/OpenMontage.gitcd OpenMontagemake setup

没有 make？ 可以手动安装：

macOS / Linux：

python3 -m venv .venvsource .venv/bin/activatepython -m pip install -r requirements.txtcd remotion-composer && npm install && cd ..python -m pip install piper-ttscp .env.example .env

Windows PowerShell：

py -3 -m venv .venv.\.venv\Scripts\Activate.ps1python -m pip install -r requirements.txtcd remotion-composer; npm install; cd ..python -m pip install piper-ttsCopy-Item .env.example .env

Windows 注意： 如果 npm install 报错 ERR_INVALID_ARG_TYPE，请改用 npx --yes npm install。

配置 API 密钥（可选 — 密钥越多 = 工具越多）

编辑 .env 文件，每个密钥都是可选的，只需添加您拥有的即可：

# 图像 + 视频网关:FAL_KEY=your-key               # FLUX 图像 + Google Veo、Kling、MiniMax 视频 + Recraft 图像# 免费素材库:PEXELS_API_KEY=your-key        # 免费库存视频和图像PIXABAY_API_KEY=your-key       # 免费库存视频和图像UNSPLASH_ACCESS_KEY=your-key   # 免费库存图像# 音乐:SUNO_API_KEY=your-key          # 完整的歌曲、伴奏，涵盖任何流派# 语音与图像:ELEVENLABS_API_KEY=your-key    # 顶级的 TTS、AI 音乐、音效OPENAI_API_KEY=your-key        # OpenAI TTS、GPT Image 2 图像GOOGLE_API_KEY=your-key        # Google Imagen 图像、Google TTS（700+ 种声音）# 更多视频提供商:HEYGEN_API_KEY=your-key        # HeyGen — 汇集 VEO、Sora、Runway、Kling 的统一网关RUNWAY_API_KEY=your-key        # Runway Gen-4 直连KLING_API_KEY=your-key         # Kling 官方 APIARK_API_KEY=your-key           # 火山方舟直连 — Seedance 2.0XAI_API_KEY=your-key           # xAI Grok 图像编辑/生成 + Grok 视频生成

有 GPU 吗？解锁免费的本地视频生成：

make install-gpu# 然后添加到 .env:VIDEO_GEN_LOCAL_ENABLED=trueVIDEO_GEN_LOCAL_MODEL=wan2.2-ti2v-5b  # 或 wan2.1-1.3b, wan2.1-14b, hunyuan-1.5, ltx2-local, cogvideo-5b

开始制作

在您喜欢的 AI 编程助手中打开该项目，然后告诉它您的需求：

"制作一个 60 秒的动画解说视频，讲解神经网络是如何学习的"

"制作一部 75 秒的纪录片蒙太奇，展现雨中的城市生活。只使用真实素材，无旁白，需要一种挽歌般的基调和配乐。"

"制作一部 30 秒的吉卜力风格动画视频：云端漂浮的魔法图书馆，黄金时刻"

智能体会自动：

1. 1. 选择管道 → 读取清单 → 运行 preflight
2. 2. 通过实时网络搜索研究您的主题（15-25 次网络检索）
3. 3. 生成创意提案，等待您审批
4. 4. 逐阶段执行，每步都有检查点
5. 5. 渲染最终视频
6. 6. 运行多点自我审查（ffprobe 验证、帧采样、音频分析、交付承诺验证、字幕检查）

从您已经喜欢的视频开始

从参考视频开始通常比从空白提示词开始要快得多。OpenMontage 可以从 YouTube 视频、Short、Reel、TikTok 或本地片段开始，并将其转化为切实可行的制作计划：

1. 1. 粘贴参考视频
2. 2. 智能体会分析文案、节奏、场景、关键帧和风格
3. 3. 在全面制作之前，您会获得 2-3 个差异化的概念、诚实的工具路径、成本估算和样本

"这是一个我非常喜欢的 YouTube Short 视频。请给我制作一个类似的，但主题是关于量子计算的。"

您得到的回复绝非"盲目猜测的乱炖提示词"。您将得到：

• • 从参考视频中保留了什么：节奏、钩子风格、结构、基调
• • 改变了什么：主题、视觉处理、角度、旁白方式
• • 在您的目标时长下，资产生成开始前预估成本是多少
• • 使用您当前可用的工具实际渲染效果会是什么样

九、尝试这些提示词

设置完成后，将以下任何内容复制到您的 AI 编程助手中。每条指令都会运行一个完整的制作流水线。

从参考视频开始

"Here's a YouTube short I love. Make me something like this, but about CRISPR for high school students."（这是一个我非常喜欢的 YouTube 短片。请给我制作一个类似的视频，但主题是面向高中生的 CRISPR 基因编辑技术。）

"Analyze this Reel and give me 3 original variants I could make for my own product launch."（分析这个 Reel 视频并给我 3 个原创变体，我可以用它来发布我自己的产品。）

"I like the pacing and hook in this video. Keep that energy, but turn it into a 45-second explainer about black holes."（我喜欢这个视频的节奏和钩子。保持这种能量，但把它变成一个 45 秒的关于黑洞的解说视频。）

零密钥需求

"Make a 45-second animated explainer about why the sky is blue"（制作一个 45 秒的动画解说视频，解释为什么天空是蓝色的）

"Create a 60-second video about the history of the internet, with narration and captions"（制作一个 60 秒关于互联网历史的视频，包含旁白和字幕）

"Make a data-driven explainer about coffee consumption around the world"（制作一个关于全球咖啡消费情况的数据驱动型解说视频）

免费的真实素材纪录片路径

"Make a 90-second documentary montage about what a city feels like at 4am. Use real footage only, no narration, elegiac tone."（制作一部 90 秒的纪录片蒙太奇，展现凌晨 4 点城市的感觉。只使用真实素材，无旁白，挽歌般的基调。）

"Create a 60-second Adam-Curtis-style archival collage about 1950s consumer optimism. Prefer Archive.org and Wikimedia footage."（制作一部 60 秒 Adam Curtis 风格的档案拼贴画，探讨 20 世纪 50 年代的消费乐观主义。优先使用 Archive.org 和 Wikimedia 的素材。）

"Cut together a dreamlike montage about coming home in the rain using real stock footage only. Music yes, narration no."（用纯真实素材剪辑一个关于雨中归家的梦幻般蒙太奇。需要音乐，不需要旁白。）

配置了图像/视频提供商 (~0.15 美元–1.50 美元)

"Create a 30-second Ghibli-style animated video of a magical floating library in the clouds at golden hour"（制作一部 30 秒的吉卜力风格动画视频，展示黄金时刻云端上一座神奇的漂浮图书馆）

"Make a 30-second anime-style animation of an underwater temple with bioluminescent coral and ancient ruins"（制作一部 30 秒动漫风格的水下神庙动画，内含发光珊瑚和古代遗迹）

"Create an animated explainer about how CRISPR gene editing works, using AI-generated visuals"（使用 AI 生成视觉效果，制作一部关于 CRISPR 基因编辑原理的动画解说视频）

"Make a product launch teaser for a fictional smart water bottle called AquaPulse"（为一款虚构的名为 AquaPulse 的智能水瓶制作一个产品发布预告片）

完整设置 (~1 美元–3 美元)

"Create a cinematic 30-second trailer for a sci-fi concept: humanity receives a warning from 1000 years in the future"（为一个科幻概念制作一部 30 秒的电影级预告片：人类收到了来自 1000 年后的警告）

"Make a 90-second animated explainer about quantum computing for middle school students, with a fun narrator voice and custom soundtrack"（制作一部面向中学生的 90 秒量子计算动画解说视频，配有有趣的旁白声音和定制的背景音乐）

想了解更多？查看完整的 提示词画廊 获取经过测试的提示词、预期成本和输出示例，或者运行 make demo 立即渲染零密钥的演示视频。

十、实战案例：90 秒凌晨 4 点的城市

让我用一个完整案例展示 OpenMontage 的实际工作过程。

指令

"制作一部 90 秒的纪录片蒙太奇，展现凌晨 4 点城市的感觉。只使用真实素材，无旁白，挽歌般的基调。"

阶段 1：创意策划

智能体读取 documentary-montage.yaml 管道清单后：

1. 1. 提取主题问题："凌晨 4 点的城市在展示什么？"
2. 2. 锁定基调：elegiac（挽歌般的）
3. 3. 确定结构：single-image expansion（单意象展开）——一个核心意象，通过 16 个变体层层推进
4. 4. 音乐计划：搜索 Pixabay 免版税音乐
5. 5. End-tag 候选：提出 3 个文案，我选了 "THE CITY NEVER AGREED TO SLEEP."

所有决策记录在 brief.json，包含备选方案和拒绝理由。

阶段 2：场景规划

智能体像一个副导演规划了 16 个镜头槽位：

挽歌调 → 每 60s 约 15 个槽位 → 90s = 16 个每槽 4-8 秒，hero 镜头给更长停留时间

阶段 3：素材检索

调用 direct_clip_search 工具，从 Pixabay Video API 直接搜索下载：

16 个查询 → 28 个候选片段 → 16 个唯一分配

自动修复了两个问题：

• • 重复分配：同一片段被分配给 3 个槽位 → 用备选替换
• • 竖屏问题：某候选是 2160×3240 竖屏 → 替换为横屏备选

所有素材信息记录在 asset_manifest.json 中，包括每个片段的来源、分辨率、时长、许可证、原始 URL。

阶段 4：剪辑决策

智能体为每个镜头决定入出点、转场方式、精确时长：

转场统计：硬切 10 次 + 溶解 4 次 + 淡入 1 次 + 淡出 1 次

溶解用在"视觉回声"处：

镜头 4（雾中卡车）→ dissolve → 镜头 5（井盖蒸汽）

雾气和蒸汽的溶解过渡，创造"城市在呼吸"的视觉隐喻。

阶段 5：合成渲染

通过 FFmpeg 完成四步渲染：

裁剪 + 调色：

缩放 → 裁剪到 1920×1080 → 调色 → 淡入淡出

调色参数：

饱和度 0.7    — 去饱和，冷峻感亮度 -0.03    — 微暗，凌晨氛围  对比度 1.05   — 微增，让灯光更突出

拼接 → End-tag → 最终合成

最终成果

十一、兼容性

OpenMontage 兼容所有能够读取文件并执行 Python 的 AI 编程助手。项目中已包含专用的指令文件：

所有平台的指令文件都指向共享的 AGENT_GUIDE.md（操作指南和智能体契约）与 PROJECT_CONTEXT.md（架构参考）。

即将推出： 借助 Ollama 和 LM Studio 提供本地 LLM 支持 — 无需任何云端大模型即可运行整个生产流水线。

写在最后

OpenMontage 的核心洞察是：AI 编程助手不只是写代码的工具，它可以编排复杂的创意工作流。

你的 Claude Code / Cursor / Copilot 读取 YAML 管道清单和 Markdown 技能文件，就能像一个制作总监一样调度 100+ 工具，自主完成从一句话到一部完整视频的全流程。

YAML 是剧本，Markdown 是知识，Python 是双手。

这不是未来。这是今天已经能跑通的工作流。

OpenMontage

• • GitHub：github.com/calesthio/OpenMontage
• • 官网：openmontage.video