乐于分享
好东西不私藏

OpenMontage:让 AI 编程助手变身完整视频工作室——首个开源 Agent 化视频生产系统

OpenMontage:让 AI 编程助手变身完整视频工作室——首个开源 Agent 化视频生产系统

OpenMontage:

2026-06-24 · GitHub AI 项目日报 · ⭐ 17,302

项目地址:https://github.com/calesthio/OpenMontage


项目背景

AI 视频生成工具遍地开花——Sora、Kling、Veo、Runway——但它们本质上都是「输入一句话,吐出一段片段」的单步生成器。真正做视频从来不是这么简单:你需要选题调研、写脚本、做分镜、找素材、配音配乐、上字幕、剪辑渲染,最后还要检查黑帧、音量、字幕、画面是不是像 PPT。这些步骤之间的衔接和迭代,恰恰是当前 AI 视频工具最薄弱的地方。

OpenMontage 提出了截然不同的思路:它不是再造一个网页生成器,而是把 Claude Code、Cursor、Copilot、Windsurf 这类 AI 编程助手当作「导演」,让它读 Pipeline 清单、按阶段执行 Skill、调用 Python 工具、写检查点、自审质量——完成从调研到成片的端到端自动化。项目 2026 年 3 月 29 日创建,短短 3 个月斩获 17,300+ Stars 和 2,000+ Forks,AGPL-3.0 开源许可,源码规模超 3.4M 字符,堪称 Agent 化视频生产领域最野心勃勃的开源尝试。


核心功能

1. Agent-First 架构:AI 编程助手即编排器

OpenMontage 最颠覆的设计是没有 Python 编排器——AI Agent 本身就是控制平面。Python 只提供工具层、注册表、配置和检查点,真正的生产规则写在 YAML 管道清单和 Markdown Skill 文件中。这意味着你可以打开 pipeline_defs/ 看每条生产线怎么走,打开 skills/ 看每个阶段怎么执行,打开 schemas/ 看产物结构怎么校验——一切可读可审计,不像黑盒按钮那样「进去就信」。

2. 12 条生产 Pipeline:不同任务走不同路线

OpenMontage 内置 12 条面向真实生产的 Pipeline(外加 1 条 smoke test):Animated Explainer、Animation、Avatar Spokesperson、Cinematic、Clip Factory、Documentary Montage、Hybrid、Localization & Dub、Podcast Repurpose、Screen Demo、Talking Head、Character Animation。每条 Pipeline 有独立的 8 阶段标准流程(research → proposal → script → scene_plan → assets → edit → compose → publish),配备专属的 Stage Director Skill、审查重点和产物 Schema。做产品演示走 Screen Demo,做播客切片走 Podcast Repurpose,做纪录片走 Documentary Montage——不是把所有需求塞进一个超级 Prompt。

3. Provider Selector:7 维度评分引擎智能路由

三大选择器工具(tts_selectorimage_selectorvideo_selector)不是按固定顺序挑 Provider,而是按 7 维度加权评分 动态路由:任务适配 30%、输出质量 20%、控制功能 15%、可靠性 15%、成本效率 10%、延迟 5%、连续性 5%。同样是生成视频,有的任务更看重角色一致性,有的更看重运动质量,有的只是要快速出样——系统知道这次任务最怕什么。每次重要生产决策前必须告知用户:选了哪个工具、哪个 Provider、为什么、是 sample 还是 batch run。

4. 52+ 工具 × 500+ Agent Skills × 30+ Provider

工具覆盖视频生成/合成(14+ Provider)、图像生成(10+ Provider)、TTS(5+ Provider)、分析、增强、字幕等,全部遵循 BaseTool 统一契约(身份、成本估算、降级链、重试策略)。ToolRegistry 通过 pkgutil.walk_packages() 自动发现所有工具,还能查询「支持范围」——根据 .env 中已有的 API Key 和本地二进制(如 FFmpeg)生成当前环境能力报告。500+ Agent Skills 则是 Layer 2(OpenMontage 约定)和 Layer 3(外部技术知识包)的 Markdown 指令库,让 Agent 像读剧本一样执行每个阶段。

5. 双渲染引擎 + 真实素材路径

合成层支持 Remotion(React + TypeScript,数据驱动渲染,Spring 物理过渡)和 HyperFrames(HTML + CSS + GSAP,动态排版和角色动画)双引擎,Agent 必须在渲染前向用户呈现两种选项。更重要的是,OpenMontage 不只会做「几张图动一动」的视频——它强调可以走 real-footage documentary path:从 Archive.org、NASA、Wikimedia Commons、Pexels、Pixabay 构建语义可检索的素材库,剪辑真正的动态素材时间线,这才是「视频」而非「动画 PPT」。

6. 质量治理体系:防止「看起来像视频的 PPT」

四层门禁守卫成品质量:Pre-compose validation(交付承诺验证 + 幻灯片风险评分 + 缺失渲染器检查)、Post-render self-review(ffprobe 检查格式/时长/帧率 + 4 位置帧采样 + 音频静音削波检测 + 字幕验证)、Slideshow risk scoring(从重复度、弱运动、镜头意图、字幕依赖等 6 维度判断是否是「动画 PPT」)、Source media inspection(用 ffprobe 检查分辨率/编码/音轨/时长,不靠文件名瞎猜)。预算控制采用 estimate-reserve-reconcile 三步流程,单操作默认审批阈值 $0.50,预算模式支持 observe/warn/cap 三档。

7. 零成本可用路径

完全不需要 API Key 也能跑:Piper TTS(离线免费配音)+ Pexels/Pixabay/Unsplash(免费素材)+ Remotion/HyperFrames(免费合成)+ WAN 2.1/Hunyuan/CogVideo(本地 GPU 免费)+ FFmpeg(免费后期处理)。两条免费生产路径:图像视频路径(Piper + 本地图像 + Remotion Ken Burns)和真实素材路径(Documentary Montage + 开源档案 CLIP 搜索)。项目案例显示成本极低:Ghibli 风格动画 广0.69、Pixar 风格短片 $1.33。


技术亮点

1. 三层知识架构:意图 → 约定 → 技术的清晰分离

Layer 1(pipeline_defs/ + tools/)定义「有哪些能力」,Layer 2(skills/)定义「如何使用这些能力和 OpenMontage 质量标准」,Layer 3(.agents/skills/)定义「外部技术怎么工作」。每个工具通过 agent_skills[] 字段自动关联到 Layer 3 知识包,Agent 从不临场发挥——"The intelligence is in the skills, not in improvised code"。

2. Checkpoint 状态机:可恢复、可审计、可移交

每个阶段完成后写 checkpoint.json,包含「规范产物」(research_brief、edit_decisions 等),由 JSON Schema 验证。LLM 上下文重置、Agent 换人、生产中断——都可以从最近的 checkpoint 恢复,不像一次性 Prompt 那样「断了就重来」。

3. 跨 IDE 统一配置

CLAUDE.md、CURSOR.md、COPILOT.md、CODEX.md、.windsurfrules 全部指向共享的 AGENT_GUIDE.md 和 PROJECT_CONTEXT.md,确保无论你用哪个 AI 编程助手,Pipeline、Skill、工具执行逻辑完全一致。


适用人群

  • 已在用 AI Coding Assistant 做内容生产的人——不只是聊天,而是让 Agent 读文件、跑命令、产出资产
  • 需要批量视频工作流的人——课程切片、产品 Demo、播客再利用、短视频矩阵,流程化价值在批量时才释放
  • 想掌控成本和可追溯性的人——预算估算、Provider Selector、Decision Log、Quality Gate 全链路透明
  • 零成本验证者—— Piper TTS + 免费素材 + 本地 GPU,先跑通再决定是否接入付费 Provider

不适合只想打开网页、输入一句话、等黑盒结果的人——商业 AI 视频 SaaS 更省心。


快速上手

# 前置:Python 3.10+、Node.js 18+、FFmpeg
git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup
cp .env.example .env   # 先不加 API Key,零成本验证

# 打开到 AI Coding Assistant,先让它读规则
# "Read AGENT_GUIDE.md and PROJECT_CONTEXT.md first.
#  Then audit available tools and tell me which pipelines I can run."

# 零成本 Prompt 示例:
# "制作一个 45 秒动画讲解,解释为什么天空是蓝色的。
#  使用数据可视化、动画文字和图表——不需要图像生成。"

对比分析

维度
OpenMontage
Runway / Pika
MoviePy + LLM
ComfyUI + Video
编排方式
Agent-First(LLM 读 Pipeline 执行)
单步 API 调用
Python 脚本硬编码
图节点硬编码
生产覆盖
12 Pipeline × 8 阶段端到端
仅视频片段生成
仅后期剪辑
仅生成+简单合成
Provider 路由
7 维度评分自动选最优
固定单一模型
手动选择
手动切换节点
成本控制
estimate-reserve-reconcile + 门禁
按量计费无预警
质量自检
4 层门禁 + slideshow risk
零成本路径
Piper + 免费素材 + 本地 GPU
有但需手动
有但需配置
代表性成本
Ghibli 动画 $0.15
单片段 $0.50-5.0
0(全本地)
0(全本地)
可恢复性
Checkpoint 状态机
脚本重启

关键差异:OpenMontage 不是「再做一个视频生成器」,而是把视频生产拆成 Agent 能执行、能检查、能记录、能回滚的工程流程。它牺牲了「一键出片」的便利性,换取了流程透明、成本可控、质量可审计的工程可靠性——这正是 AI 视频从「玩具」走向「工具」的关键一步。