乐于分享
好东西不私藏

让 AI Agent 变成视频工作室:开源 OpenMontage,一句话从调研到成片

让 AI Agent 变成视频工作室:开源 OpenMontage,一句话从调研到成片
OpenMontage

(图源:项目仓库)

现在能「生成视频」的工具不少,但大多是同一个套路:你给一句提示词,模型吐回一段画面。OpenMontage 想做的是另一件事——它不是又一个文生视频模型,而是一套编排系统,把你已经在用的 AI 编码助手(Claude Code、Cursor、Copilot 这些)变成一个完整的视频制作团队。

将您的 AI 编程助手变成一个完整的视频制作工作室。用通俗的语言描述您的需求——您的智能体会自动处理研究、脚本编写、资产生成、剪辑以及最终合成。

它给自己的定位是「首个开源的、代理化(agentic)的视频制作系统」。GitHub 上 24.6k 星,AGPLv3 协议,主要用 Python 写成。从 4 月到 6 月,星标几乎是平的,6 月突然垂直拉起。

calesthio/OpenMontage 的 GitHub Star 增长曲线

(图源:star-history.com)

它能做「真·视频」:去真实素材库里捞片来剪

这里有个关键区别:很多开源方案做出来的「视频」,其实是一堆 AI 图片加转场,本质是会动的幻灯片。OpenMontage 也能做这种图生视频,但它还能做「原生视频」:

智能体会从免费的免版税素材和开源档案中建立语料库,检索实际的动态画面,将它们剪辑到时间线中,并渲染出成品。

也就是说,给它一句「做一条 90 秒的纪录片混剪,主题是凌晨四点的城市,只用真实素材、不要旁白」,它会去 Pexels、Archive.org、NASA、Wikimedia 这些免费素材库和公开档案里捞真实的动态片段,剪进时间线——而不是凭空生成几张图。

它怎么工作:你只描述,Agent 逐阶段闯关

这是 OpenMontage 的核心。它不是「一个大模型一口气生成」,而是一条有明确阶段、每步都要过关的流水线——从你的一句话到成片,中间是这样一条链路:

OpenMontage 的编排流水线:从一句话到成片,每步过关才往下走

几个关键设计,决定了它为什么「靠谱」而不是「碰运气」:

结构是写死的,Agent 不瞎来。 每条流水线都有一份 YAML 清单,规定了有哪些阶段、每阶段用什么工具、过关标准是什么;再配一份 Markdown 的「阶段导演技能」,告诉 Agent 每一步具体怎么做。Agent 是在这套轨道里执行,而不是自由发挥——这也是它能稳定出片的根本。

选工具靠打分,不锁定厂商。 同一个任务(比如生成一段视频)往往有十几个 provider 可选,OpenMontage 用一个评分选择器,在 7 个维度上给每个候选打分排名,取最高的那个。

选 provider 的 7 个加权维度

任务契合度权重最高(30%),其次是质量、可控性、可靠性,成本和延迟反而靠后。因为是打分制,你随时可以换掉某个 provider,不会被某一家绑死。

一路都在把关。 图里标黄的那几步不是摆设:调完工具要自我复审(schema 校验),渲染前有验证关卡 + 你点头确认,渲染完还要再自我复审、通过才输出。它还专门有「交付承诺」机制——如果你要的是「以动态画面为主」,最后却拼出一堆静态图,渲染会被直接拦下来。中间状态存成 JSON 检查点,可以中断、续跑。

规模:12 条流水线、52 个工具、400+ 技能

它的「肌肉」来自一个挺大的工具库:

  • • 12 条生产流水线:解说、口播、屏幕演示、电影预告、动画、播客、本地化、纪录片混剪等。
  • • 52 种生产工具:覆盖视频生成、图像创建、TTS、音乐、混音、字幕、增强、分析。
  • • 400 多项智能体技能:制作技能、流水线导演、创意技法、质量检查清单、技术知识包。

光视频生成就接了 14 个 provider(Kling、Runway、Google Veo、Grok、HeyGen,以及本地 GPU 方案),图像 10 个(FLUX、Imagen、DALL-E 等),TTS 4 个。合成引擎用 Remotion、FFmpeg,以及 HyperFrames——后面这个本号写过,正是「写 HTML 就能渲染视频」那套。

花多少钱

它的一个卖点是「零密钥也能跑」:

零密钥开箱:Piper TTS、Archive.org 素材、Remotion 合成均免费。

也就是用本地 TTS(Piper)、本地渲染(Remotion/FFmpeg)、免费素材库和公开档案,一分钱不花也能出片。要更好的效果,再配上付费 provider 的 key(FLUX、Veo、ElevenLabs、Suno 等)。官方给的几个成本例子:一条 60 秒动画约 1.33 美元,一条产品广告约 0.69 美元,一段吉卜力风格动画(12 张 FLUX 图)约 0.15 美元。

怎么用

前提是你得先有一个 AI 编码助手(Claude Code、Cursor、Copilot、Windsurf、Codex 都行)——因为 OpenMontage 本身不是一个独立 App,它是给 Agent 用的「能力包」。

环境上要 Python 3.10+、FFmpeg、Node.js 18+,然后:

git clone https://github.com/calesthio/OpenMontage.gitcd OpenMontagemake setup

之后就是在你的编码助手里用大白话下单,比如官方的例子:

制作一个 60 秒的动画解说视频,讲解神经网络是如何学习的。

或者「这是一条我喜欢的 YouTube Short,照这个风格给我做一条讲 CRISPR 的,面向高中生」。

几条注记

  • • 它是给 Agent 用的,不是独立软件。没有一个 AI 编码助手在前面驱动,它跑不起来。
  • • AGPLv3 协议。这是强 copyleft,拿它做商业产品、二次分发前要先看清楚授权义务。
  • • 付费 provider 要自己配 key。零密钥能出片,但想要高质量的 AI 视频/配音,还是得接付费服务,成本随用量走。
  • • 素材版权要自己把关。免费素材库和公开档案各有各的授权条款,商用前要逐个核实,工具不替你担这个责任。
  • • 目前没有正式 release。仓库还在快速迭代,尝鲜可以,上生产要做好跟版的准备。

写在最后

OpenMontage 的思路,是把「做视频」这件事拆成一条有清单、有导演、有关卡的流水线,交给你已经在用的编码 Agent 去跑。它不保证一句话就出大片,但把研究、脚本、找素材、剪辑、渲染这套流程工程化了——而且免费档位就能完整走通。

AGPLv3,24.6k 星。仓库地址:github.com/calesthio/OpenMontage。 

近期文章

阿里开源 ReMe:像写双链笔记一样给 AI Agent 做长期记忆

腾讯开源 Agent 记忆方案:不堆历史、不暴力摘要、Token 最高省 61%

写 HTML 就能渲染视频:HeyGen 开源 hyperframes,专为 AI Agent 而生

配音 + 语音输入还在分开付费?全本地开源的 Voicebox 全包了,一分钱不花

开源 4.8 万星 BMAD-METHOD:把分析师、PM、架构师……打造成一支 AI 敏捷团队