AI 短剧和短视频工具又增一个得力工具--这个开源项目今日直接 +987 Star

这个开源项目今日直接 +987 Star · 总 8,712 Stars

我这半年一直在做 AI 短剧和短视频工具。做了 MangaVideo，跑了无数次 Seedance、Kling、Runway 的生成 API，也拆过 MoneyPrinterTurbo 的编排层。每次做完一条视频，我都觉得流程可以更顺——但每次卡的地方都一样：生成了一个片段，然后呢？

谁来决定下一条片段是什么风格？谁来对齐节奏和情绪？谁来检查旁白和画面是不是对得上？谁来确保整条视频不是一堆 AI 生成的碎片拼在一起，而是有起承转合的作品？

我一直以为这个"谁来"是一个更好的编排脚本。直到拆完 OpenMontage，我才意识到：这个"谁来"应该是 Agent 本身。

为什么生成和成片之间有鸿沟

做 AI 视频的人大概都经历过这种割裂感——生成能力越来越强（Seedance 2.0、Kling v3、Runway Gen-4，每个都能输出让人惊叹的单片段），但把这些片段变成一条完整视频的过程，还是手工作坊式的。你要自己选模型、自己写脚本、自己下载素材、自己拖进剪辑软件、自己调字幕时间轴。

这不是"差一点点"的问题。生成和编排之间的鸿沟，才是 AI 视频真正卡人的地方。大部分人能生成一个漂亮片段，但不到 5% 的人能把十几个片段变成一条 60 秒的完整视频——中间的衔接、节奏、成本控制、质量验证，全是手动活。

我的判断

AI 视频的下一个战场不是谁生成得更惊艳，是谁能在生成和成片之间修一条高速公路。 OpenMontage 是目前最野心勃勃的一次尝试——它不生成视频，它让 Agent 当导演。

它到底是什么

OpenMontage 是 calesthio 开源的项目（AGPLv3），定位"全球首个开源 Agentic 视频制作系统"。说白了，它不是又一个视频生成 API 的壳，而是把你的 AI 编程助手（Claude Code、Cursor、Copilot、Windsurf、Codex）变成一个有流水线意识的视频导演。

核心架构很干净：没有代码编排器。AI 编程助手本身就是编排器。Python 提供工具和持久化，所有创意决策存在于可读的指令文件（YAML 流水线清单 + Markdown 技能 + JSON Schema 合约）里。

12 条流水线：

动画解说、动态图形、虚拟人发言人、电影级预告片、纪录片蒙太奇、播客再利用、屏幕演示、真人演讲、角色动画、长视频切短片段、素材增强、本地化配音。

52 个生产工具，7 大类：

视频生成 13 个（Kling / Runway Gen-4 / Veo 3 / WAN 2.1 本地 / Hunyuan 本地 / CogVideo 本地等）、图像 10 个（FLUX / Imagen / DALL-E 3 / Pexels 等）、TTS 4 个（ElevenLabs / Google TTS / OpenAI / Piper 本地）、音乐音效 3 个、后期 7 个（FFmpeg 系列）、增强 4 个（Real-ESRGAN / rembg / CodeFormer）、分析 4 个（WhisperX / CLIP / Scene Detect）。

供应商覆盖：

14 个视频生成 + 10 个图像 + 4 个 TTS + 多个音乐/后期，全部通过 7 维度评分引擎自动选择最优供应商。

还有一个很聪明的设计：参考视频驱动创作。粘贴 YouTube/Reel/TikTok 视频 URL，Agent 分析后生成差异化的制作计划。这比从零开始写 Prompt 要靠谱得多。

零 API Key 也能跑：Piper TTS（离线）+ Archive.org/NASA/Wikimedia（免费素材）+ Pexels/Pixabay/Unsplash（开发者 Key 免费）+ Remotion/HyperFrames（本地合成）+ FFmpeg（后处理）。一行 make setup 就能开工。

三层知识架构，比我想的干净

OpenMontage 的知识架构分三层，这是我拆完之后最想搬走的设计：

Layer 1：tools/ + pipeline_defs/ ——告诉 Agent "你能做什么"。48 个 Python 工具 + 12 条 YAML 流水线清单，是可执行的能力清单。

Layer 2：skills/ ——告诉 Agent "怎么做好"。Markdown 技能文件，每条流水线有阶段导演技能，写清楚了质量标准、审查清单、交付承诺。

Layer 3：.agents/skills/ ——告诉 Agent "底层原理是什么"。外部技术知识包，Agent 按需读取，不是一次性灌进去。

这个分层比我之前 MangaVideo 的单层 CLAUDE.md 干净太多。单层 CLAUDE.md 把所有东西塞在一起，Agent 读着容易忘，改着容易冲突。三层之后，每层有明确边界，Agent 只在需要的时候读需要的层。

更让我意外的是治理层：

预合成验证门控——阻止违反交付承诺的渲染。比如你说"这个视频以动态为主"，Agent 发现 80% 是静态图像，直接拦住不让渲染。省 GPU 时间，省钱。

渲染后自检——ffprobe 验证 + 4 点帧提取（检测黑帧和损坏叠加层）+ 音频电平分析 + 交付承诺验证。Agent 渲染完还自己检查一遍。

幻灯片风险评分——6 维度分析（重复性、装饰性视觉、弱动态、镜头意图、排版过度依赖、不支持的影院声明），防止 AI 生成"PPT 动画"。

预算控制——执行前估算成本 + 三种模式（observe/warn/cap）+ 每操作审批阈值 0.50+总预算上限0.50+总预算上限10。你不会因为一条测试视频花掉 $50。

7 维度评分引擎的精巧

评分维度和权重：

它不是简单的价格排序，而是把质量、可靠性、连续性都纳入考量。这意味着 Agent 不会因为 Kling 更贵就不用它——如果 Kling 的输出质量和连续性更适合当前场景，它会被选上。获胜供应商及其得分记录在决策追踪中，包含所有备选方案。

成本实测

官方展示的 6 个制作案例：

1条 60 秒视频平均成本不到 $1。

安装方法

bash

git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

# 或手动：
pip install -r requirements.txt && cd remotion-composer && npm install && cd .. && pip install piper-tts && cp .env.example .env

我发现了什么

拆完 OpenMontage，我最大的收获不是"又多了一个视频生成工具"，而是 Agent-first 架构在视频制作领域的可行性。

过去所有 AI 视频工具的设计思路都是：生成是核心，编排是附属。OpenMontage 翻转了这个关系：编排是核心，生成是可替换的组件。这跟 Ponytail 把 AI 编码从"写更多"改成"只写必须写的"是同款思路——不是让工具更强，是让工具更克制。

三层知识架构也是。大多数 Agent 项目把所有指令塞在一个 CLAUDE.md 里，Agent 读着容易忘，改着容易冲突。OpenMontage 把"你能做什么""怎么做好""底层原理是什么"分成三层，Agent 只在需要的时候读需要的层。这比一次性灌 5000 行 prompt 干净太多。

短板

AGPLv3 是最大的法律限制。如果你想用 OpenMontage 做自己的商业产品，必须也开源。跟 MIT 或 Apache-2.0 比，这个门槛够劝退不少团队。

Bus Factor ≈ 1。主要维护者就是 calesthio 一人，外加一个 Doubao TTS PR 的贡献者。103 次提交，最后一次在 2026-05-07——已经一个半月没更新了。

**项目才 2 个月。**2026-03-29 初始发布，没有正式 Release 版本号。28 个 Open Issues / 39 个 Open PRs 待处理。

**Agent 效果依赖底层模型质量。**复杂流水线跑得好不好，跟用 Claude Code 还是 Codex 有关系。

**本地 GPU 门槛。**免费视频生成需要至少 8GB 显存跑 WAN 2.1 或 CogVideo。

**不适合创意叙事。**12 条流水线偏模板化。如果你要做角色一致性强的连续叙事（比如短剧），这不是最合适的工具。它更像一个视频工厂，不是一个故事工作室。

Pros:

✅ Agent-first 架构在视频制作领域首次完整实现
✅ 三层知识架构比单层 prompt 干净太多
✅ 7 维度评分引擎 · 不是简单价格排序
✅ 预合成验证 + 渲染后自检 · 治理层完善
✅ 零 Key 可用 · 参考视频驱动 · 预算控制
✅ 12 流水线覆盖绝大多数视频场景

Cons:

❌ AGPLv3 商业闭源受限
❌ Bus Factor ≈ 1 · 最后提交已 1.5 个月
❌ 项目仅 2 个月 · 无正式 Release
❌ Agent 效果依赖底层模型质量
❌ 不适合创意叙事 · 偏模板化流水线
❌ 本地 GPU 门槛 8GB+ 显存

跟我在做的事有什么关系

我做 MangaVideo 的初衷就是想把 AI 短剧的流程自动化。拆完 OpenMontage 之后，我对自己项目最大的反思是：我一直把"编排"当成脚本层面的事（Python 调 API → 拼片段 → 渲染），但 OpenMontage 告诉我，编排应该交给 Agent。 Agent 才是有审美判断、有质量意识、有成本控制意识的那个"导演"。

三层知识架构的分层思路也值得搬。我之前 MangaVideo 的 CLAUDE.md 把所有东西塞在一起，拆成三层之后，每层有明确边界，Agent 只在需要的时候读需要的层。

预合成验证和渲染后自检这两个门控机制也值得搬过来。我之前做 MangaVideo 时最大的返工来源就是"生成完了才发现节奏不对"，如果 Agent 能在渲染前自我审查，至少能省一半的废稿时间。

但 OpenMontage 的短剧支持还偏弱——12 条流水线里没有"连续叙事"这条线，角色一致性是硬伤。所以 MangaVideo 在短剧这个垂直场景里还有自己的空间。OpenMontage 做的是视频工厂，MangaVideo 做的是故事工作室——定位不冲突。

下个月我计划把 OpenMontage 的三层知识架构搬到 MangaVideo 2.0 里，跑一遍真实短剧场景，到时候回来 update 实战数据。

参考链接

https://github.com/calesthio/OpenMontage
https://github.com/badboy0080/mangaVideo
https://ossinsight.io/analyze/calesthio/OpenMontage
https://github.com/calesthio/OpenMontage/discussions/categories/show-and-tell
https://www.youtube.com/@OpenMontage
https://x.com/calesthioailabs
https://github.com/harry0703/MoneyPrinterTurbo
https://github.com/calesthio/OpenMontage/blob/main/AGENT_GUIDE.md

我会持续记录一个不会编程的产品经理如何用 AI 写代码、做开源工具、搭 AI 视频流水线。如果你也想用 AI 把自己的想法做成产品，可以关注我，我们一起往前试。