ARTICLE · 1285241
别再只会用AI生成视频了!GitHub这3类开源工具,能帮你搭建自己的视频工作流
你有没有发现，现在用AI做视频，真正让人头疼的，已经不只是生成画面了。 写脚本，需要工具。 生成图片，需要工具。 制作动画，需要工具。 剪辑、配音、字幕、转场，又是另一套流程。 折腾一圈下来，软件装了一堆，钱花了不少，最终做出来的视频，却依然像一份简单的PPT。
有没有一种可能：不再自己从头搭建整套视频制作流程，而是让AI编程助手按照预先设计好的工作流，帮你完成视频制作？
最近，我实测了几类GitHub上的开源AI视频项目，同时结合当前开源社区的热门同类工具做了横向对比。其中，有的擅长制作产品宣传片，有的适合手绘故事视频，还有的试图把脚本、素材、生成和剪辑整合成一套完整的生产系统。它们的思路都很值得开发者和内容创作者深入了解。
不过先说明一点：开源不代表所有功能都免费，也不代表安装后就能一键生成任何类型的视频。不同项目的使用门槛、模型需求和最终效果，差别很大。今天就从实际用途出发，聊聊这几类工具究竟有什么价值，以及普通人应该怎么入手。
第一类：产品向自动化视频工具，让AI帮你制作专业宣传片
这类工具里，最具代表性的就是 video-shotcraft。
项目地址： https://github.com/Vincentwei1021/video-shotcraft
如果你经常制作软件介绍、产品宣传、网站展示或者科技感短视频，那么这个项目值得重点研究。它最值得关注的地方，不是能够凭空生成多么逼真的人物或场景，而是把专业视频制作中常见的镜头设计、动画效果、转场和音乐节奏，整理成了可以复用的方案。
它到底能做什么？
假设你准备给自己开发的软件制作一支宣传片。传统做法可能是： 第一步，录制软件的操作过程。 第二步，把视频导入剪辑软件。 第三步，制作标题、字幕和动画。 第四步，添加转场、背景音乐和音效。 第五步，反复调整节奏，最后导出成片。
如果没有视频制作经验，光是让画面看起来专业，就需要花费不少时间。 video-shotcraft采用了另一种思路：你提供产品页面、截图和宣传文案，再通过支持该工作流的AI编程助手调用对应技能，系统可以根据你的需求规划镜头，组合动画效果，安排画面节奏，添加音效，并通过Remotion渲染视频。 它的核心优势在于：把原本需要反复手动制作的动效，变成可以复用和调整的镜头方案。例如，你可以制作：
软件功能介绍视频 网站或应用的产品宣传片 新产品发布视频 科技感品牌展示视频 带有文字动画和界面演示的短视频
对于需要反复制作同类型视频的人来说，这种工作方式尤其有价值。
同类热门项目对比参考
在产品宣传片这个赛道里，还有一个同样热门的项目可以作为补充参考：阿里国际AI团队开源的 Pixelle-Video。
项目地址：https://github.com/ATH-MaaS/Pixelle-Video/tree/main
目前GitHub Star已经突破2.9万。它的核心特点是打通了从主题输入到最终成片的全链路流水线，你只需要输入一个主题，系统就能自动完成文案撰写、配图/视频片段生成、语音合成、背景音乐搭配，直接输出成品视频。 和video-shotcraft侧重真实素材与动效复用不同，Pixelle-Video更像一个灵活的“调度装配工具”，它本身不独立生成文案、图片或音视频内容，而是对接各类主流AI模型，将LLM、绘图生图、语音合成、视频编码工具串联协作，你可以自由替换每个环节的模型，自由度拉满。 如果你追求零基础快速出片，Pixelle-Video是很好的入门选择；如果你需要精准控制产品界面、品牌细节和专属动效，video-shotcraft会更适配你的需求。
普通人应该怎么使用？
如果你是第一次接触这类项目，可以按照以下流程尝试：
第一步：准备素材。先准备好你想展示的产品，包括：
产品名称和Logo 网站或软件截图 需要突出的核心功能 简短的宣传文案 希望呈现的视频风格 如果你没有自己的产品，也可以用一个虚构的软件项目进行测试。
第二步：准备运行环境。这类项目主要面向Claude Code、Codex等能够读取项目文件并执行命令的AI编程助手。运行环境通常涉及Node.js、npm、Remotion以及部分辅助工具。第一次运行时，按照项目文档完成安装和环境配置即可。 如果你不熟悉命令行，可以让AI编程助手协助安装，但要注意检查执行的命令，尤其是涉及下载脚本、修改系统文件或安装依赖时。
第三步：安装对应技能。以video-shotcraft为例，项目文档提供了通过skills CLI安装的方法，在符合项目要求的环境中，可以使用：npx skills add Vincentwei1021/video-shotcraft也可以按照官方README中的说明手动安装。具体安装方式和依赖要求可能随着项目更新发生变化，建议以仓库当前文档为准。
第四步：用自然语言描述需求。安装完成后，可以尝试输入这样的指令：
请使用video-shotcraft，为我的软件制作一支30秒左右的产品宣传片。 视频风格要简洁、现代，具有科技感。 开头突出产品名称，中间展示三个核心功能，结尾呈现品牌Logo和宣传语。 优先使用真实的软件截图，保证界面文字清晰，动画节奏自然，并添加合适的背景音乐和音效。 请先规划镜头和文案，确认素材后再制作成片。
这只是一个需求示例，并不意味着每次执行都能直接成功。AI仍然需要根据你的素材、模板和运行环境完成实际制作。第一次生成后，也应该检查画面、文字、节奏和音效，再决定是否修改。
它适合什么人？
我认为，这类项目最适合三类人：
第一类：软件开发者。 开发了一个工具、网站或应用，希望用更专业的方式展示产品。
第二类：产品运营和营销人员。 经常需要制作功能介绍、产品更新和品牌宣传视频。
第三类：想学习自动化视频制作的人。 希望研究AI编程助手、动画模板和视频渲染之间如何协作。 如果你主要制作电影解说、真人口播或者影视混剪，那么它未必是你最应该优先学习的工具。选对方向，比盲目安装更重要。
第二类：手绘故事视频工作流，适合故事号和情绪号
如果说第一类工具主要解决产品宣传片的问题，那么手绘故事工作流，则更偏向故事表达。它的目标不是单纯地让图片动起来，而是围绕故事脚本、角色形象和分镜设计，制作具有手绘感的叙事视频。 这类方案尤其适合以下内容：
情感故事 人生感悟 悬疑故事 治愈系短片 知识讲解动画 需要旁白配合画面推进的故事视频
目前这个赛道里，已经有两个经过大量用户验证的成熟开源项目可以直接落地使用：
story-to-handdrawn-video：GitHub 2.3k星，基于Remotion框架开发，能把一段中文故事自动变成3:4竖屏的手绘动画，实现“文字浮现→黑白线稿→彩色插画”的逐帧揭示效果，内置20套手绘视觉风格，包括彩铅日记、儿童蜡笔、水墨写意、水彩绘本等，CPU即可完成渲染，非常适合做科普小故事、睡前绘本、情感叙事类短视频。 
stickman-video-director：GitHub 3.5k星，一套专门的火柴人视频导演技能，完全零代码，不需要安装Python，把项目地址丢给支持技能的AI助手，就能让AI自动完成分镜设计、旁白撰写和画面规划，内置6种画风、8种视觉方案，支持“导演模式”和“全自动模式”，普通人复制粘贴提示词就能生成完整的火柴人解说视频。 
为什么故事视频不能只靠图片拼接
举个例子。你准备制作一个关于失业青年的短故事： 深夜，办公室只剩下一个人。电脑屏幕上显示着一封辞退通知。他坐在窗边，看着城市里的灯光。 如果直接用三张图片配上旁白，再加一点缩放效果，确实也能做出视频。但这样的作品容易出现一个问题：画面虽然在动，故事却没有真正被演绎出来。 真正有叙事感的视频，需要考虑镜头之间的关系。例如：
开场先展示空荡荡的办公室 镜头逐渐靠近人物 画面转向电脑屏幕上的辞退通知 人物低下头，背景音乐逐渐减弱 最后切换到窗外的城市夜景 这些变化共同构成了情绪推进。手绘故事工作流的价值，就在于尝试将脚本、角色图像、分镜和动画组织起来，让每一个镜头服务于故事本身。
它的制作流程是什么？
这类工作流主要涉及故事脚本、角色形象和分镜图片，再通过动画流程将这些素材组合起来，可以把它理解为四个环节：
第一步：编写故事脚本。 不要一开始就要求AI生成整部动画，先确定故事的主题、人物、冲突和结局。例如主题是“一个年轻人重新找回生活的信心”，再依次搭建冲突、转折和结局，有了明确的故事线，后面的画面才有方向。
第二步：设计角色。 提前确定人物的发型、服装、年龄感和整体画风。如果同一个角色在不同镜头中反复出现，就需要尽量保持这些特征一致，否则第一幕是一个短发青年，第二幕却突然变成另一个人，会明显破坏观看体验。
第三步：制作分镜图片。 把故事拆分成一个个可以独立表现的画面，明确每一张图片的情绪目的，不要让AI只负责生成漂亮图片，还要明确每张图片为什么存在。
第四步：制作动画并检查成片。 根据具体工作流，将分镜素材组织成视频，调整镜头运动、停留时间和转场，最后再加入旁白、背景音乐和音效。
这类工作流能够跑通，不代表画风和角色就一定稳定。如果你希望制作连续的系列故事，仍然需要自己检查人物一致性、画面风格和分镜衔接。
这类工具最大的价值是什么？
我认为，它的价值在于把故事视频的制作过程拆解成可重复执行的步骤。过去，你可能需要分别研究AI写作、AI绘图、动画制作和视频剪辑。现在，可以尝试让AI编程助手协助串联这些步骤。 但这不代表你完全不需要参与。尤其是故事类视频，脚本是否吸引人、人物是否立得住、情绪是否自然，仍然决定着作品的质量。如果只是让AI批量生成几十张图片，再机械地拼接起来，即使制作流程自动化了，也未必能得到值得观看的作品。自动化解决的是制作效率，故事本身解决的是观众为什么愿意看下去。
第三类：OpenMontage，尝试把AI视频制作变成一条完整的生产线
项目地址： https://github.com/Open-Montage-app/OpenMontag
如果前面两类工具更关注某一类视频的制作，那么OpenMontage的思路更进一步。它希望将AI编程助手变成一个能够协调多个制作环节的视频生产系统。你提出创作需求，系统再根据目标安排研究、脚本、素材、生成和剪辑等工作。从项目的定位来看，它不仅关注动画合成，也覆盖真实视频素材的检索和剪辑，这让它与单纯的AI图片转视频工具有了明显区别。
它和普通AI视频工具有什么区别？
我们以制作一条60秒的科普视频为例，主题是《为什么有些城市会出现热岛效应？》。 传统制作流程大致是：
自己研究主题 撰写解说稿 搜集城市、道路和建筑的素材 制作图表和说明动画 按照解说顺序剪辑 添加配音、字幕和音乐 检查版权和最终效果
这套流程的问题在于，每个环节都需要单独处理。OpenMontage试图通过一套统一的制作流程，把其中的多个环节组织起来。根据项目文档，它支持多种视频生产流程，并可以协调素材处理、内容生成和后期合成等工作。 对于需要频繁制作视频的人来说，这种思路比单纯寻找一个生成模型更值得研究。因为真正耗费时间的，往往不是某一个镜头，而是从创意到成片之间的整个过程。
它能制作哪些类型的视频？
从项目公开介绍来看，OpenMontage涉及多种视频制作方式：
第一种：图片与动画结合的视频。 利用图片、旁白、文字和动画制作知识讲解、故事短片等内容。
第二种：基于真实素材的视频。 从可用的视频素材来源中检索合适的镜头，再按照主题组织成片。这类方式适合纪录片风格的视频、知识科普和部分解说内容。
第三种：AI生成画面与后期合成结合的视频。 根据项目配置，可以将生成式模型制作的动态素材与剪辑、动画合成等环节结合起来。 需要注意的是，能够使用哪些生成模型，取决于具体工作流、模型服务和运行配置。项目支持某种制作方式，并不代表所有模型都能免费使用，也不代表所有视频都可以在本地无成本生成。
它是否真的能够免费制作视频？
这是很多人最关心的问题。OpenMontage的公开文档介绍了不需要付费模型API密钥也能使用的部分工作流。例如，使用本地语音合成工具、开放素材来源、Remotion和FFmpeg，可以完成部分视频制作任务。 但是，这里需要区分三个概念：开源软件免费，不等于所有服务免费。
第一，项目代码可以免费获取，不代表所有第三方模型服务都不收费。
第二，使用本地工具不需要支付模型调用费，但仍然需要电脑性能、存储空间和运行时间。
第三，免费素材也有具体的授权条件，不能因为能够下载，就认为可以随意用于商业项目。 如果你想尽可能降低制作成本，可以优先研究不依赖付费模型API的工作流。如果你追求更复杂的AI动态画面，则需要进一步核对对应模型的使用条件和费用。
普通人应该如何上手？
如果你准备尝试OpenMontage，我建议先从一个非常小的项目开始。不要一上来就制作十分钟的纪录片，更不要同时接入大量模型。可以按照下面的流程进行：
第一步：确定视频类型。 先明确自己究竟要做什么，一分钟知识科普、三分钟电影解说、手绘故事短片还是产品介绍视频，不同目标，对素材、配音、动画和剪辑的要求完全不同。
第二步：检查项目环境要求。 前往项目的GitHub仓库，阅读README和安装说明。重点确认支持哪些操作系统、需要哪种AI编程助手、是否需要安装Node.js、Python或其他依赖，哪些功能可以本地运行，哪些功能需要配置API密钥。不要只看演示视频就开始安装，先确认自己的电脑能否运行，以及需要准备多少存储空间。
第三步：选择一条最简单的生产线。 如果你的目标是制作科普视频，可以先尝试“主题研究 → 解说稿 → 真实素材 → 旁白 → 剪辑合成”的路径；如果你的目标是制作故事动画，可以先尝试“故事脚本 → 分镜图片 → 动画 → 旁白 → 后期合成”的路径。先跑通一条完整流程，再考虑增加更复杂的功能。
第四步：先制作一个30秒到60秒的样片。 用一个小项目验证整个流程，检查画面能否正常生成，素材是否匹配，旁白是否自然，字幕是否准确，以及最终导出的视频能否正常播放。确认这些环节没有问题，再逐渐增加视频长度。这比一开始就追求全自动制作一部长视频更容易发现问题。
四、这几类工具，到底应该怎么选？
看完上面的介绍，你可能还是会问：它们都与AI视频有关，我究竟应该先学哪个？其实，选择并不复杂。先看自己要制作什么内容，再决定使用哪种工具。
这张表并不是对所有项目的绝对排名，而是根据它们的定位，帮助你判断适用场景。如果你只想制作一条漂亮的产品宣传片，可以先研究video-shotcraft和Pixelle-Video；如果你希望制作连续更新的故事号，可以重点研究story-to-handdrawn-video和stickman-video-director；如果你希望搭建一套能够处理多个制作环节的工作流，那么OpenMontage更值得深入研究。不要因为某个项目在GitHub上很火，就认为它一定适合自己。 真正适合你的工具，应该能够解决你当前制作流程中最耗时、最难处理的问题。
五、真正值得学习的，不是某一个Skill，而是AI视频生产的完整思路
研究这些开源项目之后，我认为有一个现象值得关注。过去，我们寻找AI视频工具，往往关注的是：画面能不能更清晰？人物能不能更真实？视频能不能生成得更长？这些问题当然重要。 但如果你准备长期制作视频，尤其是想运营自己的账号，仅仅依靠某一个生成模型，很难解决所有问题。因为一条视频从创意到发布，至少涉及几个不同的环节：
1. 内容策划
确定主题，研究内容，找到观众真正关心的问题。例如，制作科普视频时，不能只让AI写一篇看似专业的文章，还需要检查事实是否准确、逻辑是否清楚。
2. 脚本创作
把主题转化成有开头、有推进、有结尾的内容。开头负责吸引观众，中间负责提供信息，结尾负责完成表达。
3. 视觉素材
根据内容选择真实视频、AI生成视频、图片、图表或动画。不是所有内容都需要使用AI生成画面。有时，一段真实素材配合准确的旁白，比复杂的AI动画更有说服力。
4. 镜头设计
让画面服务于内容，而不是让画面单纯地追求炫酷。什么地方应该切镜头，什么地方应该停留，什么地方需要特写，都应该有明确的目的。
5. 后期合成
将素材、旁白、字幕、音乐和音效组合起来。即使前面的环节已经自动化，最后仍然需要检查声音、画面和字幕是否协调。
6. 质量检查
检查视频是否存在错误字幕、画面闪烁、人物变化、素材不匹配等问题。对于涉及新闻、历史、科学知识或真实人物的内容，还应该核实事实，并确认素材授权。
这些环节结合起来，才构成一条相对完整的视频生产线。而AI编程助手和开源Skill的价值，就在于帮助我们将其中一些重复性工作标准化。这比单纯追逐某一个热门模型，更值得长期投入。
六、如果你是零基础，我建议按照这个顺序开始
如果你没有编程基础，也没有完整的视频制作经验，不建议一开始就安装所有项目。可以按照以下顺序学习：第一阶段：先确定内容方向。 你究竟要做产品宣传、知识科普、电影解说，还是故事动画？先确定一个方向。不同方向需要的素材、镜头设计和自动化程度都不一样。
第二阶段：用现成工具完成一条视频。 先尝试手动完成脚本、素材、配音和剪辑。目的不是追求完美，而是弄清楚整个制作流程。只有知道每个环节需要什么，才能判断哪些工作适合交给AI自动化。
第三阶段：选择一个开源项目进行测试。 如果你制作产品宣传片，可以从Pixelle-Video开始；如果你想搭建多环节视频工作流，可以研究OpenMontage；如果你准备做手绘故事动画，则可以优先从零代码的stickman-video-director入手。不要同时学习多个项目，先让其中一个项目完成一条视频，比安装十个项目却没有一条成片更有价值。
第四阶段：建立自己的素材库和模板库。 将验证过的脚本结构、镜头设计、字幕样式和音效整理起来。以后制作同类型内容时，就不必每次从零开始。
第五阶段：逐步自动化。 当你已经知道哪些环节最耗时，就可以尝试让AI编程助手处理这些重复任务。例如，自动整理素材、生成分镜草案、按照固定结构合成视频，或者检查输出文件。自动化应该围绕实际需求展开，而不是为了使用AI而使用AI。
写在最后
GitHub上的开源AI视频项目，正在提供一种不同于传统剪辑软件的工作方式。它们不一定能够替代所有专业工具，也不意味着普通人从此不需要学习视频制作。但它们确实提供了一个值得探索的方向：让AI不仅参与生成内容，还能帮助你组织制作流程、复用镜头方案，并减少重复性的操作。
如果你只是偶尔制作一条视频，现成的视频生成和剪辑工具可能已经足够。但如果你想长期运营视频账号，或者希望建立一套能够持续产出内容的工作流，那么了解这些开源项目，可能会给你带来新的思路。 最后，送给准备入门的人一句话：不要急着追求全自动。先做出一条完整的视频，再想办法把制作这条视频的过程变得更高效。这才是学习AI视频工具最有价值的起点。
