夜雨聆风学习资料网

ARTICLE · 1184343

开源好项目:AI手绘视频,一篇文章做成边画边讲的视频,写稿分镜、逐笔描线、配音成片

开源好项目:AI手绘视频,一篇文章做成边画边讲的视频,写稿分镜、逐笔描线、配音成片

前几天刷到一条49秒的短片,讲一条蛇被锯子划伤,反过来缠紧锯子把自己勒死的寓言。毛笔在纸上一笔一笔勾,旁白在边上讲,看到一半我才反应过来,这整条视频没有一个真人参与。

手绘讲解这种形式,在抖音和视频号上火了不是一天两天了。一只手画画,一个声音讲道理,眼睛跟着笔走,不知不觉就把一分钟看完了。

以前做这种视频,要么上 Doodly 这类工具按月订阅,十几美元起步,要么自己画、自己录、自己剪,一条片子耗掉一个周末。

这个开源项目叫 sweety-handdraw-video,作者是 @leo_xiaolei。给它一个主题、一篇文章,甚至一段完整故事,它自己写口播、做分镜、画插画,再在本地一笔一笔渲染成 1080P 有声视频。我把仓库翻了一遍,包括样片、制作流程和那些没藏着的短板,跟你说说。

先说这条49秒的片子到底怎么回事

仓库里放了三条公开样片。最短的是《那条死于愤怒的蛇》,49秒,淡彩插画配毛笔手部。长一点的《快乐囚禁你的方式》1分52秒,冷色棱角画风,连续女声旁白。还有一条讲墨菲定律的,2分05秒,8个画面配24段口播。

都是 1920×1080、30fps 的完整 MP4,不是动图糊弄。最能看出门道的是这条蛇的绘制过程,注意蛇的轮廓是按部位长出来的,手写完标题再落到正文,字幕跟着旁白走。

《那条死于愤怒的蛇》绘制片段,逐笔描线、手写标题、旁白字幕同步。素材来自项目官方 GitHub Release

它不是图生视频,是让一支笔真的在纸上走

我一开始以为又是图生视频那套,让大模型生成一段会动的画面。翻完文档发现不是。

它的分工是这样的。Agent 负责动脑子,理解你的文章、写口播稿、设计分镜、生成每一幅插画。本地工具负责动手,用 Python、Pillow、SciPy 和 FFmpeg 把插画拆成语义部位,先逐笔描完轮廓,再按同样顺序填色,文字逐字写出来,笔画之间还有抬笔。

它不是让一张图动起来,是让一支笔在纸上从头走到尾。

声音也是反着来的。常见做法是一页画面配一段音,拼出来的东西总有固定空白。它先把整篇旁白一次性做完整,保留句间停顿和换气,拿到时间戳之后,再安排什么时候描线、什么时候填色、关键字写多久。

所以片子的节奏是跟说话走的,一个意思讲完才换场。这点在49秒的蛇片里很明显,落笔和开口基本对得上。

还有个细节我觉得很实用。脚本、素材、声音、时间戳和检查记录全部保留,改一句字幕不用重新生图,复用没动过的画面和声音重新渲染就行。做过系列内容的人知道,这一条能救命。

21种画风,6只手,声音有三条路

画风库有21个入口,20个编号加一个稳定变体,每个都附真实效果预览和完整配方。极简黑白线条、蜡笔童涂、吉卜力风、水墨写意、复古像素、北欧纸雕、墨线绘本都有。不想用库里的,也可以让模型独立设计,或者自己写描述。

21个库内画风入口中的3种,从左到右为极简黑白线条、淡彩速写、北欧纸雕。素材来自项目官方 Release

手上的讲究更多。六款手臂预设,深蓝袖马克笔、儿童彩铅、白衬衫中性笔、针织袖钢笔,还有一只上官婉儿灵感的毛笔手,配流苏那种。不想要手,也可以只留画笔。

六款手臂预设,每款都按笔尖位置和手腕距离校准过。素材来自项目官方 Release

配音留了三条路。苹果芯片 Mac 可以走本地 VoxCPM2,模型大约3.23GB,不接云端账号。本机有 VoiceStudio 兼容服务的,走 HTTP 接口。都没有,也可以喂给它一段已经录好的整篇旁白加时间戳。另外有六款参考音色,包括逼真男声、甜美学姐、知性女讲师。

怎么用,以及「10分钟一条」的说法

用起来倒是不复杂。它是一个 Agent Skill,在装好 Node 环境的机器上,一句 npx skills add threerocks/sweety-handdraw-video 就能装进 Codex 这类宿主,也可以手动把文件夹放进个人 Skills 目录。

开工时你只要说人话。比如「把为什么越生气越容易做错决定,做成一段面向普通成年人的手绘讲解,先讲清楚一个机制,控制在约一分钟」。它会让你做六项选择,画风、手部、声音、笔杆文字、水印、字幕,不选就等60秒,然后按内容自己定。说一句「全部自动选择」就直接往下走。

成片交付一个 MP4,外加封面 PNG、SRT 字幕、口播稿和检查记录。

关于耗时,作者自己在 X 上的说法是,一条两分半的样片「差不多10分钟」,在他200美元订阅的环境里,额度用了不到1%。

这个数字我得帮他把边界划清楚。这是特定作品和账号的自述,不是统一计量。第一次装环境、下模型、出图重试、配音修复、人工检查,哪个环节都可能把时间拉长。开源也不等于全链路免费,Agent 宿主和生图能力该收费还是收费,省掉的是按秒计费的图生视频服务。

再说个我觉得挺反常的数据。这个仓库目前387颗星,fork 有82个,fork 率超过21%。一般工具项目这个比例能到5%就不错了。

点 star 的人多半是收藏,fork 的人是真想拿去干活。

说实话,门槛都在画面之外

好,夸完了,说不足。这个项目的短板和它的优点一样明显,作者自己在 README 里也没藏。

第一,完整流程目前只在苹果芯片 Mac 加 Codex 上实测过。作者的机器是 M3 Max、36GB 内存。Windows 和其他 Agent、生图组合没有完成整条流程验证,8GB、16GB 设备能不能跑也没测。我现在这台 Windows 机器,想顺顺当当跑通得自己趟坑。

第二,环境不轻。Python 3.9 以上、FFmpeg、中文字体要自己装,本地配音还得另备模型和算力,字体也不能分发商业字体。它不是下载即用的桌面软件,更像一套给懂命令行的人准备的制作流水线。

第三,不是无人值守的批量工厂。作者明说每条片子都要人工看图、听音、验收,角色和音色都可能漂移。文字是按字形轮廓逐字绘制的,不保证规范书法笔顺,橡皮擦转场这种呼声很高的功能也还没做。

所以我的判断很直接。想双击出片、零配置、Windows 小白开箱即用,现在不是时候。但如果你本来就用 Codex 或者 Claude Code 这类 Agent,有 Mac,做知识口播又做不过来,这套东西值得花一个晚上搭起来。

最后聊聊,为什么手绘视频有人看

我一直觉得手绘讲解是个很聪明的形式。道理本身是干的,直接说给你听,你划走了。但笔在纸上走的时候,画面永远欠一点、差一笔,你的眼睛会本能地等它画完。

眼睛等着笔的时候,耳朵正好把道理听进去了。

过去这套形式被两重门锁着,订阅费是一道,手工时间是另一道。现在有个作者把整条流水线拆开,写清楚每一步谁负责,再用 MIT 协议放到网上。

这半年我看开源工具最大的感受是,大家要的其实从来不是多一个神乎其神的模型,而是少一道门槛。门少了,能把自己的想法做成片子的人就多了。

项目地址在这,github.com/threerocks/sweety-handdraw-video,建议先看那三条样片再决定要不要折腾环境。387星,82个fork,它值这个收藏。

相关学习资料