乐于分享
好东西不私藏

教程:LibTV将小龙虾接入AI电影创作,每个龙虾都应该安装这个技能

教程:LibTV将小龙虾接入AI电影创作,每个龙虾都应该安装这个技能
说实话,已经很久没有因为一个 AI 视频工具这么兴奋了,最近一直在研究AI视频的高效创作方法,费了不少时间也没找到,但最近接触到了LibTV感觉是找到了。
先给个地址

官网:https://www.liblib.tv/

github:https://github.com/libtv-labs/libtv-skills

上面的两个地址分别是libTV的网址,还有一个是小龙虾搭配使用的skills的网址。

比较兴奋的点

1.这个工具里面添加了很多编辑图片和视频的功能

2.这个工具是无限画布的,同样还可以使用小龙虾搭配LibTV的skills进行创作(直接就可以批量自动生成视频了)

3.这是一个专门为做AI视频和漫剧设计的软件,可以指出9/25宫格图,然后直接再单独生成分镜图(这个方法之前我也在lovart里面使用了,但操作要麻烦一点)

4.官方说这可能是目前最便宜的视频生成平台(目前官方会给订阅用户赠送最多150条可灵O3+150条可灵3.0,共300条免费最高等级的视频使用)

5.这个网址可以把自己做出来的生成视频的流程变成模板,在之后使用就可以直接替换图片和提示词就可以生成视频了,不用再去跑流程了

下面介绍一下LibTV的界面

主页的最近项目大家肯定是知道的,我就只介绍一个功能吧,TV Show

-

这里面的所有视频我们都可以点进去看创作过程,这个给我们带来了很多经验上的弥补

-

感觉写教程这篇文章又得五千字打底,昨天更新的五千字教程累坏了,今天就发点创作过程吧,但基础教程还是要讲解一下

基础认识

我们新建画布后就会出现这个界面,我们就可以直接点击使用,也可以自己搭建

-

我就自己搭建吧,双击画布之后会让我们选择创建什么节点

-

我把这5个节点都拉出来了,给大家挨个介绍

1.文本节点

这里我们可以用来写提示词,也可以用来写剧本(大模型会自动优化剧本),还可以图片反推提示词,属于文本类的都可以用这个节点

2.图片节点

这个可以是我们生成图片也可以是我们上传的图片,我们要生成图片才是下面这样的

-

如果我们直接上传图片就是这样的,我们可以对图片进行编辑,在图片上方就有编辑的内容选项

3.视频节点

这个也是生成视频或是上传节点的,下面是生成节点的样式

-

直接上传视频我们可以选择剪辑或者高清,以及视频解析

4.音频节点

可以生成音乐、音效、以及文字转语音。也可以上传声音

5.脚本生成

这个功能挺好的,可以把自己的剧本上传,自动就拆分分镜图了。还可以根据参考视频生成脚本。(看别人的工作流看到这个功能使用方法挺多的,我还得继续研究研究)

生成视频这里主要可以分成两个方式,

1.自己搭建生视频的工作流

2.agent通过调用skills来生成视频

自己搭建生视频

先来看一下效果

已关注
关注
重播 分享

-

其实这个视频的方法非常简单

从上图可以看出来,我是上传了一张图片,然后由图片生成9宫格图,再把9宫格图生成为视频就结束了

1.生成9宫格

这里我选择的模型是nano pro模型,也就是香蕉PRO模型,提示词“生成这个产品从远及近然后到俯拍,9宫格分镜图

2.生成分镜图

生成好9宫格图之后就可以点击图片后再上面选择“网格”这个按钮(我也不知道这个网格叫啥名字,反正看图就知道了)

-

然后我们就能得到9张完整的分镜图了

3.生成视频

之后就是生成视频了,这一步可以根据我们的想法来生成,和其他平台生成视频是一样的,LibTV里面的好处是可以同时调整生成视频,不需要其他软件来回切

我们可以选择适合的模型进行生成,同样不同的模型对应了不同的功能

我这里使用的是可灵O1全能参考做的,选择的是生成10秒的时长,提示词“利用关键帧方法,生成上图所示的一镜到底效果,产品由远及近移动,随后摄像机向上推移,最终展示出产品的顶部。

一共使用了以下几张图(够用就行了,不用选太多)

这个视频的制作方法就结束了,这个方法已经很简单了

但如果是做漫剧或者做短篇使用这种方法还是有点复杂的,所以下面演示一个让LibTV自动生成分镜图的方法

脚本生成视频

首先我发了个视频给Gemini,让他给我提炼出剧情内容

-

然后让Gemini给我生成一个核心观点一致的剧本

然后直接把剧本复制到LibTV的脚本框里面,先看一下剧本内容吧

核心视觉符号: 一只眼睛睁开,一只眼睛闭上(或眯起),加上一个上扬的嘴角(😉)。人物: 林奶奶(70岁左右,神情哀伤、孤独)【场景一:清晨的卧室】(色调:冷蓝、灰暗)画面:镜头特写:一张双人床。一边凌乱,一边平整得没有一丝褶皱。林奶奶独自坐在床沿,背影佝偻。她手里紧紧攥着一件男式的旧毛衣,将脸埋在里面,肩膀微微抽动。房间里极其安静,只有墙上挂钟滴答滴答的声音。她的眼神空洞而悲伤,显然还深陷在失去伴侣的痛苦中。【场景二:厨房,准备早餐】(色调:逐渐加入一点暖色)画面:林奶奶步履蹒跚地走到厨房,机械地开始给自己准备早餐。她在碗里倒了一点燕麦,然后漫不经心地加入了三颗蓝莓和一勺蜂蜜。(第一次错觉出现) 镜头从正上方俯拍燕麦碗:其中一颗蓝莓是完整的(像睁开的眼睛),另一颗蓝莓在搅拌时被压扁了成了一条线(像闭上的眼睛),而那勺金黄色的蜂蜜正好在下方形成了一道弯弯的弧线(像一个微笑的嘴巴)。😉林奶奶倒牛奶的手顿了一下。她盯着碗里的图案看了一秒,叹了口气,摇摇头,以为自己眼花了,用勺子将其搅散。【场景三:阳台,浇花】(色调:变得明亮、自然)画面:林奶奶拿着喷壶来到阳台,给一盆枯黄的盆栽浇水。阳光透过窗棂洒进来,打在叶片上。(第二次错觉出现) 镜头特写一片宽大的绿叶:叶片上有两滴晶莹的水珠。左边的水珠圆润饱满(睁眼),右边的水珠顺着叶脉滑落,拉出了一条长长的水痕(闭眼/眨眼),而叶片下方边缘自带的自然卷曲,完美构成了一个俏皮的笑容。😉林奶奶停下了动作。这一次,她没有立刻移开视线,而是静静地看着那片叶子。她原本紧绷、悲伤的嘴角,不自觉地微微放松了一点。【场景四:玄关,准备出门】(色调:温暖、充满希望的暖黄)画面:林奶奶穿上外套,戴上围巾,准备出门散步。她弯腰去拿鞋架上的两把长柄雨伞。(第三次错觉出现) 伞架旁边的墙壁上,挂着一件大衣和一顶帽子。阳光透过百叶窗在墙上投下了斑驳的影子。光影交错间:墙上的挂钩和投射的影子形成了一只圆形的眼睛,旁边衣服的褶皱形成了一条闭上的眼缝,而放在下方的一个半圆形藤编包,正好构成了一个大大的笑脸。😉林奶奶站在门口,看着墙上的光影。这一次,她眼眶红了,眼泪在打转,但她的脸上却绽放出了一个无比温柔、释怀的微笑。她甚至对着那个光影,也轻轻地眨了一下左眼。【场景五:客厅柜子,结局揭晓】(色调:定格在温馨)画面:林奶奶出门前,停在了客厅的储物柜前。柜子上放着一束新鲜的百合花。镜头缓缓推进,越过百合花,聚焦在柜子上摆放着的一个相框上。相框里: 是林奶奶和一位老爷爷的合影。老爷爷满头白发,看起来非常开朗。面对镜头,老爷爷正做着他标志性的动作——他俏皮地闭着一只眼睛(Wink),嘴角上扬,露出一个充满爱意和幽默感的灿烂微笑。镜头定格在照片上老爷爷那个眨眼的笑脸上,与之前出现的所有“错觉”完美重合。【屏幕渐黑,出现字幕】“爱从未离开,它只是换了一种方式看着你。”

-

把上面的提示词放到脚本框里面

-

然后我们就能得到AI帮我拆好的分镜图了

-

放大看一下里面的具体内容,其实里面已经包含了图片生成的提示词和视频生成的提示词了

-

现在我们分镜表有了,就要生成分镜图了,但是我们还确实人物形象和场景图(我这个故事画面在变没有固定的,所以就不生成场景图了)

双击建一个图片节点,然后里面可以选择自己喜欢风格的模型

-

这里说一下,一般生成角色都是用2:3这个尺寸(一般人物的正面图画面高一些腿生成得会长一些),然后张数我们可以多选几张。提示词是Gemini给我的人物描述里面复制的

-

然后我就获得了这个人物形象

-

其实在这之前还生成了几版不同风格的,最后选择的吉卜力风格的

-

生成结束之后我们需要把这个形象添加到主体库里面去,鼠标右键点击“创建主体”

-

图片就自动加载进来了,我们按照要求调内容就行了

-

主体描述这里我是直接截图去豆包,让豆包给我生成的

-

填完后点击创建就行了,这个角色我们之后就可以一直使用了

-

有了角色,我们继续生成刚才的分镜图,点分镜表上方的“生成分镜”

-

选择风格和主体之后就会给我们生成分镜图了

如果觉得里面那张图需要修改,可以直接点击图片修改提示词或者换模型后重新生成

-

当所有分镜图都确定之后就可以点击上方的批量生成视频了

-

最后我们就得到了每个镜头都生成视频的效果了

-

这个方法生成视频就不需要我们一个一个去生成了,直接就批量生成了,能够减少大量的生视频时间。

另外如果是多角色的话,我们就需要提前提供角色图给脚本了,像下图一样,这样角色图就直接被带进分镜图里面了,在之后生成分镜图的时候就不用选择主体了。

除了自己生成视频以外我们还可以用时agent帮我们生成(也就是小龙虾),我用的是飞书里面样的小龙虾,今天不写LibTV接入小龙虾的安装教程了

我直接在飞书的小龙虾里面说:帮我用libtv-skills,给我生成制作一个《学生春游》的短片,画面需要开心快乐的氛围,2分钟

然后小龙虾会和我确定风格

生成结束后小龙虾会给我一个链接,在里面打开就能看到我的生成结果了

目前我测试小龙虾来生成视频还是比较少(主要是免费token不够,之后几天用腾讯的小龙虾再来多测试测试)。

小龙虾搭配这个网站是可以批量做视频的,这次也是看到这个功能让我热血沸腾的,激动了好久,以前研究的AI做视频流程又要再次修改了。

体验地址:https://www.liblib.tv/

以及绑定小龙虾的github地址(里面有安装教程):https://github.com/libtv-labs/libtv-skills