乐于分享
好东西不私藏

小白用AI视频一天做完“大片”?从0到1全记录,看完你也能做到!【下】

小白用AI视频一天做完“大片”?从0到1全记录,看完你也能做到!【下】

  ▎从零到一全记录,这些坑我替你踩了

我,视频剪辑纯小白,春节花了一天时间,做出了一部“特效大片”。

上篇文章讲了我是如何启动的,偏基础操作。原文链接:小白用AI视频一天做完“大片”?从0到1全记录,看完你也能做到!【上】

这篇会更进一步,用到更多技巧,踩了更多的坑,相信看完之后,能帮你少走很多弯路。

文末附赠《AI视频从0到1踩坑指南 V2》(含提示词&错误示例,上篇已领取的也可获取更新。)

实名上网,我是再飞,一个正在实践AI的普通人

持续分享AI实践经验+成长思考,欢迎关注,一起成长

一、题材选型:AI视频的优势与弱项

 ▎一个暴论:用AI做人类能轻松做到的视频是在浪费Token

上文说过,我用一天时间做出了《假如丈母娘懂互联网黑话》,获得丈母娘本人点赞之后,我大受鼓舞,进而策划了《假如岳父是修仙者》视频。

为什么要选择做“修仙者”题材呢?

其实最初的故事选型里,还有“假如岳父是霸道总裁”、“是退休大佬”、“是隐士高人”等等选项,都能引发有趣的故事。

但是,做完《假如丈母娘懂互联网黑话》之后,我开始思考,AI在这次视频创作中发挥了哪些价值:

1.直接用照片生成视频,省去了让二老拍摄的环节。

2.字幕、特效等可以直接写进提示词,省略了复杂的剪辑环节,简单拼接就能成片。

上述效果,如果我愿意,多花一点时间,再请两位演员,我也能做到。

AI并没有发挥它独特的价值。

AI视频独特的价值是什么呢?

我认为,是一般人做不出来,或者要花很多成本才能做出来的“视觉奇观”。

因此,我选择了《假如岳父是修仙者》这个需要大量特效的题材。

二、创作流程:先有剧本还是先有场景?

  ▎AI可以帮你思考,但不能代替创意

确定了“视觉奇观”这个主题后,我与AI进行了第一轮的视频讨论。

整体方案讨论:

执行细节讨论:
根据AI推荐的流程,我先用豆包创建了关键场景图。
其中,特定风格的画面,如果不满意,可以多次生成,比如“客厅水墨虫洞”、“戏服虚空锁链”等场景,都是多次生成才符合预期的。

最后,我把图片生成视频,拼接到一起之后,效果……

一言难尽!

生成的不像是一个完整视频,而是一个……动态相册。

相比于直接用提示词生成视频,先生成图片有如下劣势:

1. 图片限制了视频模型的分镜能力,视角固定、场景死板,生成效果更接近“动图”而不是“视频”。

2.图片之间风格差异过大,每张图片到视频,AI的理解都不一样,难以衔接。

经过这番尝试,我进一步加深了对AI的理解:

AI在你有具体的想法之后,可以将你的想法快速实现,如果你自己都没有想清楚,就寄希望于AI,AI只会让你失望。

所以,想要做好AI视频,底层的想法还得自己提供。

(后面跟同事交流,同事提到一个让AI辅助生成剧本的好方法:不要让AI给你答案,而是让AI向你提问,帮助你想清楚。

三、踩坑实录:常见的坑与解决方法

  ▎三大分类,8项注意,看完避开这些坑。

献祭一宿的睡眠,我终于确定了想要的剧本:
“剧情是岳父追铺敌人的过程,场景包含云端、地底、古代街角、月下屋顶……风格包含写实、玄幻、水墨画、剪纸戏……敌人形态包括黄金巨龙、水墨龙马、剪纸龙马、写实龙马、人身龙角……特效画面有云端漫步、万剑归宗、提线剪纸、屋顶激斗、龙珠转场……最终,把我想尝试的效果都尝试一遍后,岳父轻松收服敌人,出现类似短剧完结的字幕效果。”
最终作品如下:
想清楚剧情后,制作过程与《假如丈母娘懂互联网黑话》类似,让AI拆分内容片段、给出提示词,搭配提前准备好的参考图,生成视频片段。最终将多个生成的视频片段拼接到一起,一个视频就完成了。
当然,这个视频要复杂很多,也踩了更多的坑,我将其分为三个大类,后面会逐一详述。
第一类:参考素材如何选择?
1.什么时候应该先图片再视频?
上一节说过,先图片再视频,会带来很多限制,让视频看起来像动图。
但是,有些场景,却必须先图片再视频。
这是我直接用视频提示词生成的“剪纸龙马”:
这是我实际想要的龙马:
最终结论:如果你对特定角色、场景有要求,想要保持前后一致性,就可以先生成满意的图片,再使用参考图生成视频。
除了剪纸龙马外,化人形象也经过多次生成,才选择了最终版本。
如果能够生成三视图,再作为参考,角色一致性将会保持得更好。
2.参考图是越多越好吗?
显然不是,一旦选择了参考图,无论提示词里有没有说,AI都会尽量把它用上,可能会出现在你意向不到的地方。
有一次我就是复用提示词,参考图忘记删了,结果AI按自己的理解让参考图在视频中出现,效果非常诡异。
3.能不能用手绘草稿当做参考图?
尽量不要,如果提示词无法表达你的意思,非要手绘,最好先将手绘图用AI转成可直接融入视频中的图片。
原因……看这张截图就懂了。
4.什么情况下应该使用参考视频?
使用参考视频有两个缺点:
1️⃣价格更贵
2️⃣参考视频总时长最多12s,超过12s无法提交。
但是以下情况,我使用了参考视频:
1️⃣希望后面视频的音色与前面的一致
2️⃣希望后来的bgm与前面的连续
3️⃣希望运镜、动作等镜头更炫酷,参考已知的炫酷视频。
不过,经过实际验证,动作不一定能百分百复刻,尤其我上传的动作视频是“火柴人战斗视频”,AI生成的与原视频不能说一模一样,只能说毫不相关。
第二类:连贯性处理
1.bgm不连续如何处理?
每段视频,AI都会根据画面有自己的理解。只是这理解,可能每次都不一样。
AI最长只能生成15秒,一分多钟的视频,画面可以看作是分镜切换,但bgm的割裂格外明显。
我尝试了以下三种解决方法:
1️⃣使用已生成的视频作为参考视频,提示词写“生成它的后续”,bgm会毕竟连贯。不过,参考视频有前面所说的缺点,不再赘述。
2️⃣剪辑工具“垫音”,在视频切换时,添加一段过渡bgm,会让bgm切换丝滑一些。不过,太割裂的bgm无法完全解决。
3️⃣生成视频不要bgm,生成音效,然后自己用剪辑工具添加bgm。效果最灵活,不过工作量也最大,需要一定的剪辑技巧。
2.如何让前后两个片段画面更连贯?
有时候,我们希望后面的视频与前面的视频连更连贯,可以截取前面视频的最后一帧,作为视频生成的首帧。虽然有时还是会有色差,无法完全一样,但效果也在可接受范围。
第三类:AI能力极限
1.风格切换能做到什么程度?
我设定的剧本中,有两次风格切换:
第一次:黄金巨龙被斩,从云端掉落,由写实风格转为水墨风格。画面在我脑海里很炫酷,风格切换的交界是一条直线,直线上下经纬分明。
然而,无论如何修改提示词,都无法达到想要的效果,只能放弃。
这里也触及了AI能力的一个极限:AI底层是基于随机变量生成的,太过准确的约束,AI未必都能遵守。
至少目前来看,想要AI直接代替各种炫酷的剪辑效果,还是很有难度。
第二次:龙马钻进水墨石头中,视角移动,石头一半是水墨风格,另一半是剪纸风格。当龙马从剪纸风格的石头后走出,自然也变成了剪纸龙马。
不过,由于第一次尝试的失败,我知道AI很难完成“一半水墨风格一半剪纸风格的石头”,还有“石头从屏幕右边边缘,平移到左边边缘”的精准运镜,因此这里直接当做两个片段出来了。
还有水墨龙马跳进石头后,我希望“岳父”
是追到石头面前,再召唤出一座传送门,走入传送门中。
这段描述同样多次尝试,未果,只能接受站在山顶门前,渐隐消失的画面。
2.是不是提示词描述得越明确就一定越好?
根据上一节的描述,相信你也知道了,AI并不是描述明确的都能精准执行,如果它的训练数据里面没有,就很难实现提示词描述的效果。
有时候,定个大概方向,让AI自由发挥,接受随机的效果,反而能收获更好的作品。
四、总结感悟:AI是许愿机,但“许愿”要有方法
这次AI生成的视频,只是我的粗浅尝试,当然比不上专业作品。
然而,这样的视频,以前就是给我一年,也未必能够做到。
而现在,仅仅需要……一天时间。
AI能力越来越强,可谓日新月异,也展现出了强大而迷人的魅力。
我希望,在AI时代,能够踏浪前行,一览前沿风景。
关于AI视频,你踩过哪些坑呢?欢迎评论区留言讨论,我都会认真回复噢。
最近,我一直在搭建Harness系统,后面将与大家分享,感兴趣的同学可以点个关注。

另外,我整理了一份《AI视频从0到1踩坑指南 V2》,含提示词&错误示例,关注公众号领取

相比上篇分享的内容,新增了更多提示词制作记录,包括踩坑的废稿

上篇已经领取了的,也可以后台回复“AI视频”领取。

实名上网,我是再飞。一个正在实践AI的普通人

持续分享AI实践经验+成长思考,欢迎关注,一起成长