小白用AI视频一天做完“大片”?从0到1全记录,看完你也能做到!【下】 ▎从零到一全记录，这些坑我替你踩了
我，视频剪辑纯小白，春节花了一天时间，做出了一部“特效大片”。
上篇文章讲了我是如何启动的，偏基础操作。原文链接：小白用AI视频一天做完“大片”？从0到1全记录，看完你也能做到！【上】
这篇会更进一步，用到更多技巧，踩了更多的坑，相信看完之后，能帮你少走很多弯路。
文末附赠《AI视频从0到1踩坑指南 V2》（含提示词&错误示例，上篇已领取的也可获取更新。）
实名上网，我是再飞，一个正在实践AI的普通人
持续分享AI实践经验+成长思考，欢迎关注，一起成长
一、题材选型：AI视频的优势与弱项
▎一个暴论：用AI做人类能轻松做到的视频是在浪费Token
上文说过，我用一天时间做出了《假如丈母娘懂互联网黑话》，获得丈母娘本人点赞之后，我大受鼓舞，进而策划了《假如岳父是修仙者》视频。
为什么要选择做“修仙者”题材呢？
其实最初的故事选型里，还有“假如岳父是霸道总裁”、“是退休大佬”、“是隐士高人”等等选项，都能引发有趣的故事。
但是，做完《假如丈母娘懂互联网黑话》之后，我开始思考，AI在这次视频创作中发挥了哪些价值：
1.直接用照片生成视频，省去了让二老拍摄的环节。
2.字幕、特效等可以直接写进提示词，省略了复杂的剪辑环节，简单拼接就能成片。
上述效果，如果我愿意，多花一点时间，再请两位演员，我也能做到。
AI并没有发挥它独特的价值。
AI视频独特的价值是什么呢？
我认为，是一般人做不出来，或者要花很多成本才能做出来的“视觉奇观”。
因此，我选择了《假如岳父是修仙者》这个需要大量特效的题材。
二、创作流程：先有剧本还是先有场景？
▎AI可以帮你思考，但不能代替创意
确定了“视觉奇观”这个主题后，我与AI进行了第一轮的视频讨论。
整体方案讨论：
其中，特定风格的画面，如果不满意，可以多次生成，比如“客厅水墨虫洞”、“戏服虚空锁链”等场景，都是多次生成才符合预期的。最后，我把图片生成视频，拼接到一起之后，效果……
一言难尽！
生成的不像是一个完整视频，而是一个……动态相册。
相比于直接用提示词生成视频，先生成图片有如下劣势：
1. 图片限制了视频模型的分镜能力，视角固定、场景死板，生成效果更接近“动图”而不是“视频”。
2.图片之间风格差异过大，每张图片到视频，AI的理解都不一样，难以衔接。
经过这番尝试，我进一步加深了对AI的理解：
AI在你有具体的想法之后，可以将你的想法快速实现，如果你自己都没有想清楚，就寄希望于AI，AI只会让你失望。
所以，想要做好AI视频，底层的想法还得自己提供。
（后面跟同事交流，同事提到一个让AI辅助生成剧本的好方法：不要让AI给你答案，而是让AI向你提问，帮助你想清楚。）
“剧情是岳父追铺敌人的过程，场景包含云端、地底、古代街角、月下屋顶……风格包含写实、玄幻、水墨画、剪纸戏……敌人形态包括黄金巨龙、水墨龙马、剪纸龙马、写实龙马、人身龙角……特效画面有云端漫步、万剑归宗、提线剪纸、屋顶激斗、龙珠转场……最终，把我想尝试的效果都尝试一遍后，岳父轻松收服敌人，出现类似短剧完结的字幕效果。”想清楚剧情后，制作过程与《假如丈母娘懂互联网黑话》类似，让AI拆分内容片段、给出提示词，搭配提前准备好的参考图，生成视频片段。最终将多个生成的视频片段拼接到一起，一个视频就完成了。当然，这个视频要复杂很多，也踩了更多的坑，我将其分为三个大类，后面会逐一详述。上一节说过，先图片再视频，会带来很多限制，让视频看起来像动图。最终结论：如果你对特定角色、场景有要求，想要保持前后一致性，就可以先生成满意的图片，再使用参考图生成视频。除了剪纸龙马外，化人形象也经过多次生成，才选择了最终版本。如果能够生成三视图，再作为参考，角色一致性将会保持得更好。显然不是，一旦选择了参考图，无论提示词里有没有说，AI都会尽量把它用上，可能会出现在你意向不到的地方。有一次我就是复用提示词，参考图忘记删了，结果AI按自己的理解让参考图在视频中出现，效果非常诡异。尽量不要，如果提示词无法表达你的意思，非要手绘，最好先将手绘图用AI转成可直接融入视频中的图片。2️⃣参考视频总时长最多12s，超过12s无法提交。3️⃣希望运镜、动作等镜头更炫酷，参考已知的炫酷视频。不过，经过实际验证，动作不一定能百分百复刻，尤其我上传的动作视频是“火柴人战斗视频”，AI生成的与原视频不能说一模一样，只能说毫不相关。每段视频，AI都会根据画面有自己的理解。只是这理解，可能每次都不一样。AI最长只能生成15秒，一分多钟的视频，画面可以看作是分镜切换，但bgm的割裂格外明显。1️⃣使用已生成的视频作为参考视频，提示词写“生成它的后续”，bgm会毕竟连贯。不过，参考视频有前面所说的缺点，不再赘述。2️⃣剪辑工具“垫音”，在视频切换时，添加一段过渡bgm，会让bgm切换丝滑一些。不过，太割裂的bgm无法完全解决。3️⃣生成视频不要bgm，生成音效，然后自己用剪辑工具添加bgm。效果最灵活，不过工作量也最大，需要一定的剪辑技巧。有时候，我们希望后面的视频与前面的视频连更连贯，可以截取前面视频的最后一帧，作为视频生成的首帧。虽然有时还是会有色差，无法完全一样，但效果也在可接受范围。第一次：黄金巨龙被斩，从云端掉落，由写实风格转为水墨风格。画面在我脑海里很炫酷，风格切换的交界是一条直线，直线上下经纬分明。然而，无论如何修改提示词，都无法达到想要的效果，只能放弃。这里也触及了AI能力的一个极限：AI底层是基于随机变量生成的，太过准确的约束，AI未必都能遵守。至少目前来看，想要AI直接代替各种炫酷的剪辑效果，还是很有难度。第二次：龙马钻进水墨石头中，视角移动，石头一半是水墨风格，另一半是剪纸风格。当龙马从剪纸风格的石头后走出，自然也变成了剪纸龙马。不过，由于第一次尝试的失败，我知道AI很难完成“一半水墨风格一半剪纸风格的石头”，还有“石头从屏幕右边边缘，平移到左边边缘”的精准运镜，因此这里直接当做两个片段出来了。是追到石头面前，再召唤出一座传送门，走入传送门中。这段描述同样多次尝试，未果，只能接受站在山顶门前，渐隐消失的画面。根据上一节的描述，相信你也知道了，AI并不是描述明确的都能精准执行，如果它的训练数据里面没有，就很难实现提示词描述的效果。有时候，定个大概方向，让AI自由发挥，接受随机的效果，反而能收获更好的作品。这次AI生成的视频，只是我的粗浅尝试，当然比不上专业作品。然而，这样的视频，以前就是给我一年，也未必能够做到。AI能力越来越强，可谓日新月异，也展现出了强大而迷人的魅力。关于AI视频，你踩过哪些坑呢？欢迎评论区留言讨论，我都会认真回复噢。最近，我一直在搭建Harness系统，后面将与大家分享，感兴趣的同学可以点个关注。另外，我整理了一份《AI视频从0到1踩坑指南 V2》，含提示词&错误示例，请关注公众号领取。
相比上篇分享的内容，新增了更多提示词与制作记录，包括踩坑的废稿。
上篇已经领取了的，也可以后台回复“AI视频”领取。
实名上网，我是再飞。一个正在实践AI的普通人
持续分享AI实践经验+成长思考，欢迎关注，一起成长
夜雨聆风
