【closerAI ComfyUI】开闭源模型综合应用视频生成:GPT image2.0+Ltx2.3+seedance2.0!低成本高质量完成视频内容生产!更多AI前沿科技资讯,请关注我们:
【closerAI ComfyUI】开闭源模型综合应用视频生成:GPT image2.0+Ltx2.3+seedance2.0!低成本高质量完成视频内容生产!
这个方法目前可以说是无敌,唯一缺点就是要钱。但企业用户和小B端本身就是企业账号花钱买积分来生成的。这种方法可谓是节约成本与时间。但对于个体,我们其实还是能用免费的方式来持续生产。首先是GPT image2.0本身在chatGPT上是免费生成,但有次数限制,达到了次数限制怎么办?注册多几个邮箱来注册GPT不就行了,基本免费日常使用了。同理,如果有多个手机号可注册多个豆包免费使用它每日额度生成视频,一般一个号四个视频额度,多号就如此类推。同时在视频生成这一块,LTX2.3目前是开源模型中唯一一个音画同步生成的视频模型,目前它的生态也在逐渐完善,是开源视频模型中最重要也是无可替代的模型没有之一。随着社区的分力,在一致性、分镜画面、LORA等方面全面开花,特别是一些关键技术的出现,如LTX2.3蒸馏版的V1.1发布,以及KJ大佬复现了Prompt Relay 项目:用于多事件视频生成中时间控制的推理时间提示路由。这的作用是在长视频中精准控制不同事件发生的时间点。Prompt Relay 提供了一个低成本、高效率的方案,通过文字精准地“定场”和“转场”。……这些技术的出现,LTX2.3的可控性与质量方面大大提升,已能实现多参考图、音频、文本等作为参考一起进行视频的生成。所以在视频生成这一块,对于个人的话性价比最高。那如何将开闭源的模型用到极致呢?也就是充分利用免费的渠道去实现我们的内容生产呢?下面我将分享下我的经验,如果对你有帮助请一定要一键三连支持下我!这对我很重要!谢谢!首先是视频主题,最近比较入脑的一首歌来自草蜢和EASON的《世界会变得很美》,那就做一个关于猪小萌IP的MV吧。然后是画面。因为歌曲很多,要控制长度,大约一分钟左右吧。我构思是独唱、合唱、MV画面。同时让它生成分镜脚本内容,这在后面使用LTX2.3视频生成时有用。MV的其它内容画面,我打算用Seedance2.0生成。这里直接使用我们上一期介绍的高效GPT故事板+Seedance2.0的方法来实现,具体如下图所示:使用nowater工具来获取高清无印的视频。直接去下载工具:https://mochi.douyoubuy.cn/#/marketplace/prod_1777348027655这个视频的主要内容已得到,那剩下就是音频对口型的视频生成,这里使用我们closerAI LTX2.3四宫格自动切图+自定义音频视频生成工作流主要将上面三个框的参数填写下,设置尺寸、加载音频和四宫格分镜,在Prompt Relay Encode (Timeline)每个分镜填写下上面生成的脚本内容。然后点击生成。这里要注意一点是,尺寸最大质量越好,但生成时间相对会久,这要看自己设备的能力。以上就是关于充分利用免费渠道生成图像,主要是利用GPT一致性的生成与交付生成的能力去完成故事板与分镜图。然后可直接利用豆包免费额度的Seedance2.0 fast生成视频,在对口型方面可使用开源模型LTX2.3,用comfyUI工作流去进行生成。这样,针对不同场景选用不同的模型去实现我们的想法。开闭源充分利用,让AIGC可玩性、可能性更高。当然,如果你本身就是人民币玩家以上方法可直接忽略。
上面在制作中,还有另外一种方法,在runningHug上的无限画布,也可以使用GPT image进行生成:在图像与视频生成中,一个节点就能直接调用使用并生成。十分方便,且价格优惠。它通过集成闭源模型简化了工作流程直接输入即所得,速度很快。是一个不错的选择。通过注册地址:https://www.runninghub.cn/?utm_source=kol01-RH151 注册后打开无限画面
关于分镜我也在RH上生成了应用,可通过下方直接使用。
本地算力不够怎么办?
如果本地设备算力不好的小伙伴,推荐使用线上comfyUI来运行体验:runninghub.cn
NanoBanana Pro分镜图应用体验地址:
https://www.runninghub.cn/ai-detail/1998278644248272898
注册地址:https://www.runninghub.cn/?utm_source=kol01-RH151 通过这个链接第一次注册送1000点,每日登录送100点
最后几句:
如果对你有帮助,请一键三连支持下我,感谢
CloserAI AI短剧工作台(本地化解决方案):https://aigc.douyoubuy.cn/ai-agent/closerAI FlowStudio本地AIGC无限画布创作工具:https://aigc.douyoubuy.cn/closerai-flowstudio/closerAI AI绘画大师万象视界:https://aigc.douyoubuy.cn/closerai-vision/CLOSERAI POD电商印花批量生产工作站:https://aigc.douyoubuy.cn/?page_id=420541印花提取:https://aigc.douyoubuy.cn/yinhua/
以上是就是本期的分享内容,当然,更多工作流、资讯、插件、工具也可以在我们closerAI会员站上获取(查看原文)。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。
>/ 作者:JimmyMo
更多AI前沿科技资讯,请关注我们: