AI实景合成怎么搞?我认为的是,CG元素+实拍画面,达到的那种超现实的质感。2.视频编辑模型,以编辑为主,比如runway的aleph,以及谷歌的omni flash。视频编辑模型,最大的特点是,几乎可以保留摄像机信息,可以做到近乎像素级的对齐。这点是非常重要的,如若不然,对生成的画面添加mask后,是没办法和实拍画面进行完美对位的。我特意挑选了很多细钢丝的画面,如果摄像机不能对齐,那么添加mask之后,合成边缘是无法直视的。可能有朋友会问,既然AI都能完全的生成视频了,为什么还要实景合成。因为实拍的画面可以包含最多的细节,最真实的质感。当然,也不能说谁好谁坏,视频编辑模型优势是遵从原视频的运镜,生成模型优势是,更强的指令遵从能力。主要对比的是omni flash和seedance2.0模型。omni flash给我的感觉更像是一个视频编辑模型,而不是单纯的视频生成模型。它最大的优势是:可以非常完整地保留原始视频里的摄像机信息。可以做到和原画面接近像素级的匹配。
Seedance 2.0 更像生成式模型,适合创意生成和画面重构。不过接下来的 Seedance 2.5 也很值得期待,也会加入视频编辑模式。
至于runway的aleph,比较贵,十秒视频20-50元,玩玩的话,成本有点高。
关于omniflash如何玩,之前的文章有介绍
ChatGPT Image2、Nano Banana、Midjourney 8.1,同题实测总结
几乎白嫖 Google Omni Flash?极低成本生成240分钟视频