AI实景合成怎么搞?

先说说，什么是实景合成。

我认为的是，CG元素+实拍画面，达到的那种超现实的质感。

而现在，只不过是AI生成的元素+实拍画面。

一般来说，AI生成视频模型分两个方向

1.纯粹的生成视频。比如seedance2.0

2.视频编辑模型，以编辑为主，比如runway的aleph，以及谷歌的omni flash。

视频编辑模型，最大的特点是，几乎可以保留摄像机信息，可以做到近乎像素级的对齐。这点是非常重要的，如若不然，对生成的画面添加mask后，是没办法和实拍画面进行完美对位的。

合成结果

实拍画面

我特意挑选了很多细钢丝的画面，如果摄像机不能对齐，那么添加mask之后，合成边缘是无法直视的。

对比视频看这里：

已关注

关注

重播分享赞

可能有朋友会问，既然AI都能完全的生成视频了，为什么还要实景合成。

因为实拍的画面可以包含最多的细节，最真实的质感。当然，也不能说谁好谁坏，视频编辑模型优势是遵从原视频的运镜，生成模型优势是，更强的指令遵从能力。

主要对比的是omni flash和seedance2.0模型。omni flash给我的感觉更像是一个视频编辑模型，而不是单纯的视频生成模型。它最大的优势是：可以非常完整地保留原始视频里的摄像机信息。可以做到和原画面接近像素级的匹配。

Seedance 2.0 更像生成式模型，适合创意生成和画面重构。不过接下来的 Seedance 2.5 也很值得期待，也会加入视频编辑模式。

至于runway的aleph，比较贵，十秒视频20-50元，玩玩的话，成本有点高。

关于omniflash如何玩，之前的文章有介绍