夜雨聆风学习资料网

ARTICLE · 1224630

干了近十个“AI+真人”混制影视项目后,真人与AI的边界在哪里?|专访时光坐标陈奕

干了近十个“AI+真人”混制影视项目后,真人与AI的边界在哪里?|专访时光坐标陈奕

随着AI在影视行业应用深化,“AI +真人混合制作”的项目实践开始多起来。

爱奇艺在9月悦享会官宣AI长剧《不羡鸳鸯只羡仙》,这是首部超长真人出演AI季播剧,近期腾讯视频上线的《行镖》,由演员实拍表演,结合AI辅助制作奇观场景与视效。而正在横店举行的AI黑客松主打AI+实拍的60小时限时创作。

时光坐标创始人陈奕,经历了中国电影从实拍走向数字特效的22年。这家国内头部影视视效公司曾深度参与《影》《长空之王》《流浪地球2》等重磅项目,也是行业里较早进行AI应用的探索。(相关阅读:《太平年》整体特效团队解密AI工作流搭建:AI如何真正融入专业影视创作流程)

今年以来,时光坐标已先后参与到了近10个AI+真人混合制作项目中。

时光坐标创始人 陈奕

他认为,这一轮变化与20年前CG进入行业高度相似,混合制作只是把CG换成了AI,光学影像(拍)与算法影像(算)的比例目前仍在动态调整中。

在这次访谈中,他从视效公司的视角出发,回答了混合制作到底是什么、会改变什么、边界在哪里、剧组人员结构将如何调整等问题。

目前行业主流做法是,演员在绿幕前表演,环境与奇观由AI生成,最后通过合成叠加。他在项目中看到,拍与AI比例从1:9到5:5不等,但目前还没有看到精品长剧、电影的实拍部分降到50%以下。

当下看,行业共识是主要演员必须有实拍,其他维度尽可能借助AI。

目前,不少剧组已经在实操中配置了新增了AI组,而AI组的分工已经由技术把控转向参与创作。至于未来“拍”和“算”的比例到底落在哪里?陈奕的建议是目前看到的最优解,是在设计筹备期大量用AI,再反推拍摄周期、置景量和表演时长,最终通过项目验证,让市场和观众来决定比例。

可以确定的是,AI没有改变影视内容的本质,它改变的是“拍”与“算”的分工方式,而判断什么该拍、什么该算的能力,将成为新的核心竞争力。

混制并不“新鲜”

20年前是“拍+CG”

现在是“拍+AI”,本质是“算”和“拍”的比例问题

镜头是长剧、短剧、广告、动画等任何项目的最小单位。过去光学拍摄就能产生镜头,大约20年前, CG进入行业,出现了全新的“算法影像”,在陈奕看来,这两者就是混制的核心。曾经,全行业也走过一轮混制流程,只是挂着绿幕,用三维软件做很多东西,再与实拍合在一起。

从产业看,电影、长剧、中剧目前仍以拍为主,动漫、游戏、短剧则积极拥抱“算”,短剧的创作者和观众都已接受纯算的内容。

在陈奕看来,今年上半年,行业里说真人短剧消失、群演失业,无外乎是短剧层面已基本接受了算法影像,而现在长剧、电影都跑到了这个交叉点,必须想清楚拍与算到底是什么关系。

时光坐标经历了中国电影数字技术发展的整整22年,陈奕感觉这20年似乎又重来了一遍:过去十年,电影工业化的分工、流程和细分领域基本完成,就在这个节点,AI来了。

拍加特效在AI之前就很常见,“比如浪漫的满天烟花镜头,不可能真在上海外滩去放,肯定是特效,只不过不同的戏,拍和CG的比例不同。”

陈奕表示,AI来了,占比可能更高,但混合本身只是换了一种制作工艺,当年CG是把绿幕里的实拍与三维制作合在一起,如今只是把算的那一半换成了AI。

AI的瓶颈在“运动”和“主演”

核心是高质量的可控

陈奕发现,行业内AI应用目前最大的争议点是“可控”。

去年讲的可控是一致性,比如脸像不像,今年已升级为高质量的可控:导演要求精准的摄影机运动和拍法,如果AI介入后丢掉了过去20年的特效流程,它到底能不能解决?

真正要解决的就两个问题:运动和主演。

运动方面,电影本来就是运动的艺术,现在AI靠文字或小型辅助工具控制摄影机运动,和专业影视相比还很简单粗浅,而镜头运动恰恰是导演最重要的工具。

比如现在可以一口气生成30秒,行业里出现了两种声音:缺少导演经验的创作者很拥抱,觉得比自己想得好,专业导演则认为,用镜头运动讲故事是自己的职责,把镜头运动自动生成了,要导演做什么?他们只要单个镜头,最终控制权要在导演手里。

人的方面,传统流程靠绿幕、抠像、摄影机跟踪,可以完美匹配。以《太平年》为例,美术置景只做半艘巨船,演员在上面表演,另外半艘通过运动跟踪和三维建模接出来,这已被很多项目验证可行。

陈奕认为,AI目前对空间的理解还不够准确,运动调度、演员走位就很难直接、彻底地交给它,同样是人,真人拍摄加合成能做到的完美匹配,AI暂时还不具备。另外,竖屏短剧的用户已习惯了一口气生成的15秒、30秒内容,但长剧的混制还没有完成市场验证。

“摄影机跟踪(camera tracking)这类解决摄影机运动与CG运动结合的方案,AI时代暂时还没有解决办法,现在的AI,有点像一个“百宝囊”,原来CG时代的部分三维模型、动画等元素,可以快速由Ai来生成。

目前主流是“绿幕实拍+AI生成+合成”

实拍占比尚未跌破五成

陈奕透露,时光坐标已跑了七八个项目,不少仍在保密期,其中有平台或导演接受部分人物用AI呈现。

现状是,不同的剧组对于Ai的运用和理解有不同的维度,有些剧组要求演员必须在绿幕前拍,尽可能保留表演,环境等其他内容尽量用AI做,最后由数字艺术家通过“合成”把AI元素和实拍的人叠加在一起。而有一些剧组,已经开始尝试非重场的演员也使用AI生成,这是一个持续探索和试错的过程。

在他看来,前者与原有视效流程没有本质区别,只是原来用CG生成的内容,现在改由AI生成,这也是今年上半年行业比较主流的做法。

(TIMEAXIS &AIGC应用,时光坐标第三代LED虚拟拍摄制片技术案例)

“降本是有空间的”陈奕看到,“AI与实拍的比例有1:9的、4:6的、5:5的,平台有激进也有保守,但目前他没有看到精品长剧、中剧或电影的实拍部分退到50%以下。”

AI电影的喧嚣还得经过市场验证:长剧平台近期会陆续放出真人加少量AI的内容,如果到年底观众没有太多察觉、没有太多不良反馈,就相当于摸到了接受度的边缘。

他用“靶子”描述AI的渗透路径:最核心圈是运动调度加主角的真人表演;往外一圈是群演、自然环境和爆炸、崩塌等高难度物理碰撞;最外一圈是早期预演和简单的特效。

而行业是从外往内逐渐渗透,已经摸到核心圈的边缘,目前卡在空间调度和主角的真人表演上,后者不完全是技术问题,还有法律和肖像版权问题。

题材上,古装、战争、玄幻居多,纯当代都市戏、都市偶像剧暂时还不太需要。

这与早期视效的规律很像:工具更复杂、流程更长,需要的人更多的部分,先被大模型取代;降本也分两层:狭义是视效成本,广义还触及美术置景、制片流程和拍摄周期。

要突破瓶颈,需要三方准备

模型懂空间、工艺重做、主创适应

“第一,视频大模型要具备空间识别能力,如果仍以镜头为单位出结果,融入专业影视流程就有难度。”

陈奕以软件史类比,Photoshop之后有了Premiere、After Effects,都以像素、平面为核心逻辑,过了几年才出现CAD、3ds Max、Maya等三维软件,而三维工具出现,才是CG大规模进入影视的开始。

现在的视频大模型基于镜头,本质上也是二维,若AI工具里出现三维空间概念,底层可能就有世界大模型。导演先看空间、再定机位和调度,空间化思维对创作者极其友好,近期AI创作工具层面都开始了三维空间的探索。。

“第二,对时光坐标这样的公司,要积极拥抱AI,判断算法影像能替代哪些环节,并与导演、剧组、制片部门对接,明确传统流程中哪些部分会改变。”这也是他今年上半年看到的最大变化。

“第三,视效公司先天有数字化背景,接受不难;导演、摄影指导、美术指导大多基于光学影像创作,接受度还要观察。”

陈奕认为,AI的速度可能比CG时代快,但CG时代建立科学流程用了十几二十年,就算加速两倍,也需要几年。

电影的经典创作理论已有100多年,蒙太奇、导演调度仍是根本,不会因技术而改变,除非出现全新的剪辑或表达模式,即“新形态电影”,但从艺术维度看并不容易。

AI在前端的价值已成共识

筹备期做预演,后期降本才真实

陈奕观察到,目前行业的共性是在前端设计和筹备阶段积极拥抱AI,国内很多剧组已用AI做大量预演。

他引用一位朋友的说法,“筹备期放上时间线的镜头,只是AI的下限。之后还有一到三个月的拍摄期,大模型迭代只会更好,不会更差。”

他认为,专业创作与一般创作的区别在输入源。大模型的能力对所有人是“平权”的,可视作定量,专业人员能改变的是输入的专业程度,而不只是提示词,比如不少短剧直接用AI生成人物三视图再生成镜头,而剧组有服化道和专业演员,可以把服装、道具、建筑、造型的细节全部汇总输入,素材更好,结果就应该更好,预演的价值也被重新认识。

以前筹备时间不足,只能挑重点做;现在AI的成本低、色彩光影能力强,恰好契合“磨刀不误砍柴工”,用较低成本把重要部分都生成出来,对叙事、发行和平台判断项目走向都有价值。

传统拍摄中的不可控分被动和主动两种,天气、季节是被动的,预演或数字化方案不够精准,才造成拍摄阶段的损耗,是主动的。

“AI倒逼大家在前面精准化,拍摄损耗按逻辑会适当缩小。反过来,前端不精准,后面就只是‘抽卡抽了N遍’,没有降本,只是换了工具。”

剧组结构开始变化

新增AI组,“经验+ AI”的人更吃香

陈奕判断,AI带来的变化无外乎流程和结构两个方面。

流程上是更为深度的“后期前置”,结构上,剧组主创的结构依然存在,视效部门新增了AI组,而不同部门的配置与规模,会随着Ai深入影视流程而不断变化。

对时光坐标内部而言,数字艺术家的态度比较积极,公司原本就在探索各种数字化工具和流程。陈奕说,公司内部更愿意称之为“升级”。

(时光坐标全流程AI制作海外AI短剧

《He Broke the Heart That Saved Him》)

AI组的角色也在变,以前视效公司在现场主要把控技术、控制可实施度,现在AI组在参与创作,导演有新想法,当晚就能出方案探讨,遇到突发情况也能应急。

AI组的人员有两类:一类是有经验的视效总监、视效指导,AI工具学习成本不高,可以速成;另一类是年轻的AI创作者,借AI技能获得进入精品剧组前端创作的窗口。

一个小分队的成本一看便知,这使得原本视效公司价值越来越大,视效公司有机会从最前端进入项目,而不再被简单称作“后期公司”,优秀的视效团队必须具备AI能力。

陈奕称,“行业正处在‘不拘一格降人才’的阶段,但最终留下来的一定还是综合能力最强的人”。

对核心工种也是如此,他认识的一些年轻优秀的摄影指导AI用得非常好,原因是真实打过光、思考过透视,有的已兼具AI总监的功能。

“以前做传统视效时,团队常和摄影指导沟通CG做出来的光为什么总像算出来的。”陈奕发现,影像标准始终在往光学靠,评判AI生成的人或场景真不真、像不像,标准仍是摄影机拍出来的优秀作品,所以懂光的人更容易用好AI。

早期电影里,导演、摄影、美术是最核心的主创,后来才有了视效指导,因此他对摄影师和美术师的建议是:一定要快速掌握AI,掌握得越好,价值越高,而不是被取代。

不预设AI占比

保持“边界感”,工具不能定义内容

针对“未来的实拍只是拍个参考视频”的观点,陈奕认为理论上可以预期,但对时间跨度持保留态度:创作者、技术和观众接受度都是变量。

行业里还有两种观点,一种认为AI生成的人再真实观众也不会接受,另一种认为只要足够真实,“谁在乎”。

“这需要项目来验证。”当下看,行业共识是主要角色必须有实拍,其他维度尽可能借助AI。

对于“AI会成为主流生产模式”的预判,他的回应是:混合制作本就是过去20年的常态,只是AI让比例可能更高。他不认为未来市场上90%、100%的片子都由AI算出来,也不主张强行规定比例。

他强调要设置边界感,全面否定或全面拥抱都不可取,“目前看到的最优解,是在设计、筹备期大量用AI生成,由主创共同判断,再反推拍摄周期、置景量和演员表演时长。”

他也不认同“AI影片”与“实拍影片”应分开看待的观点。

在他看来,AI是一个非常优秀的工具,影片本身才是内容,不应该用工具去定义内容形式。他更关注的是先看媒介(影院、电视还是手机),再看内容类型和题材,最后才倒推用实拍、AI还是混制。

陈奕认为,如果有一天整部影片都由AI高品质算出来,就不再叫混制,而是“算法电影”,那是和传统电影不同的新物种,前提是观众和市场都接受。

“它也可以理解为超写实动画:电影本来就叫motion picture,只不过原来是拍出来的,现在是算出来的。”

今年行业内有不少AI动画电影在筹备,陈奕认为原因在于,动画能跳出“恐怖谷效应”,观众不会一直猜角色是不是真人而出戏,可以专注于故事和视觉风格。

追求AI的高真实,他认为“还有待观察”;而AI进入动画电影,从故事内容、观众反应到技术储备虽仍有差距,但已经接近。

从技术走向内容

资金、规模壁垒在消解,内容壁垒仍是核心

大约10年前,陈奕把视效分为三个层次:拍不出来的,用视效,这是技术维度;视觉奇观,是审美维度;帮助叙事、帮助情感,是最高维度。

过去几十年,只有少量项目能介入第三层。AI来了,让许多项目有机会介入叙事层面,甚至尝试自己做内容。他说,这带来一种“越级”的变化,需要补齐的短板是内容判断、情感判断和讲故事的能力。

他说,AI给了时光坐标做内容新的切入点,要尽可能用在剧组学到的知识和经验把这条路跑通,技术和审美上的判断他们有信心,内容和情感判断则不见得是最好的,需要跳出舒适圈,他身边不少中小规模的技术型公司,也在尝试做内容。

(AI网络电影《灵魂摆渡》系列)

在他看来,AI确实带来了降本的可能,也在重构内容行业的逻辑,过去进入大电影有三道壁垒:资金、规模化和内容。

前两道正在消解,内容仍是核心:即便在短视频、短剧上,生成一个奇观化镜头已不是难事,大家甚至审美疲劳,关注的是内容打不打动人。

这既给了时光坐标这样的公司乃至更年轻的公司进入的机会,也意味着传统影视公司和平台的核心优势仍在,只要尽快补上另外两项,时光坐标大电影计划后续会提上议程,去年用AI制作的系列剧近期在B站上线,总长117分钟,相当于一部电影的时长,以单元化的方式推进。

至于媒介,陈奕认为再怎么变,也变不了“大、中、小”三类。2018年前后,时光坐标已在做IMAX电影,团队讨论后认为,视效公司做的是眼睛跟屏幕的关系:眼睛不会变,屏幕只会更大或更小,更小是手机,更大是沉浸式空间、VR。

往小走,叙事和表达方式也随之改变;往大走,则有特种电影、沉浸式艺术,他们也在尝试用AI出元素。

无论媒介怎么变,上面承载的始终是内容及其制作方法。

为什么“惊吓”能成为北京环球影城的招牌?

相关学习资料