乐于分享
好东西不私藏

AI漫剧角色终于会「演戏」了:Wan2.2 Animate 动作驱动实战,一张人设图跑出整段表演

AI漫剧角色终于会「演戏」了:Wan2.2 Animate 动作驱动实战,一张人设图跑出整段表演
AIDM 手记2026.08.08

AI 漫剧角色终于会「演戏」了 · 动作驱动实战

一张人设图加一段参考视频,把角色表演从「抽卡」变成「导演」。

DOODLE

Wan2.2 Animate:动画模式与替换模式全解

ComfyUI角色动画

做 AI 漫剧最折磨人的一关,从来不是画得好不好看,而是让角色动起来还像同一个人

纯文生视频最大的问题是不可控。你写一百字提示词描述「她转身、低头、伸手推开门」,模型给你的可能是转身转到一半糊掉、手指多长出两根、脸在第 30 帧悄悄换了个人。想让角色按你脑子里那套表演走,靠抽卡是抽不出来的

而 Wan2.2 Animate 这条技术路线换了个思路:动作不用模型猜,你直接演给它看。给它一张角色人设图,再给它一段参考视频,它把视频里的骨骼动作和面部表情「搬」到你的角色身上。这就从「祈祷模型理解我」变成了「照着我的分镜执行」。

这篇把这条链路从原理到实操讲透,包括两种模式怎么选、ComfyUI 里怎么跑,以及我踩过的几个典型坑。

图 1 动作驱动生成的成片:同一角色完成「转身—抬头—伸手」的连续动作,四格中脸部完全稳定

01

PART

背景与价值

WHY IT MATTERS

过去两年,AI 漫剧的工具链一直在补短板,大致可以分成三个阶段。

  • 第一阶段解决「画得像」:Stable Diffusion 生态加 LoRA,让人物立得住。
  • 第二阶段解决「动得起来」:图生视频模型让静态图有了呼吸感,但动作幅度小、内容随机。
  • 第三阶段解决「演得准」,这正是动作驱动类模型的价值所在。

对创作者来说,这一步的意义不只是「更可控」,而是表演成本的重构。以前想让角色做一个有情绪张力的动作,你要反复抽卡几十次,挑一条能用的;现在你可以自己拿手机对着摄像头演一遍,或者找一段版权合规的素材,把动作直接灌进去。表演这件事,从「运气」变成了「导演」。

这对单人流水线尤其关键。一个人做漫剧,最贵的不是显卡时长,是返工时间。动作驱动把「不确定的生成」压缩成「确定的迁移」,返工率直接下一个台阶。

图 2 左为纯文生视频:角色脸型发色漂移、手部结构混乱;右为动作驱动:五官服饰完全一致,动作连贯

02

PART

核心工具与工作流

TWO MODES

Wan2.2 Animate 属于阿里通义万相 Wan2.2 开源系列中面向角色动画与替换的分支,ComfyUI 已提供原生工作流支持。它最重要的设计是把需求拆成了两种模式,而新手最容易犯的错就是选错模式

COMPARE两种模式对比02 / 05
维度
动画模式
替换模式
输入
角色参考图加驱动视频
原始视频加角色参考图
输出
你的角色在新画面里演出驱动动作
原视频人物被换成你的角色
背景来源
模型据角色图与提示词生成
沿用原视频的真实背景光影
典型用途
漫剧主镜头、角色单人表演
实拍改漫、复杂走位、群像镜头
主要难点
背景稳定性、构图对齐
角色与原场景的光照融合

一句话判断法:你要的是「角色加全新画面」,选动画模式;你要的是「保留这段视频的场景和运镜,只把人换掉」,选替换模式。

PIPELINE完整生产链路四段式
  • 角色奠基:先在 Stable Diffusion 或 ComfyUI 里把人设图定死,正面、半身、全身各一张,这是所有一致性的地基。
  • 驱动素材准备:自拍、公开授权素材,或用现有动画片段;关键是构图和你的角色图能对上。
  • Animate 生成:在 ComfyUI 里加载角色图与驱动视频,跑出带表演的镜头。
  • 剪辑配音:多条镜头拼接、配音对轨、加字幕与音效,导出成片。
图 3 节点式工作流示意:左侧角色参考图,中部驱动视频与骨骼姿态提取,右侧输出带表演的成片

03

PART

实操步骤

TUTORIAL

下面按「基础到进阶」走一遍。具体节点名称与默认参数请以你所用 ComfyUI 版本的官方模板为准,本文只讲不会随版本漂移的逻辑与判断标准

Step 1环境与模型就位
  • ComfyUI 更新到较新版本,原生工作流是逐版本补进去的,版本太旧会找不到对应节点
  • 模型文件按类型分别放进对应目录:扩散模型放models/diffusion_models,文本编码器放models/text_encoders,VAE 放models/vae
  • 显存吃紧的机器,优先找社区提供的量化版本,fp8 与 GGUF 量化是常见做法。这属于通用建议,具体可用性看你的显卡与版本。
  • 打开 ComfyUI 的模板库,直接加载官方提供的 Wan2.2 Animate 模板,不要自己从零连线,这是新手效率最高的一步。
Step 2把角色首帧钉死

这一步决定后面所有镜头的成败,要求如下。

  • 分辨率够高,五官清晰,不要用大逆光,不要用大幅度遮挡的姿势
  • 全身入镜、四肢完整,模型才知道你的角色手长什么样
  • 服饰细节如发饰、袖口、纽扣尽量清晰,这些是模型判断「还是不是同一个人」的锚点
  • 建议同时存一版三视图,正面、侧面、背面各一张,后面换镜头角度时直接换参考。
图 4 角色设定表:同一角色的三视图与三种表情,五官比例与服饰细节在所有视角中保持一致
Step 3准备驱动视频

驱动视频的质量,直接决定生成结果的上限,有四条硬标准。

  • 单人出镜,多人会让姿态提取混乱。
  • 全身或稳定的半身构图,人物在画面中占比不要忽大忽小。
  • 动作清晰、不过快,快速挥动的手臂容易糊。
  • 时长先短,第一次试跑建议控制在 3 到 5 秒,跑通了再加长。

一个高频细节:驱动视频的人物构图,最好和你的角色参考图大致对齐。参考图是全身,驱动视频却是大特写,生成出来的比例会很怪

Step 4跑动画模式,出第一条镜头

加载模板后,需要你手动指定的通常就三样:角色参考图、驱动视频、描述场景氛围的提示词

  • 提示词重点写场景、光线、镜头,不要再去写动作。动作已经由驱动视频决定,重复描述反而会打架。
  • 第一次跑用低分辨率加短时长,确认动作迁移正确、脸没崩,再上高分辨率重跑。
  • 生成完先看三个地方:脸、手、服饰边缘。这三处是最先暴露问题的。
图 5 上为驱动动作骨架的三个节点,下为生成结果:角色在樱花树下完成完全相同的三个动作
Step 5进阶:替换模式,把实拍场景变成漫剧

替换模式是这套工具最被低估的能力。它让你可以先用手机实拍一条走位复杂的镜头,比如推门、走廊行走、坐下端起杯子,然后把画面里的人整个换成你的动漫角色,背景、光影、运镜全部沿用实拍

对单人创作者来说,这等于用零成本获得了专业运镜。你不需要在 AI 里去描述一个复杂的跟拍长镜头,你只要真的走一遍

  • 原视频人物要清晰完整,避免频繁被遮挡。
  • 场景光照方向尽量单一稳定,混合色光会让融合变难。
  • 替换后重点检查角色身上的光是否和场景对得上。顶光场景里角色脸上却是平光,一眼就假。
图 6 替换模式成片:咖啡馆实拍场景中的人物被换成动漫角色,街灯侧逆光与桌面阴影自然融合
Step 6剪辑与配音,把镜头变成作品

单条镜头不是作品。把 5 到 10 条镜头按分镜顺序拼起来,配音对轨、加环境音与字幕,节奏才成立。剪映、达芬奇都够用,注意每条镜头之间做 2 到 4 帧的过渡处理,硬切在 AI 生成素材上特别容易露馅。

04

PART

避坑与最佳实践

PITFALLS

CHECKLIST高频问题速查表6 项
症状
大概率原因
处理方向
脸在中途变了个人
参考图脸部太小或被遮挡
换清晰正脸参考图,缩短单条时长
手指结构崩坏
驱动视频手部动作过快或出画
放慢动作,保证手全程在画面内
动作对不上
驱动视频多人或构图差异大
换单人素材,对齐构图比例
背景乱飘
提示词里场景描述太模糊
把场景、光线、镜头写具体
替换后角色浮在画面上
光照方向不匹配
选单一光源场景,或后期压一层环境色
长镜头后半段质量下滑
单次生成时长过长
拆成多条短镜头,剪辑时拼接
PRACTICE五条最佳实践04 / 05

第一,永远先跑低配试片。低分辨率、短时长先验证动作和脸,通过了再上高质量重跑。直接冲高配是最浪费时间的做法

第二,把角色参考图当资产管理。一个角色一个文件夹,存好三视图、表情表、服饰细节图。连载做到第十集你会感谢自己。

第三,动作描述交给视频,氛围描述交给提示词。两者职责不要重叠,重叠就会互相干扰。

第四,宁可多切镜头,不要强求一镜到底。AI 生成的质量随时长衰减是普遍规律,5 条 4 秒镜头的成片观感,几乎总是好过 1 条 20 秒。

第五,驱动素材注意合规。自己拍最安全;用他人素材务必确认授权范围,尤其是要商用发布的内容。这条不是技术问题,但翻车代价最大。

图 7 左为失败案例:手指粘连、脸部拉伸、衣领撕裂;右为修正后:动作流畅、结构正确、边缘干净

///

END

小结

SUMMARY

动作驱动这条路线,本质上是把 AI 视频从「生成」推向了「执行」。五个要点收束一下。

  • 想要角色加全新画面,用动画模式。
  • 想要保留场景与运镜、只换人,用替换模式。
  • 角色参考图是地基,它的质量决定整条链路的天花板。
  • 短镜头加多条拼接,永远比赌一条长镜头稳。
  • 先低配验证,再高配出片,这是效率最高的工作节奏

CLOSING

AI 漫剧的门槛正在从「会不会用工具」滑向「有没有导演思维」。当角色终于能按你的意思演戏,剩下要拼的就是:你想让她演什么。

我是行走的技术,长期分享 AI 漫剧与 AI 视频的实战工作流。如需整合包和使用教程,关注我给我留言。

行走的技术 · AIDM 手记

如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。

在看
收藏

THANKS FOR READING