网易伏羲吕唐杰:AI年年大跃进,如何重构工具和美术管线“让研发爽”?

7月29日，2026游戏产业出海发展大会在上海举办，其中AI技术重构游戏产业生态分论坛上网易雷火伏羲算法负责人吕唐杰受邀出席并发表了题为「游戏研发的Al提效实践:从工具辅助到流程重构」的演讲。

吕唐杰从制作范式的变革、AI与底层工具链的深度融合、动画管线的全流程AI落地、各岗位全面提效四个角度，探讨了AI在游戏美术研发中从“辅助工具”到“重构生产流程”的演进与落地实践。

AI正在打破传统重型开发管线的束缚，让DCC软件从“集中式工作台”变为整个工作流中灵活的一环。这不仅极大提升了生产效率，更将美术人员从繁琐的机械流程中解放出来，让他们拥有更多主导权，真正回归到核心的艺术创作本身。

以下是GameLook整理的演讲实录：

吕唐杰：

各位各界的领导，各位开发者的朋友们，大家好。很高兴今天有机会向大家介绍我们在日常工作中，积累的一些AI落地的实践以及思考。我是来自网易伏羲实验室的吕唐杰。刚刚进来时我们看到门口有很多小时候玩过的游戏，AI也在这里应用进来。开场我想回顾一下AI在我们的美术工具中，一路走来扮演的角色。

这会分为两部分，大家可以看上面两部分更多是在DCC的插件开发中用到的一些AI能力。最早的时候更多是帮助我们写脚本，像Maya Python或者MaxScript，快速地去构建TA的插件。

随着模态一步步扩张，可以看到先是生成模型接到了DCC软件里面给美术使用。3D生成模型逐渐可用之后，我们也一步步融入到美术流程里。到了去年，模态进一步扩张到了视频生成，包括像动作生成也有部分简单的场景可用，所以也串联到了像Maya或者Max这种日常动作使用的DCC工具里面。

到今年更进一步，所有的DCC现在开放了原生MCP的支持，美术能够非常方便地去调用这些工具链，形成从原画到动作所有模态的工作串联。

下半部分两块是引擎里面Unreal相关的进化。这部分支持会稍微迟滞一点。从一开始我们需要自己去写脚本做脚手架把AI的能力引进来，到了24年的时候更多DCC和引擎原生支持更现代的Python接入，对AI的3D接入更友好。

再进一步到今年，UE对原生MCP进行开源。我们会发现在这个时间点上，DCC和引擎在美术制作和开发过程中的关联越来越强，或者说它的边界正在被打破。

我们拿最近UE的几个变化做一个剖析和思考。UE在最近的5.7结合5.8上开放了大量的MCP接口。日常比如AI驱动特效，会发现它的整个调整过程，从原来我们需要搭一大堆脚手架去调通粒子特效，现在变成只要用Codex挂上UE的MCP，就可以快速产生大量支撑之前没有探索过的特效效果。

同样的事情不止发生在特效上，还发生在动画、蓝图，包括物理仿真等等，在UE里做的事情都可以更便捷地通过AI Agent快速驱动起来。

同样也发生在UE虚拟人的模块里面。原来Metahuman偏向封闭，需要第三方脚手架支持才能导入到Maya和Max去二次编辑。最近它开源了Metahuman的Developer Kit。基于Developer Kit可以做一些事情，个人开发者想优化自己的绑定系统，可以更方便地结合UE去开发；同时它也开放了AI动作现成的一些配合，以及面部数据。个人创作者能够更方便地拥有更好的动作验证。对于大厂的策划也是一样。

基于这个我们会发现目前美术工具链产生了一个制作的范式变革。退回到三年前，整个旧范式或者工作模式是美术提需求，TA、程序员或者AI工程师去开发大量引擎或者DCC环境里的控件。开发完之后，美术必须严格按照规则使用，并且投放到DCC里严格按照上下游去操作。接口操作稍有不慎，整个工作流程就会断掉，需要反馈给TA去修正，整个闭环的迭代周期比较长。

而新的范式，AI从一个只是加速TA或者程序工具开发的角色，变成协助美术调试整个美术管线的形式。这便于美术去利用AI能力协作上下游，以及开放的MCP能力，包括我们自研的一些AI算法接口，以及DCC开放的一些MCP算法或基建能力。基于这样的变化，很显著的一点是DCC从美术的集中式工作台变成了流程里的一个环节。也就是说美术在这个过程中有了更大的决定权，可以更自由地探索。这样的事情发生在从原画、建模、绑定到动画的各个环节。今天时间有限，我们会借着动画这个日常实践相对较多的方向做一个展开。

真实的业务挑战是这样的，大家在动作类游戏里都想给玩家更丰富的动作体验，所以往往会遇到海量动作产能的挑战。传统的动作管线会要求有大量的内外包制作资源，确保整个管线可用。同时所有美术是集群化作业的，各个环节需要相互配合。

基于这样的背景会存在一些问题，就是流程真的是固化的。比如提供的原子算法能力只能给绑定，或者只给k帧的美术，所以美术之间插件是不通用的。另外产能瓶颈来自于某些环节像动捕，会显著依赖于动捕房的产能，硬件会倒逼整个产能提升变得困难。还有一部分是管线没法去定制，A游戏跑通的一些用法迁移到B游戏还是需要经过比较多的改造，这个成本是不容忽视的。

这看起来如果对比登山，有点像俗称的“喜马拉雅式登山”，就是为了达到目的需要建立强大的后勤团队，有巨大的规模来持续长周期地做输出，从而达到目标。当然它也容易出现诸如在风口处产能提升困难的问题。

既然我们把原有流程类比为喜马拉雅式攀登，AI加速后我们在想有没有可能形成一种类似“阿尔卑斯式攀登”的方式？就是以小团队快捷快速地去突破，形成对原始流程依赖更小的制作效果。

所以我们从去年开始尝试通过AI让美术更关注制作本身，能够自主、快速、灵活地通过小分队制作来各个突破。这个做法过程中碰到了一些挑战，主要分三点。一是AI能力能不能覆盖美术所有的环节，让原来只负责单一环节的美术全流程速通；二是它有没有能力灵活调度手中已有的AI能力，创建出更适合整个使用流程的制作管线；三是能不能跨游戏地把数据或经验积累下来，服务于后面的游戏和其他环节。

应对第一个挑战，我们把全流程的能力覆盖在了动画环节上。包括从绑定，到视频生成的动作，到k帧，到补帧，再到最后的一些解算，都有一系列工具去配套。

今天可以分享一下原型的两个点，可能会对个人开发者或其他团队有一定启发价值。今年上半年视频生成模型推进非常快，我们就想到有没有可能通过视频生成模型，用单目动作迁移去拿到一些原型动作。

一开始测试时发现了一些困难，比如用原始提示词去生成动作，镜头非常花哨，并且环境光和人之间的对比度不利于算法进行动作提取。所以可以进行简单的镜头控制，包括对人物和背景之间的对比度调整，甚至要求穿纯色服装来提高关键点提取的精度。这样我们达到一个目的，策划可以在5分钟内通过提示词模板，拿到一个在引擎内真正的3D动作放到占位上去验证想法。

这会带来另一个问题，原来整个排期是五天，现在变成5分钟后，他需要持续抽卡。抽卡带来的问题有另一种解决方式，就是基于VLM自动化监督生成结果。基于生成结果持续迭代提示词直到满足项目需求，再拿去做占位动作。

这又解决了我不需要十分钟去看一次，我可以积累到比如20个动作，把抽卡成功的动作丢进引擎集中看。可能就是两三个小时集中看一下。这是基于视频生成模型去获取动作原型的案例。

进一步有些需求想得很清楚，不需要通过生成模型获得原型，可以通过多目手机采集的方式快速拿到表演视频。这样可以很快架设6台手机进行标定，标定完之后到线上做解算，就可以拿到比单目更精细、可作为参考的视频。这更适合多人的交互场景。

既然有了这么多动作，遇到的下一个问题是如何管理并且筛选。我们把已有的动作合并到一个动作库里面，用AI做了两件事。一是对每一个动作自动进行识别、打标；二是建立了一个比较大的动作向量库，帮助美术团队把海量动作筛选出来应对当前需求。筛选到的动作可以进一步直连到DCC里使用。

在已经筛选的DCC动作上，往往美术的操作流程是需要打开一堆DCC内的插件，不断在插件面板上切换，来完成从k帧到补帧最后到飘带解算的过程。我们做了一个尝试，把所有的AI能力集成在一个AI面板上让美术使用，这确实更符合美术的心流。

这样动作导入后，可以借助AI能力快速k帧、做过渡。这个插件背后主要是解决了各个方法之间的格式过渡问题。它的背面是这样的，从原型动作，到key pose，到blending，各个算法模态有原始的训练数据。训练数据来自于不同模型的数据集，基于不同的数据集输出的格式并不互通。

原来需要TA或程序做比较多的转接，美术自己没有能力串接起来。通过一个统一的MCP接口，可以很方便地把零散在各个方法之间的动作格式进行统一管理，并且关联到角色化系统上。这就可以帮助美术在DCC内通过单套插件实现多个方法的联动，也方便TA快速积累能力创造新管线，还可以帮助策划在可视化的节点里编辑多个能力。

所以在这一套之上，各个职能都玩出了自己的新管线。策划可以快速获得占位动作；动画师可以更快速地在插件面板里串联各个AI能力；TA可以通过代码构建更新颖的制作流程。并且这些流程都是可以通过Claude code或者Codex批量执行的。

举一个美术做出来的比较有趣的例子，他们有一个想法，直接在办公区进行多目动捕，动捕完之后快速传到后台获取动作的计算结果。如果觉得质量可以，就丢到插件里做DCC精修。精修过程中可以引入模型选项等节点去做物理插帧。插帧完之后导入角色化，快速进行飘带解算，作为一个验证资产快速给到策划验证。

整体除了刚才提到的成本和时间之外，还有一个好处是可以把美术化整为零，快速让小分队去验证更多的玩法想法。我们发现这一套流程不只可以服务于美术，还可以被更多职能复刻，用AI重构相应的流程。

比如我们给大家更多的原子能力，并在各个生产环境里面批量执行。批量执行后，拿到的数据可以被筛选，通过的数据进行进包操作，没通过的数据反过来对应回原来的原子能力，进行重新训练和经验积累。

整个这一套下来，我们觉得是构造了一个通过AI驱动、能让美术更专注制作本身的管线重构方式，变得更自主、快速、灵活，并能进行小分队的流程探索，按需求各个击破。

最后，希望通过这一套流程能够重构整个美术管线，打破原有重型管线带来的桎梏，让美术能够真正醉心于热爱的创作，打造出打动玩家的美术作品。今天就为大家分享这些，谢谢大家。