强大的AI+3D动画编辑器:通过自然语音完成绑定、蒙皮、动作修改

最近在研究3D数字人动画的时候，又看到国外大神开源了一款3D动画编辑器，可以通过web端对3D人物的动作进行修改，在AI辅助下完成动作的增、删、改等，功能都非常棒，而且直接开源。

项目地址：

https://github.com/vibe-stack/trident

体验地址已经集成到数字人管理后台的工具管理权限，拿到体验权限的小伙伴可以提前体验。

看看效果：

预览、编辑动作

我把上次用mixamo做的几个动画导入工程中：

这个功能对于我们目前的3D实时互动数字人产品非常有用，目前我们的系统由于动作和模型是分离的方便随时添加动作，所以很需要这么一个工具来预览，而目前gltf-viewer都是做不到的，这个工具正好弥补了这个空缺，而且它可以编辑动作，我们知道mixamo导出的动作很多时候有多余的动作，用Blender清除非常麻烦，有了这个在线工具就直接解决了。

AI修改动作

如果需要AI来修改动作，需要fal上的key。这里先用作者的案例来演示：

跑步的时候发现手臂动作贴着身体，让AI直接分离一下手臂。通过自然对话，直接调整好动作，直接省掉动画师K帧的过程。

动画实现原理：

从零开始创建新的模型动画，具体用法如下：

• 要精确
  
  详细描述动作、手部、肩膀、腿部的具体运动。
• 不要指望一次搞定
  
  我们正处于一个全新的领域，它经常会把胳膊的旋转搞错（见演示）。只需告诉它你看到的实际效果即可。
• 骨骼绑定（Harness）机制
  
  如果你尝试自己构建类似应用，会很快感到挫败，因为一个骨骼绑定可能包含几十个骨骼，每个骨骼在每一帧都有平移（translation）、旋转（rotation）、缩放（scale）。这意味着每个骨骼每帧至少要处理 12 个属性！

取而代之的是，作者给它提供了一些高级工具，用来构建初始的动画“粗框”（blockout）。它只需要在选定的几个骨骼上放置少量关键帧。通常这就足够了！Three.js 会自动在帧之间进行插值，你甚至不需要 30 fps 就能获得一个不错的模型动画。

AI完成图形化动作流

直接通过自然语音对话，生成多个动作的可视化工作流。这个节点编辑器非常好用，可以调整多个动作的顺序、速度等参数，而这些工作AI都可以自动完成。Blender也特别需要这个功能。

第二款AI+3D动画编辑器

再介绍另外一款AI+3D动画编辑器：

https://animate.nirvanaxr.com/

可以通过自然语音对话完成3D数字人的绑定、蒙皮、动作。

1. 上传T-Pose模型，然后自动分析模型