让人人拥有自己的专属数字人(聊天、阅读文档、互动)

这段时间停更了几天公众号，是因为花了一些功夫研究如何更快制作写实数字人的流程。目前试了几个方法：

• 方法一：利用Blender插件FaceBuilder，通过一张头像照片，制作头部，然后导入到 metahuman中自动生成身体、发型等部位。而FaceBuilder制作的头部shapekeys是和微软的vismes相互对应的，整个过程下来是免费的。

• 方法二：也是通过一张头像照片，上传到HeadShot 2中，生成高精度的人头，然后导入到Character Creator 4中补充上其他部位。可以导入到iclone 8中配置情绪变化和嘴形同步。这三个软件都是同一家公司的，我用的是1个月免费器，如果后期有需要高精度模型的话，可以考虑付费购买一下，非常好用。目前整个流程都走通了，收获满满。

• 方法三：Vroid Studio制作的二次元形象，也可以直接导入iClone 8来进行嘴形匹配。

  

再说说我数字人项目的最新进展。

• 在多个人物之间来回切换，这样用户可以自己选择喜欢的数字人

• 观看表演、聊天、换背景等。

• 聊天功能接入文心一言和星火大模型，可自由切换。

• 语音部分由之前的播放MP3改为流式播放，在内存里播放的形式，减轻服务器压力。

• 数字人讲话功能还是用的微软的文字生成语音和表情嘴形数据。

• 给数字人做了一个大舞台，在大舞台上任意跳舞。

• 优化了模型的大小。之前人物模型压缩后还有30M，这次通过各种减面、烘焙操作，分离了动作，不压缩的情况下不到10M。

• 整个项目是基于react+threejs的，所以可以用在任何可以上网的设备上。这是区别于别的公司用Unity 或者UE的最大地方。任何时候只要一个地址就可以跟自己的数字人互动。

接下来要加入的功能：

• 登录/注册

• 登录后，用户可以自己上传模型、背景图、选择性别、服饰、模型零件

• 用户有自己的资产库

• 增加写实数字人

• 聊天中根据情绪变化来切换不同的动作、眼神，像开心、生气。

• 试一下现在很火的文字转音乐，让数字人根据gpt生成的歌词来唱歌

预告一下：明天开放视频里所有功能的体验地址。😄

关于作者