Nvidia已经发布了Omniverse Audio2Face 2021.3.2,这是其基于AI的实验性免费软件的最新版本,用于从音频源生成面部动画。
该版本增加了一个选项,即为自定义头部模型生成一套跨越多种表情的面部混合造型,然后以USD格式导出,以便在Maya或Blender等软件中编辑。
从音频文件为Character Creator角色自动生成唇部同步和面部动画
去年首次发布的Audio2Face是一个经过人工智能训练的工具,用于从音频源生成3D角色的面部动画:无论是离线的语音记录,还是实时的音频馈送。
与姐妹应用程序Omniverse Machinima一起,该软件是Nvidia围绕Omniverse开发的一系列新游戏工具之一,Omniverse是其基于美元的新实时协作平台。
通过基于面部混合的工作流程来控制面部动画的新选项
在最初的版本中,修改Audio2Face生成的动画的唯一方法是通过后期处理参数,但Nvidia已经开始实施基于面部混合形状的替代工作流程。
Audio2Face 2021.3.0增加了一个选项,可以将自定义混合形状驱动的角色资产链接到基础Audio2Face资产,2021.3.1增加了对解的对称性的控制。
对此,Audio2Face 2021.3.2增加了为自定义头部模型生成一套混合造型的选项。
视频:在Omniverse Audio2Face中生成BlendShape
上面的视频显示,该软件被用来将一组46个现成的混合造型从A2F资产转移到一个定制的头部,涵盖了标准的面部表情范围。
转移过程可以通过调整两个头部模型上识别同等特征--相同面部特征的位置--的对应点来控制。
这个过程保留了UV,使得重
新使用原始面部纹理成为可能。
然后,产生的混合形状集可以以美元格式导出,从而有可能在能够导入美元文件的DCC应用程序中编辑单个面部形状,如Maya或Blender。
视频:Omniverse Audio2Face中的流媒体音频播放器概述
其他新功能:新的流媒体音频播放器,支持MetaHumans
Audio2Face 2021.3.2的其他新功能包括一个流式音频播放器,用于将音频数据从外部来源流进软件,如通过gRPC协议的文本到语音应用程序。
自从我们上次写了关于该软件的文章后,Audio2Face 2021.3.1增加了在MetaHumans上使用Audio2Face动画的选项:用Epic Games的免费MetaHuman Creator应用程序生成的3D角色。
您可以在这个视频中看到通过Omniverse虚幻引擎4连接器将面部动画数据从Audio2Face转移到虚幻引擎中的MetaHuman的工作流程。
价格和系统要求
Omniverse Audio2Face可用于Windows 10。它需要一个Nvidia RTX GPU:该公司推荐GeForce RTX 3070或RTX A4000或更高。所有的Omniverse工具对艺术家个人都是免费的。
从 Nvidia 的产品网站下载 Omniverse Audio2Face:
https://www.nvidia.com/en-us/omniverse/apps/audio2face/
更多CG资讯请关注:https://www.rrcg.cn/forum-612-1.html
如有问题,请联系邮箱:rrscteam@qq.com