Audio2Face genera mezclas faciales. Nvidia ha publicado Omniverse Audio2Face 2021.3.2, la última versión de su software experimental gratuito basado en IA para generar animación facial a partir de fuentes de audio.

La versión agrega la opción de generar un conjunto de formas de mezcla facial; estas formas abarcan una amplia gama de expresiones para personalizar los modelos a tu gusto. Luego puedes exportar los modelos en formato USD para editarlos en software DCC como Autodesk Maya o Blender 3. Sin olvidar su paso adelante para ser compatible con MetaHuman Creator, el software que genera personajes 3D de Epic Games.

Genera sincronización de labios automática y animación facial para personajes de Character Creator a partir de archivos de audio. Audio2Face es una herramienta entrenada por IA para generar animación facial sobre un personaje 3D a partir de fuentes de audio; grabaciones de voz o una transmisiones de audio en vivo.

Audio2Face 2021.3.2 incluye un reproductor de audio en streaming. Permite transmitir datos de audio al software desde fuentes externas como aplicaciones de texto a voz a través del protocolo gRPC.

Se puede utilizar conjuntamente con Omniverse Machinima

Junto con la aplicación hermana Omniverse Machinima, el software es una de un conjunto de nuevas herramientas de juegos que Nvidia está desarrollando en torno a Omniverse. Su nueva plataforma de colaboración en tiempo real basada en USD.

Esta versión de Audio2Face ofrece más opciones para controlar las animaciones faciales a través de su sistema de trabajo basado en la forma de mezcla facial. En la versión inicial, la única forma de modificar la animación que genera Audio2Face era a través de parámetros modificable solo mediante postproceso. Pero Nvidia ha empezado a implementar un flujo de trabajo alternativo basado en formas de mezcla facial.

Audio2Face genera mezclas faciales y además tiene ya lista para usar

El video que publicamos muestra el software que se utiliza para transferir un conjunto de 46 formas de mezcla listas para usar. Estas cubren una gama estándar de expresiones faciales desde el activo A2F a una cabeza totalmente personalizada.

El proceso de transferencia se puede controlar ajustando los puntos de correspondencia que identifican características equivalentes. Como las ubicaciones de los mismos rasgos faciales en los dos modelos de cabeza. El proceso conserva los UV, lo que permite reutilizar las texturas faciales originales.



Puedes descargar Audio2Face aquí.