DECA captura y animación detallada de la expresión humana
Mientras que los métodos actuales de reconstrucción de rostros 3D monoculares pueden recuperar detalles geométricos finos y sutiles, sufren varias limitaciones.
Algunos métodos producen caras que no se pueden animar de forma realista porque no modelan cómo las arrugas varían con la expresión.
Otros métodos están entrenados en escaneos faciales de alta calidad y no generalizan bien la naturalidad facial.
En este documento se presenta el primer enfoque que retrocede en el tiempo buscando la forma naturalizar una cara 3D y hacer posible que los detalles animables propios de un rostro humano cambien su expresión.
Este modelo, DECA (Detailed Expression Capture and Animation), está entrenado para producir un mapa de desplazamiento UV. Lo hace a partir de una representación latente de baja dimensión, que consta de parámetros de detalle específicos de la persona y parámetros de expresión genéricos.
La clave es el código creado con la intención de predecir los parámetros de detalle, forma, albedo, expresión, pose e iluminación de una sola imagen.
Para permitir esto, presentan una nueva pérdida de consistencia de detalle que desentraña detalles específicos de la persona y sus arrugas producidas por la expresión.
Esto nos permite sintetizar arrugas realistas específicas de la persona controlando los parámetros de expresión manteniendo los detalles específicos de la persona sin cambios.
DECA aprende de imágenes sin supervisión 3D, busca la mejor opción posible y logra una precisión de reconstrucción de última generación con dos puntos de referencia.
Los resultados cualitativos de los datos en la naturaleza humana demuestran la robustez de DECA y su capacidad para desentrañar detalles dependientes de la identidad y la expresión. Permitiendo crear una animación de rostros reconstruidos.
El modelo y el código están disponibles públicamente en https://deca.is.tue.mpg.de.
La captura facial sigue siendo una tarea pendiente si hablamos de buscar la perfección humana, una de las grandes barreras es que todos somos diferentes en algo. El mismo gesto en un grupo de personas tendrá una repercusión natural distinta en la piel de cada uno.
https://youtu.be/Yo53Q0N6N4M
