8 Archivos adjunto(s)
MetaHuman Creator de Epic Games
MetaHuman Creator de Epic Games. A principios de año Epic Games presentaba MetaHuman Creator.
Una nueva aplicación que se ejecuta en navegador web y que permite crear humanos fotorrealistas en menos de una hora.
La pantalla 3D se ejecuta en la nube, gracias a Unreal Engine Pixel Streaming: el cálculo de la pantalla 3D no se realiza localmente y, por lo tanto, no requiere instalación.
Epic Games señala que este nuevo producto se beneficia de las sucesivas adquisiciones del grupo (3Lateral, Cubic Motion, Quixel) que han permitido la adquisición de tecnologías realistas, experiencia y habilidades humanas.
Como muestra el vídeo de demostración, MetaHuman Creator quiere ser intuitivo, y te permite empezar desde presets y luego personalizar la cara del humano digital de acuerdo a tus deseos.
Los ejemplos presentados por el editor son bastante reveladores, es posible obtener una amplia variedad de caras.
https://youtu.be/S3F1vZYpH8c
En lo que respecta al cabello, es posible utilizar el sistema avanzado de Unreal Engine, o tarjetas para el cabello si el proyecto está destinado a plataformas de baja potencia.
También es posible elegir diferentes tipos de ropa, y 18 morfologías se proponen para el cuerpo.
Por último, tus humanos se pueden descargar a través del puente Quixel, riggeados y listos para la animación en Unreal, con LOD.
También se ofrece un archivo Maya, con malla, esqueleto, equipo facial, controles de animación, materiales.
https://youtu.be/6mAF5dWZXcI
En una página dedicada MetaHuman, Epic Games ofrece dos ejemplos para descargar para hacerse una idea de los resultados.
También es posible registrarse para estar informado del lanzamiento del producto, que llegará en versión beta en los próximos meses.
Según la propia compañía MetaHuman Creator establece un nuevo punto de referencia tanto para la credibilidad de los humanos digitales, como para la facilidad de crearlos.
Puedes manipular directamente los rasgos faciales, ajustar la tez de la piel y seleccionar entre tipos de cuerpo preestablecidos, peinados, ropa y mucho más. ¡Incluso puedes editar los dientes de tu personaje!
Imagina personajes de juego que volarán la mente de tus jugadores, dobles digitales en el último set de producción virtual que soportará tomas de cerca, participantes virtuales en escenarios de entrenamiento inmersivos que no puedes decir de lo real.
Las posibilidades para los creadores son ilimitadas.
Explicación aplicada de MetaHuman Creator
El equipo de Unreal Engine ha publicado un tutorial de Adam Walton de Cubic Motion que explica el uso de todos y cada uno de los controles en la plataforma facial. El desarrollador también explica cuáles funcionan bien juntos y cuáles deben considerarse mutuamente excluyentes.
https://youtu.be/GEpH3o44_58
El desarrollo de MetaHuman Creator
El desarrollo de MetaHuman Creator. La aplicación MetaHuman Creator de Epic Games está basada en la nube. Los humanos digitales fotorrealistas fueron una vez, y tal vez todavía lo sean; una de las cosas más difíciles de lograr en efectos visuales y animación. Hoy en día, sin embargo, ahora hay una serie de opciones que permiten tanto a los artistas novatos como a los experimentados “saltar directamente" al ruedo. Creando humanos digitales para proyectos, que van desde modelos increíblemente fotorrealistas hasta versiones más estilizadas pero aún creíbles.
Hoy en día hay una serie de métodos populares y accesibles para crear “avatares" digitales. Que van desde herramientas de creación de contenido digital 3D algo tradicionales; hasta nuevos enfoques en tiempo real, y también aquellos que aprovechan el aprendizaje automático y las técnicas de inteligencia artificial.
El desarrollo de MetaHuman Creator no es trivial
La aplicación MetaHuman Creator basada en la nube de Epic Games se ha convertido rápidamente en una opción para construir humanos digitales. Eso es debido en parte en la explosión de interés y habilidades de las herramientas en tiempo real, en este caso; Unreal Engine de Epic Games, y en parte debido a la velocidad a la que los usuarios pueden generar un humano realista con la aplicación. También ayuda mucho el echo de ser gratis.
Nos enfocamos en democratizar la creación de humanos digitales de alta fidelidad; y el objetivo era tomar una tarea que solo un puñado de expertos en el dominio en el mundo pueden hacer en meses y simplificarla; para que cualquiera pueda crear un humano creíble en minutos. La clave de esto fue la visión de Vladimir Mastilovic y las herramientas y experiencia únicas de su empresa, 3Lateral. Habíamos trabajado con Vlad durante muchos años y decidimos invitarl; a él y a su equipo, a unirse a la familia Epic con este objetivo en mente.
El desafío de desarrollar MetaHuman Creator
Fue un verdadero desafío desarrollar un sistema que se sienta simple e intuitivo, pero que impulse un back-end que está reconstruyendo una plataforma muy compleja; y tiene todos los detalles necesarios para usar al personaje en un juego o experiencia interactiva, agrega Evans. Fue especialmente difícil crear una interfaz de usuario para la generación de piel humana creíble. Nuestro Shader de piel es uno de los Shaders más complejos que hemos hecho en Epic; y destilarlo a unos pocos controles deslizantes intuitivos fue todo un desafío. Tuvimos que investigar muchas técnicas que involucran el aprendizaje automático y los usos pragmáticos del análisis de componentes principales (PCA); y la separación de frecuencias para llegar allí, pero estamos contentos con los resultados.
Para hacer que MetaHuman sea lo más accesible posible, Evans comenta que Epic inicialmente se concentró en las herramientas de modelado. Sin embargo, relata, “incluso con herramientas de modelado muy intuitivas, todavía se necesitaba conocer la anatomía facial y la construcción para usarlas con éxito. Por ejemplo, si alguien quisiera crear un personaje de ascendencia asiática; necesitaría saber lo suficiente como para tirar hacia abajo del pliegue de la cubierta ocular; creando un monólido como se ve en algunas morfologías faciales asiáticas. Así que agregamos la capacidad de mezclar rasgos específicos de caras de un grupo de personajes existentes. Esto le permite navegar por los ajustes preestablecidos existentes y luego lanzarlos a un espacio de mezcla; y simplemente usar la nariz de uno, al ojo de otro, es mucho más fácil de usar.
Un flujo de trabajo pensado en el desarrollo virtual
Otra metodología que los artistas han estado adoptando para crear rápidamente humanos digitales creíbles es a través de la canalización de Character Creator (construcción); e iClone (animación) de Reallusion. El software, que también incorpora una serie de características en tiempo real, contiene modelos base que son altamente modificables y totalmente manipulados.
Los humanos digitales hechos con Character Creator pueden asumir el aspecto de cualquier persona o imagen de la función de la herramienta Reallusion HeadShot. Que permite a los usuarios importar una fotografía y generar un modelo de cabeza basado en la persona en la fotografía. El escuadrón suicida de James Gunn utilizó Character Creator e iClone ampliamente; para desarrollar y animar a todos los héroes que aparecen en la película durante 16 escenas de previs, por ejemplo.
También hay herramientas para crear detalles faciales específicos, como las aplicaciones SkinGen; Hair and Beard, con SkinGen que permite aspectos como micro-detalles para poros, manchas y arrugas. Una vez que se diseña un personaje, se puede enviar a iClone para animación o exportar como FBX o USD a muchas plataformas. Incluidas Omniverse y Unreal Engine de Nvidia. Una serie de herramientas, incluidas las en tiempo real, que capitalizan los nuevos enfoques de la sincronización de labios; la marioneta facial, la captura de movimiento y el keyframing pueden dar al movimiento humano digital.
Generando Humanos con MetaHuman Creator
La creación de humanos digitales puede ser un proceso laborioso, por lo que ayuda si hay una manera de poner en marcha la construcción. Ese es el objetivo del complemento Human Generator para el software 3D de código abierto Blender hecho por Alexander Lashko y Oliver J. Post.
Lashko observa que MetaHuman Generator se hizo basándose en la creciente necesidad de creación de carácter humano. Ya sea para películas, juegos, visualización arquitectónica, creación de contenido de video o simplemente obras de arte digitales; los personajes humanos juegan un papel importante en el proceso de diseño. Del mismo modo, con el creciente potencial del software Blender y su comunidad; pensamos que tener una herramienta nativa ayudaría a los creadores con sus proyectos.
Los personajes humanos digitales totalmente manipulados disponibles en el complemento se pueden personalizar según diferentes géneros, etnias, formas corporales, tipo de cabello y edad. La ropa presentó un desafío interesante para Lashko y Post, debido a las interpenetraciones. Una solución que se nos ocurrió fue ocultar las partes del cuerpo que están cubiertas por la ropa. Esto también ahorra rendimiento, ya que el motor de renderizado no requiere calcular las partes ocultas.
Los usuarios están creando humanos digitales sin saber cómo
Al igual que muchas de las aplicaciones discutidas aquí, la idea detrás de las herramientas de Reallusion es permitir que la creación compleja de humanos digitales se realice sin que el usuario tenga que comprender necesariamente toda esa complejidad. Pero eso no significa que no sea complejo bajo el capó.
Cada elemento de desarrollo para los humanos digitales tiene un obstáculo que cruzar para la apariencia y el movimiento. La apariencia de la piel implicó un esfuerzo extenso para proporcionar a los usuarios el equilibrio de facilidad de aplicación y capacidades profundamente detalladas. Desarrollamos un sistema completo de varias capas para abordar la apariencia de la piel y cómo los usuarios podían editar y personalizar su apariencia.
Dondequiera que veamos desafíos en el flujo de trabajo, nuestra misión es resolverlos, especialmente cuando se llega a cosas realmente difíciles como la animación. Cuanto más podamos democratizar eso, más vamos a dar capacidad a los narradores, diseñadores y desarrolladores para ampliar su visión con herramientas más poderosas pero accesibles.
A partir de los detalles básicos de la piel y los micro normales trabajamos con TexturingXYZ. Un líder de la industria en activos de piel para ayudar a superar algunos de los desafíos convincentes de los micro detalles para nuestro diseño en capas. SkinGen se convirtió en el editor de apariencia en capas desarrollado para que los usuarios tengan acceso a cada elemento de la piel. Lo que resulta en una herramienta optimizada para controlar la piel del humano digital de la cabeza a los pies y de la piel humana a la piel de la criatura; el maquillaje glamoroso se ve a las heridas espantosas.
Personalización de MetaHuman Creator
Otro desarrollo importante en la democratización de los humanos digitales es la capacidad de crear casi instantáneamente semejanzas 3D realistas de personas reales a partir de fotografías individuales. Esta es un área en la que Opera Pinscreen; habiendo desarrollado recientemente varias nuevas tecnologías y soluciones para hacer accesible a los consumidores la creación de avatares fotorrealistas; así como aplicaciones que hacen pleno uso de humanos virtuales desplegables y personalizados.
Nuestra última tecnología de digitalización de avatares basada en fotografías consiste en un algoritmo altamente robusto. Para generar avatares 3D normalizados a partir de fotografías de entrada altamente sin restricciones. Esto significa que puede tomar fotografías de entrada de sí mismo en condiciones de iluminación muy desafiantes. Puede estar sonriendo o mirando hacia los lados y el algoritmo aún puede producir una cabeza de avatar 3D normalizada de iluminación consistente con expresiones neutras. Esto es extremadamente importante para renderizar personajes CG totalmente paramétricos en cualquier entorno virtual y para la animación basada en el rendimiento.
Para demostrar su solución, Pinscreen ha estado construyendo una aplicación de chat inmersiva llamada PinScape. Se demostró en el Real-Time Live de SIGGRAPH 2021! La idea es construir un sistema de comunicación basado en realidad virtual que pueda ir más allá de la videoconferencia 2D tradicional. Al principio, un usuario se tomaba una selfie usando una cámara web; y el sistema crea automáticamente un avatar completo de cuerpo completo a partir de esa fotografía de entrada. El avatar consiste en una cara y un cuerpo completamente manipulados; y también digitaliza el cabello utilizando una tecnología mejorada de lo que presentamos hace unos años.
Sistemas que generan humanos digitales a partir de una fotografía
El enfoque de Pinscreen para generar un avatar humano creíble a partir de una sola imagen de entrada no está exento de desafíos. Tienen que superar lo que puede ser una iluminación y sombras subóptimas; aunque por supuesto la idea es evitar la necesidad de cualquier tipo de escenario de iluminación de estudio controlado para producir el avatar. Otro desafío es que las personas a menudo sonríen en las fotografías o pueden no estar frente a la cámara. Con este fin, desarrollamos un algoritmo que nos permite extraer una imagen consistente de una persona independientemente de la iluminación. La expresión facial y la pose de una fotografía, y luego generar un modelo 3D de un avatar normalizado.
Crear tu avatar para el metaverso
El desarrollo de MetaHuman Creator para animar tu creación humana digital es, por supuesto, tan importante como construirla. Hay innumerables opciones para la captura facial y la captura de movimiento para hacer esto; mientras que otro método ha sido tomar una pista de audio y, utilizando IA, generar una animación facial expresiva correspondiente a partir de esa fuente de audio. La aplicación Omniverse Audio2Face de Nvidia permite esto, e incluso tiene un carácter 3D precargado llamado “Digital Mark" para que los usuarios comiencen.
La intención detrás de la aplicación tenía que ver con la accesibilidad, explica Simon Yuen, Director de Graphics AI en Nvidia. En este momento, si quieres crear un personaje 3D, debes ser un experto en dominios para hacerlo.
Audio2Face está diseñado con un propósito muy específico en mente, para ayudar a simplificar la animación facial basada en voz al tiempo que mejora la calidad de las soluciones automatizadas de hoy en día. El método aprovecha el aprendizaje profundo y se ejecuta en tiempo real. Admite personajes realistas o estilizados y no se requiere aparejo ni entrenamiento de IA para usarlo. Pronto apoyará un rango más amplio de movimiento y emoción para toda la cara. Y está diseñado para complementar y trabajar con otras herramientas y flujos de trabajo existentes.
Audio2Face continúa actualizándose y ahora con soporte de blendshape, por ejemplo. Los usuarios pueden volver a apuntar a cualquier rostro humano o de aspecto humano en 3D; e incluso a rostros más alienígenas o de estilo animal. Hemos probado desde rinocerontes hasta extraterrestres y otras cosas; y planeamos tener más datos pre-entrenados disponibles con Audio2Face y un mejor soporte de una mayor variedad de voces e idiomas".
Cuando se requiere un tipo muy diferente de rostro
Los reemplazos faciales en el documental Welcome to Chechnya (2020) de David France llamaron la atención de muchas personas. No solo por la delicada forma en que protegieron las identidades de quienes aparecen en la película que corrían el riesgo de sufrir persecución por parte de la república rusa de Chechenia; sino también por la forma en que se lograron con la IA y las técnicas de aprendizaje automático. Al final, lo que finalmente se produjo fueron “nuevos" humanos digitales.
Fue especialmente difícil crear una interfaz de usuario para la generación de piel humana creíble. Nuestro Shader de piel es uno de los Shaders más complejos que hemos hecho en Epic; y destilarlo a unos pocos controles deslizantes intuitivos fue un desafío. Tuvimos que investigar muchas técnicas que involucran el aprendizaje automático y los usos pragmáticos del análisis de componentes principales (PCA;); y la separación de frecuencias para llegar allí, pero estamos contentos con los resultados.
El supervisor de efectos visuales Ryan Laney supervisó ese trabajo, tomando a los nuevos artistas como dobles de cara y enmascarándolos sobre los temas originales. Con la ayuda del aprendizaje automático y la composición tradicional. El enfoque adoptado encajaba con el presupuesto limitado de la película; y también significaba que no eran necesarios avatares digitales fotorrealista caros y lentos, completamente CG. Además, no fue exactamente el mismo proceso que el fenómeno actual de las falsificaciones profundas; que ahora también es un conjunto de herramientas ampliamente accesible, aunque ciertamente comparte algo de tecnología.
El reto al desenfocar caras de Humanos digitales
Un aspecto interesante de las tomas finales fue cierta suavidad notable o desenfoque en las caras; que de hecho se retuvo deliberadamente en los humanos digitales. Aprovechamos el lenguaje visual de esa suavidad para ayudarnos a mantener la integridad periodística. Hubo un momento de la producción donde no estaba seguro de si lo que estaba en la pantalla era el doble o el original. Entonces, realmente nos ayudó tener esos indicadores visuales, pero la integridad periodística fue la razón por la que mantener la mirada suave se quedó".
Laney ha llegado a referirse a la técnica de creación humana digital de su equipo, que está utilizando en otros proyectos, como “velos digitales". También estamos llamando al proceso reemplazo automatizado de la cara. Siento que encaja con la analogía del reemplazo de diálogo automatizado o ADR. Capturamos los datos y hacemos esta sesión de entrenamiento para casar las caras, y luego todavía hay trabajo involucrado para colocarlo. Ese reemplazo facial automatizado es el proceso que produce velos digitales.
Evaluación de MetaHuman en rostros humanos con Rig Logic
Unity y Epic Games han publicado nuevos libros electrónicos para artistas de juegos. Estos buscan profundizar en el funcionamiento interno de los motores de juegos Unity y Unreal Engine, disponibles como PDF gratuitos.
Una descripción general de inicio a fin del desarrollo de juegos en 2D en Unity. First up, arte de juegos en 2D, animación e iluminación para artistas es una guía para el desarrollo de juegos en Unity, escrita por Jarek Majewski, director creativo del proyecto de muestra gratuito Dragon Crashers.
Unity lo describe como su libro electrónico más grande hasta el momento, y contiene mucha información en esas páginas, proporcionando una visión general completa de extremo a extremo de una tubería de arte de juegos.
Los temas cubiertos incluyen la configuración del proyecto; activos de roundtripping con herramientas DCC; gestión de sprites; cámaras; iluminación; rigging y animación; Shader, postproducción; y optimizar el proyecto.
Aunque gran parte de la información es específica de Unity, las secciones sobre los principios de animación e iluminación deberían transferirse a otros motores de juego; al igual que las tablas de comparación sobre los pros y los contras de los tilemaps, sprites y formas de sprites; animación esquelética y fotograma a fotograma; y FX basados en sombreadores, partículas y clips.
Rig Logic de MetaHuman Creator
Una inmersión más profunda en el diseño del solucionador Rig Logic de MetaHuman Creator En contraste, Rig Logic: Runtime Evaluation of MetaHuman Face Rigs de Epic Games proporciona una inmersión más profunda en una de sus nuevas herramientas más discutidas, la aplicación gratuita de creación de personajes de próxima generación MetaHuman Creator.
El documento técnico establece los principios de diseño y la arquitectura subyacente de Rig Logic, su solucionador de plataforma facial liviano y portátil, desarrollado originalmente por 3Lateral, que Epic adquirió en 2019.
Explora cómo las unidades de expresión facial FACS se traducen en articulaciones, pesos de piel y formas de mezcla en Unreal Engine en tiempo de ejecución, y la estructura del formato de archivo MetaHuman DNA de 3Lateral.
Aunque será de mayor utilidad para los artistas técnicos, la mayor parte del contenido debe ser accesible para cualquier persona interesada en cómo funcionan los MetaHuman debajo de la piel digital.
Descarga gratuita sin necesidad de introducir datos personales. El PDF es gratuito. No es necesario registrarse en un sitio web para descargar ninguno de ellos.
Evaluación de MetaHuman en rostros humanos con Rig Logic; se trata de un sistema de resolución de evaluación de plataformas faciales en tiempo de ejecución desarrollado por 3Lateral. Rig Logic es la base de infraestructura para la personalización avanzada de personajes; y los sistemas de digitalización de jugadores que ofrecen plataformas de alta calidad, y también es una herramienta de caracterización versátil.
Conjunto universal de reglas faciales y naturales
Rig Logic se basa en un conjunto universal de reglas para definir el sistema muscular de un rostro humano; y en un formato de archivo propietario de 3Lateral llamado MetaHuman DNA. Que está diseñado para almacenar la descripción completa de la plataforma y la geometría de un objeto 3D.
Rig Logic fue desarrollado por 3Lateral; una empresa de investigación y desarrollo que se ha centrado en la animación y el rigging facial desde su fundación en 2012. Los proyectos de la empresa incluyen numerosas películas y juegos como Senua Saga: Hellblade II y Marvel Spider-Man.
3Lateral pasó a formar parte de Epic Games en 2019. Rig Logic es el solucionador de plataformas que utiliza actualmente la herramienta MetaHuman Creator de Epic Games.
En este documento, explicaremos el razonamiento detrás del formato de archivo MetaHuman DNA y otras decisiones que tomamos al construir el sistema Rig Logic. Y por qué funciona para la representación en tiempo real de poses faciales y animación.
Terminología de la evaluación de MetaHuman en rostros humanos
Para explicar cómo evolucionó Rig Logic a una solución completa en tiempo real para el rigging facial, se deben definir algunos términos.
Expresión: una representación facial específica, como una sonrisa, el ceño fruncido o un fonema. En el rigging y la animación faciales, una expresión se define mediante un conjunto de transformaciones conjuntas (traslación, rotación o escala). Formas combinadas (también conocidas como objetivos de transformación) y mapas animados.
Articulaciones: una plataforma facial consta de huesos y articulaciones virtuales que imitan, hasta cierto punto, los huesos; las articulaciones y los músculos reales de la cara. Debido a que los músculos de la vida real son difíciles de imitar exactamente. Las articulaciones virtuales funcionan en su lugar para impulsar la animación de los vértices en un modelo facial. A cada articulación se le asigna un conjunto de vértices que anima.
Curva de animación: una representación del movimiento XYZ de un vértice a lo largo del tiempo.
Evaluación de MetaHuman en rostros humanos – Terminología
Control: un mecanismo que mantiene el peso de una sola expresión básica, que se utiliza para calcular uniones; combinar formas y mapas animados que participan en la expresión. Idealmente, hay un control por Unidad de Acción FACS.
Interfaz de control del equipo: cualquier interfaz que combine controles o los haga más fáciles de usar. Esta podría ser cualquier interfaz de usuario, desde una interfaz gráfica de usuario (GUI); con controles deslizantes hasta una interfaz interna que recopila y usa controles para provocar otra acción.
Complejidad: un término general que se refiere a la cantidad de controles de equipo que tiene un equipo facial. Se dice que un equipo con 200 controles es más complejo que uno con 50 controles.
Cuantos más controles haya, mayor potencial existe para combinaciones de expresiones que requerirán expresiones correctivas, lo que resultará en más cómputo y mayores requisitos de memoria.
Expresiones correctivas: ajustes internos que refinan expresiones complejas. Las expresiones correctivas se analizan con más detalle más adelante en este documento.
Fondo de la evaluación de MetaHuman en rostros humanos
En el transcurso de su evolución, Rig Logic ha pasado por varias iteraciones importantes. La última generación representa el trabajo colectivo y los refinamientos acumulados a lo largo de años de investigación y desarrollo.
En una plataforma facial exitosa, los valores de entrada son controles, cada uno de los cuales representa una sola expresión FACS facial. A partir de dicha entrada, se producen cálculos para producir los siguientes valores de salida:
- Transformación conjunta.
- Ponderaciones de canal de forma de mezcla.
- Multiplicadores de sombreado para mapas animados.
Estos tres valores de salida son el núcleo de los sistemas de perforación facial más exitosos que se usan en la actualidad. Nuestra investigación se ha dirigido en gran medida a hacer que el cálculo y la salida de estos tres valores sean más precisos y eficientes.
Cuando 3Lateral comenzó a trabajar por primera vez con plataformas en tiempo real; se construyeron completamente utilizando el conjunto de herramientas proporcionado por Autodesk Maya. Un paquete de creación de contenido digital de Autodesk y una opción popular entre los artistas 3D en juegos, cine y televisión, y otros campos.
Expresiones faciales correctivas de esta evaluación de MetaHuman en rostros humanos
El kit de herramientas de Autodesk Maya incluye claves impulsadas (DK) complementadas con expresiones correctivas y una red de sombreado. Las deformaciones se calcularon utilizando solo estas abstracciones, lo que nos proporcionó los tres valores de salida necesarios para animar correctamente la cara.
Si bien esta solución funcionó bien y proporcionó un alto nivel de calidad; la evaluación de la plataforma fue muy lenta y la integración con otras tecnologías fue complicada.
El desafío de la evaluación de equipos faciales en tiempo real
El desafío al que nos enfrentamos fue desarrollar un sistema de manipulación facial que produjera el mismo nivel de calidad; o uno similar mientras se computaba en tiempo real a 30 fps o más. También queríamos que fuera posible integrar el sistema con otras tecnologías.
En esencia, Rig Logic se encargó de calcular los valores de salida que representaban las deformaciones; en función de los mismos tipos de valores de entrada que utiliza Autodesk Maya. Pero con una ejecución mucho más rápida.
También añadimos el objetivo de hacer que la plataforma sea reutilizable entre los personajes, independientemente de la forma facial. Lo que hace que la solución de la plataforma sea altamente exportable y mucho más útil para varias tecnologías.
Una plataforma facial de última generación para producir animaciones faciales de alta calidad contiene alrededor de 800 articulaciones; y más de 200 controles para expresiones, complementado con más de 1000 expresiones correctivas. Lo que significa que tuvimos mucho trabajo para desarrollar una solución de tiempo de ejecución que pudiera adaptarse a la salida en tiempo real.
- Elementos relevantes que utilizamos para los Riggs faciales de MetaHuman Creator
- Complemento Rig Logic y archivo MetaHuman DNA.
- Deformador de pesos de piel y articulaciones.
- Configuración de texturas base y animadas.
- Deformador de forma de mezcla.
- Interfaz de usuario.
- LOD incorporados.
Solución y requisitos que vemos en esta evaluación de MetaHuman en rostros humanos
Para lograr una solución de tiempo de ejecución viable para el rigging y la animación facial; Rig Logic se propuso abordar los siguientes requisitos para el rig y su funcionamiento:
Evaluación del tiempo de ejecución. Idealmente, la evaluación del tiempo de ejecución de la plataforma facial significaría la reproducción en tiempo real de la animación a una velocidad razonable; como 30 fps o más.
Reducción de parámetros de entrada y salida. La reducción del número de parámetros naturalmente hace que el sistema funcione más rápido.
Compresión de animación sin pérdidas. Los datos comprimidos son más rápidos de procesar debido a su menor tamaño. La compresión de datos generalmente proporciona una reducción de 10 a 15 veces en el tamaño de los datos con un uso mínimo de CPU. Pero esta reducción solo es viable si dicha compresión no tiene pérdidas.
Reutilización de plataformas. El sistema debe diseñarse de tal manera que no exista una dependencia de la forma facial, la proporción, la demografía, etc. Lo que hace posible compartir fácilmente datos de animación entre diferentes personajes.
- Uso de LOD flexible
- Canalización del proceso más eficiente.
- La misma animación debería poder controlar todas las especificaciones LOD.
Crear un equipo que evalúe en tiempo de ejecución conduce naturalmente a ciertas mejoras en la eficiencia de la canalización. Por ejemplo, la exportación de animaciones sería mucho más liviana debido a tamaños de datos mucho más pequeños; y si el sistema está diseñado correctamente, las actualizaciones de equipos no requieren la reexportación de todas las animaciones.
Se vincula fácilmente con cualquier software de animación facial. Debido a que la solución se basa en una organización de la plataforma basada en los músculos; es fácil de integrar con soluciones de animación facial basadas en audio como SpeechGraphics.
Admite la mezcla de animaciones no lineales. El sistema necesitaría admitir respuestas dinámicas en tiempo de ejecución. Por ejemplo, un personaje podría realizar una actuación mientras tiene una respuesta interactiva a un evento del juego; como una linterna que brilla en los ojos del personaje. La solución también debería admitir la superposición de emociones en la animación.
Reducción de deformaciones articulares
Para desacoplar las plataformas de Autodesk Maya, Rig Logic se desarrolló como un intento de capturar los datos necesarios que representan las plataformas faciales; y proporcionar un componente de tiempo de ejecución para evaluarlo en tiempo real. Las primeras generaciones de Rig Logic simplemente hicieron eso: extrajeron los datos de Autodesk Maya y representaron Driven Keys con la función lineal: Y = K*X
El valor de y aumenta linealmente a medida que aumenta X, y el grado en que aumenta y (la pendiente) está determinado por K.
Representación de la función de pendiente y=K*X para determinar los valores de X (entrada), y (salida) YK (parámetro del equipo).
X es el valor de control de entrada, restringido al rango [0.0,1.0].
- Y es el valor de deformación de salida (por ejemplo, valor del parámetro joint.rotation.X).
- K es el parámetro del equipo que define cómo se comporta la función.
- Representación de la función de pendiente Y=K*X para determinar los valores de X (entrada), y (salida) YK (parámetro del equipo).
- Tratar los valores de X e Y de esta manera hizo posible codificar los parámetros de estas funciones de pendiente en una matriz.
Matriz de almacenamiento de filas comprimidas
Se eligió una matriz de almacenamiento de filas comprimidas (CRS) dispersa como tipo de matriz; con el objetivo de minimizar los requisitos de espacio de almacenamiento y brindar un rendimiento computacional decente. Las primitivas geométricas no se abordaron en esta versión de Rig Logic; el sistema aún dependía de primitivos geométricos (mallas) en Autodesk Maya.
El análisis posterior de esta matriz reveló que se estaban formando grupos densos de estos parámetros en la matriz; que de otro modo sería en su mayoría escasa.
También se observó que estas mismas submatrices densas contenían parámetros para deformaciones dirigidas a regiones específicas de la cara. Por lo que se introdujo el concepto de grupos conjuntos.
Los grupos de articulaciones representan estas submatrices densas; y también proporcionan una separación lógica de las articulaciones en grupos que se dirigen a regiones específicas de la cara.
Grupos de conjuntos para matrices
Como se puede ver en la imagen anterior, también hubo valores atípicos, parámetros que no formaban parte de una submatriz densa. (Los valores atípicos se representan en rosa en el diagrama). Estos valores atípicos resultaron representar deformaciones en regiones de la cara donde las articulaciones en cuestión no deberían tener ninguna influencia.
Como resultado de esta observación, se implementó un proceso de poda inteligente para deshacerse de estos valores atípicos. Dejando la matriz solo con las regiones densamente pobladas.
Este proceso de poda redujo efectivamente los datos que debían almacenarse y evaluarse en tiempo de ejecución y eliminó las deformaciones incorrectas. Las regiones densas resultantes brindaron una buena oportunidad para implementar un algoritmo muy rápido para evaluar las uniones.
Las iteraciones posteriores también separaron distintos tipos de datos (juntas, formas combinadas y mapas animados) en matrices separadas; cada una de las cuales representa una función lineal condicional.
Nivel de detalle (LOD)
Es común que una expresión facial consista en dos o más expresiones básicas. Un ejemplo de una expresión compleja sería una combinación de tres expresiones básicas. (1) levantar las cejas mientras (2) abrir mucho los ojos y (3) separar ligeramente los labios.
Para proporcionar la mayor eficiencia posible para estas expresiones complejas, Rig Logic se diseñó teniendo en cuenta la compatibilidad con LOD. Recuerde que cada expresión se define mediante transformaciones de articulaciones específicas, pero no todas las articulaciones participan en una expresión determinada.
En LOD 0, el nivel más detallado, todas las transformaciones conjuntas; a las que se hace referencia para esa expresión se utilizan para formar la expresión. Sin embargo, los LOD más bajos (LOD 1, LOD 2, etc.). Utilizan un subconjunto estricto de las uniones a las que se hace referencia en LOD 0.
Unir distintas referencias de LOD
Limitar las uniones a las que se hace referencia en los LOD inferiores; a las mismas uniones a las que se hace referencia en el LOD 0; proporciona un mecanismo de costo cero para cambiar entre LOD, con un desperdicio de datos mínimo.
Pasar de un LOD más bajo a uno más alto simplemente agrega las uniones especificadas a los datos ya cargados; y moverse de un LOD más alto a uno más bajo simplemente ignora las uniones no referenciadas.
Si bien hay ocho LOD integrados en el sistema, Rig Logic se puede personalizar para agregar más si es necesario. Dependiendo de la restricción del número de juntas y la calidad de las deformaciones requeridas para las diferentes partes de la cara. El sistema puede combinar fácilmente juntas y pesos de piel con diferentes topologías para formar diferentes LOD.
Para reducir aún más el uso de la memoria, también es posible especificar los LOD esperados que se necesitarán en tiempo de ejecución (o especificar un LOD máximo y/o mínimo). Cualquier dato que no esté referenciado por los LOD elegidos no se cargará.
Formato de archivo de ADN MetaHuman
El formato de archivo 3Lateral MetaHuman DNA está diseñado para almacenar la descripción completa de la plataforma y la geometría de un objeto 3D. Basándose únicamente en un archivo de ADN de MetaHuman; es posible reconstruir la malla completa de un objeto y tenerlo completamente manipulado, listo para ser animado.
En la práctica, los archivos de ADN MetaHuman se utilizan para almacenar solo las caras de los personajes humanos; y no sus cuerpos, accesorios u otros objetos.
El contenido de un archivo de ADN de MetaHuman se codifica utilizando un formato binario patentado; aunque la especificación del formato, así como el código que lo lee, es de código abierto.
Capas
Los datos contenidos en los archivos de ADN de MetaHuman se separan en varias capas lógicas. Las capas están conectadas en una jerarquía suelta; donde cada capa subsiguiente en un archivo de ADN de MetaHuman se basa en los datos almacenados en las capas debajo de ella.
Es posible cargar selectivamente datos de ADN de MetaHuman solo hasta una capa específica. Como puede verse en la imagen anterior, las capas de Comportamiento y Geometría no dependen una de la otra. Esta independencia es crucial para los casos de uso en los que el archivo MetaHuman DNA; solo se necesita para controlar un equipo (evaluación del tiempo de ejecución mediante la capa de comportamiento) sin necesidad de acceder a los datos de geometría.
Esta independencia hace que la solución sea portátil, por lo que no tiene que aplicarse a la geometría Autodesk Maya; ni a ninguna otra geometría específica, y puede usarse con otras aplicaciones donde reside la geometría facial. El formato de archivo se diseñó cuidadosamente para producir un formato eficiente pero completo para la animación facial en tiempo real.
La capa Descriptor contiene metadatos básicos sobre el equipo, como:
- Nombre del personaje.
- Edad.
- Arquetipo facial.
- Metadatos de cadenas arbitrarias en forma de pares clave/valor.
- Parámetros de compatibilidad según sea necesario (relevante para sistemas de nivel superior, por ejemplo, para mezclar archivos de ADN de MetaHuman).
La capa de definición contiene los datos estáticos del equipo, como:
- Jerarquía conjunta.
- Transformaciones conjuntas de la pose vinculante (como T-pose).
- Nombres de controles, uniones, formas de fusión, mapas animados y mallas.
- Mapeos de uniones, formas combinadas, mapas animados y mallas para LOD individuales.
- Esta capa contiene la información necesaria para realizar el filtrado en las capas posteriores en función de los LOD elegidos.
Capa de comportamiento
La capa de comportamiento contiene los datos dinámicos del equipo, que se utilizan para:
- Asignar controles de GUI a valores de control sin formato
- Calcular expresiones correctivas.
- Puede calcular pesos de mapas animados.
- Permite calcular transformaciones conjuntas.
- Calcula los pesos de los canales de forma de mezcla.
Capa de geometría
La capa Geometría contiene todos los datos necesarios para reconstruir la malla del personaje; junto con los pesos de la piel y los deltas objetivo de la forma de mezcla. La información de malla en sí está estructurada en un formato similar al formato de archivo OBJ.
Expresiones correctivas
Para expresiones complejas, habrá algo de superposición, donde algunas uniones se ven afectadas por más de una expresión básica. En tal caso, es probable que la simple activación de todas las deformaciones especificadas conduzca a deformaciones «multiplicadas». Que suelen ser perjudiciales para el resultado visible.
Las expresiones correctivas representan la solución para corregir la superposición conjunta en expresiones complejas. Para cada expresión compleja, se debe definir una expresión correctiva que esencialmente deshaga el daño causado en estas regiones problemáticas. Tales expresiones complejas deben definirse para cada combinación de expresiones básicas (o al menos las combinaciones que se consideren importantes).
Por lo tanto, cuando aumenta el número de expresiones básicas admitidas, el número de expresiones complejas también aumenta exponencialmente. Debido al consumo de memoria y cálculo computacional, no es factible habilitar una solución correctiva para cada combinación posible. Pero se pueden servir las combinaciones más importantes.
Deformaciones faciales representativas de emociones
La muestra un ejemplo de deformaciones faciales para representar una pose facial para gritos de enojo. La creación de tal pose puede requerir una combinación de varias expresiones básicas:
- Tirar de la esquina de la boca.
- Mandíbula abierta extrema.
- Estiramiento de la boca.
- Estiramiento del cuello.
- Arrugadores de nariz.
- Entrecerrar los ojos.
- Cejas inferiores.
Es probable que haya varias superposiciones conjuntas para estas expresiones. Por ejemplo, las expresiones de la boca y la nariz; cuando se suman sin corrección, es probable que causen un estiramiento extremo alrededor de esa área de la cara.
Expresiones con poses poco naturales
La cabeza de la izquierda muestra una suma directa de las expresiones enumeradas anteriormente, lo que da como resultado una pose poco natural. La solución es ajustar la pose con expresiones correctivas específicas cada vez que se activa esta combinación específica de expresiones.
La cabeza de la derecha muestra la pose facial después de aplicar expresiones correctivas para esta combinación de expresiones. Lo que da como resultado una pose mucho más natural y convincente.
En la imagen siguiente se muestran ejemplos adicionales de expresiones correctivas en acción.
Estrategia de tiempo de ejecución en las articulaciones
En Rig Logic, las juntas se separan en grupos de juntas a través de una nueva estrategia de poda. Durante la preparación de un archivo de ADN de MetaHuman; los datos que representan las transformaciones conjuntas se eliminan eliminando los datos no deseados que, de otro modo; afectarían negativamente a los resultados (aunque su daño sería insignificante).
Esto tiene el efecto positivo de reducir la cantidad de datos que deben almacenarse y también reduce la cantidad de cálculo que deberá realizarse en tiempo de ejecución.
El esquema del proceso de poda es el siguiente:
- La cara se separa en una serie de regiones lógicas (frente, mandíbula, mentón, etc.).
- Las articulaciones se separan en grupos según las regiones faciales a las que afectan.
- Se establece un mapeo entre cada expresión y los conjuntos conjuntos afectados por la expresión.
- Se define una restricción para hacer cumplir que no se permite que ningún grupo conjunto contenga datos. Datos que afectarían regiones que no se espera que controlen.
Básicamente, esto significa que cuando se ensambla un grupo de articulaciones para exportarlo a un archivo de ADN de MetaHuman. Contendrá solo los datos de aquellas articulaciones que pertenecen a la región de la cara a la que se asigna el grupo de articulaciones.
Los datos también serán filtrado para contener transformaciones de solo las expresiones específicas que pueden afectar al grupo conjunto que se está procesando.
El mecanismo LOD mencionado anteriormente para articulaciones se define realmente sobre cada grupo de articulaciones individualmente, por cada LOD.
Mezclar formas
Los pesos del canal de forma de mezcla calculados por Rig Logic representan la intensidad por la cual los deltas objetivo de forma de mezcla deben activarse. Los deltas de destino de forma de mezcla no son producidos por Rig Logic; sino que se almacenan en la sección de geometría de los archivos de ADN de MetaHuman. El proceso computacional es una simple reasignación de los pesos de control de entrada que recibe Rig Logic.
Al igual que con las juntas, los datos para calcular los pesos de los canales de forma de mezcla también se ordenan por LOD. Por lo tanto, una simple operación de corte es suficiente para limitar el cálculo del LOD seleccionado.
Mapas animados
Los resultados producidos por los mapas animados son multiplicadores; que se alimentan directamente a los sombreadores que controlan las arrugas, los efectos del flujo sanguíneo debajo de la piel, etc.
Siguiendo los mismos principios que las otras soluciones; los mapas animados se ordenan por LOD y disfrutan del mismo beneficio del cambio de LOD de costo cero.
Actuación en esta evaluación de MetaHuman en rostros humanos
A través del proceso de separación de juntas en grupos de juntas; fue posible utilizar submatrices densas en lugar de una matriz dispersa para el almacenamiento de juntas. Lo que demostró ser beneficioso para implementar un algoritmo muy eficiente para calcular transformaciones de juntas.
Utilizamos un diseño de matriz personalizado que divide los datos en pequeños bloques de una manera compatible con caché y SIMD. Con un relleno mínimo de modo que no es necesario un ciclo de resto escalar. Por lo tanto, toda la ruta del código está completamente vectorizada (mientras que la sobrecarga de la memoria de relleno es inferior al 2%).
En comparación con generaciones anteriores de Rig Logic que usaban una matriz de CSR simple para la misma operación. Esta nueva versión logró una mejora de seis veces en el tiempo de evaluación. Al mismo tiempo, el número de articulaciones evaluadas aumentó significativamente. El código resultante logra una utilización de canalización de CPU casi ideal.
Conclusión de esta evaluación de MetaHuman en rostros humanos
Rig Logic es una gran mejora con respecto a las soluciones anteriores de animación facial en tiempo real. Con sus muchas eficiencias, portabilidad y otras características, Rig Logic ha demostrado ser una solución viable para MetaHuman Creator y otras implementaciones.
En el futuro, planeamos mejorar aún más Rig Logic al continuar desarrollando la tecnología, que acompañará las necesidades del proyecto de Epic Games. También buscaremos tecnologías emergentes para informar el desarrollo y mejorar las versiones futuras de Rig Logic. Puedes acceder al contenido de la compañía aquí.
3Lateral desarrolla tecnologías innovadoras que permiten la digitalización de la apariencia y el movimiento humanos a un nivel de realismo sin precedentes. 3Lateral ha sido reconocido como un pionero en la industria del juego y tiene una larga lista de exitosos proyectos de juegos AAA.
Nuestra tecnología es aplicable en muchas otras industrias como inteligencia artificial (IA), biometría, robótica, automoción e investigación. Con el fin de digitalizar la apariencia y el movimiento de un ser humano, producimos una solución de extremo a extremo. Desde electrónica y hardware para escaneo 3D y 4D, soluciones de infraestructura de TI; bases de datos, tuberías, algoritmos de procesamiento y soluciones de motores en tiempo real.
3Lateral es parte de Epic Games Inc.
Durante más de 25 años, Epic Games ha estado haciendo juegos galardonados y tecnologías de motores de juegos que permiten a otros crear juegos visualmente impresionantes y contenido 3D que da vida al medio ambiente como nunca antes.
La galardonada tecnología Unreal Engine de Epic no solo ofrece a los desarrolladores de juegos la capacidad de crear experiencias interactivas de alta fidelidad para PC, consola, dispositivos móviles y realidad virtual, sino que también es una herramienta que está siendo adoptada por los creadores de contenido en una variedad de industrias como medios y entretenimiento, automotriz y diseño arquitectónico.
El equipo de Novi Sad deLateral desarrolla tecnologías humanas digitales para Unreal Engine. Con fuerzas unidas y siguiendo una visión clara. Creemos que tendremos un impacto positivo en la tecnología, la educación, el bienestar y el intercambio de conocimientos en nuestro equipo y en la comunidad en general.
Sobre los servicios de 3Lateral - Concepto de personajes
3Lateral trabaja actualmente para definir el estilo visual y el diseño de 30 personajes principales en un largometraje de animación. Son capaces de comunicar el diseño a través de medios tradicionales y digitales.
Modelado de personajes
Estrechamente relacionado con lo anterior, a menudo es más eficiente realizar los diseños en forma de malla ordenada; con todas las esculturas y texturas de alta resolución necesarias. Los clientes a menudo prefieren que manipulemos estos modelos. Lo que aumenta la eficiencia de todo el proceso, ya que siempre sabremos mejor qué tipo de mallas construir para los pasos futuros en toda la canalización.
Rigging de personajes
Con nuestro departamento de RnD estamos trabajando constantemente en nuevas soluciones para el rigging de personajes. Igualmente favorecemos la calidad y la productividad; el término «solución» significa satisfacer ambos criterios para una tarea determinada.
Rigging facial
El rigging facial es un tema enorme en 3Lateral, principalmente debido a la amplia experiencia que tiene nuestro equipo y al sólido software propietario que hemos construido para este propósito. Nuestras soluciones van desde plataformas de juegos de la generación actual (PS3/Xbox 360/PC) y plataformas de cara de próxima generación, hasta plataformas de calidad VFX.
Esta es un área en la que somos extremadamente productivos y al mismo tiempo satisfacemos los más altos estándares de organización de producción y los requisitos de calidad. El rigging facial es un tema muy dinámico en la industria.
Escaneo 3D
Ofrecemos servicios de escaneo 3D en nuestro estudio o en las ubicaciones de los clientes con nuestros equipos móviles. No solo podemos construir activos basados en datos recopilados, sino que también podemos incrustarlos en las plataformas para mejorar el realismo.
Simulación
Ofrecemos una gama de servicios de simulación por computadora relacionados con los personajes CG: simulaciones de músculo; cabello y tela en paquetes populares, así como el desarrollo de soluciones personalizadas.
Pipeline y consultoría
3Lateral ofrece servicios de consultoría y desarrollo de pipelines relacionados con el rigging facial y la animación. A través de una amplia experiencia y conocimiento de nuestro equipo estamos ayudando a nuestros clientes a evitar problemas comunes; minimizar el riesgo y los procesos de ida y vuelta en sus producciones.
Acerca de este documento
- Desarrollo tecnológico: 3Lateral.
- Autor: Andrean Franc.
- Contribución de: Pavel Kovac.
- Editor: Michele Bousquet.
- Gráficos y diseño: Jung Kwak.
Nota: Rig Logic está incorporado en los siguientes productos: MetaHuman Creator, activos de personajes de MetaHuman y en el motor de Unreal; su uso está cubierto por las licencias aplicables para estos productos. Copyright 2022 Epic Games, Inc.
Puedes descargar este documento en formato PDF desde este enlace. Puedes acceder al contenido web de la compañía aquí.
MetaHuman gratuito para Unreal Engine
MetaHuman gratuito para Unreal Engine, este plugin permite importar una malla facial personalizada o escanearla y convertirla en un personaje 3D en tiempo real de MetaHuman.
Posteriormente, el personaje se puede editar en MetaHuman Creator, la herramienta de creación de personajes de próxima generación en progreso de Epic. Que también se acaba de actualizar con nuevos ajustes preestablecidos de ropa y cabello; y nuevos bucles de animación facial.
El nuevo complemento es la última parte del nuevo marco MetaHuman de Epic Games para crear personajes 3D de próxima generación para usar en juegos y aplicaciones en tiempo real.
MetaHuman Creator también incluye una biblioteca de peinados personalizables basados en mechones o tarjetas, y ropa recolorable, que incluye blusas, pantalones y zapatos.
Los personajes completos se pueden exportar para usarlos en Unreal Engine o Autodesk Maya a través de Quixel Bridge; la herramienta gratuita de administración de activos para la biblioteca Megascans de Quixel, ahora integrada en Unreal Engine 5.0.
El equipo de animación incluye controles faciales y digitales, y es compatible con los datos de animación facial capturados con la aplicación gratuita Live Link Face de Epic.
MetaHuman convierte escaneos y esculpe
El complemento gratuito MetaHuman para Unreal Engine convierte escaneos 3D y esculpe en MetaHumans. Para eso, el nuevo complemento MetaHuman para Unreal Engine, más específicamente, su sistema Mesh to MetaHuman, hace posible crear MetaHumans basados en escaneos 3D o modelos faciales creados en otras aplicaciones.
El complemento utiliza el seguimiento automático de puntos de referencia para adaptar la plantilla de topología facial de MetaHuman a la malla importada; luego la envía a la nube, donde se compara con el MetaHuman que mejor se adapta a la base de datos de Epic.
Esta malla se usa luego para impulsar la plataforma facial del personaje, modificada por los deltas de la malla de origen.
Las mallas faciales se pueden importar en OBJ en formato FBX y requieren una textura de albedo o materiales separados para la piel y la esclerótica de los ojos e iluminación frontal uniforme.
MetaHuman trae ajustes preestablecidos
El proceso funciona con mallas esqueléticas y estáticas, incluidos datos de escaneo prácticamente sin procesar; como puede ver en el video anterior, incluso puede importar mallas con agujeros, siempre que sean superficies múltiples.
Además, el complemento gratuito MetaHuman Lighting, una colección de ajustes preestablecidos de iluminación de Unreal Engine para personajes de MetaHuman, se ha actualizado para admitir Unreal Engine 5.0.
El paquete también incluye tres nuevos ajustes preestablecidos de la demostración técnica The Matrix Awakens Unreal Engine 5 de Epic.
Disponibilidad y requisitos del sistema
MetaHuman para Unreal Engine es compatible con Unreal Engine 5.0, mientras que los ajustes preestablecidos de MetaHuman Lighting son compatibles con Unreal Engine 4.26+. Ambos son descargas gratuitas.
MetaHuman Creator está disponible como acceso anticipado. Se ejecuta en la nube y es compatible con los navegadores Chrome, Edge, Firefox y Safari, y se ejecuta en Windows o macOS. Es gratis para usar con Unreal Engine.
Metahuman Animator viene "caminando"
Epic ha anunciado Metahuman Animator, una nueva característica de MetaHuman que permitirá a los usuarios usar un iPhone o una cámara montada en un casco estéreo para reproducir cualquier actuación facial como animación de alta fidelidad en personajes de MetaHuman.
¡Estamos muy emocionados de anunciar que pronto habrá un nuevo conjunto de características para MetaHuman!
MetaHuman Animator te permitirá utilizar tu iPhone o una cámara montada en un casco estéreo (HMC) para reproducir cualquier actuación facial como una animación de alta fidelidad en personajes de MetaHuman. Con él, podrás capturar la individualidad, realismo y fidelidad de la actuación de tu actor y transferir cada detalle y matiz a cualquier personaje de MetaHuman para darles vida en Unreal Engine.
Los humanos digitales fotorrealistas necesitan una animación de alta calidad para ofrecer actuaciones realmente creíbles, pero la experiencia y el tiempo para crearla son un desafío incluso para los creadores más habilidosos. Es increíblemente difícil para las soluciones existentes de captura de rendimiento recrear fielmente cada matiz de la actuación del actor en tu personaje. Para lograr una animación verdaderamente realista, a menudo se requiere que los animadores experimentados ajusten cuidadosamente los resultados en un proceso generalmente arduo y que consume mucho tiempo.
¡Pero eso está a punto de cambiar!
Planeado para ser lanzado en los próximos meses, MetaHuman Animator producirá la calidad de animación facial requerida por los desarrolladores de juegos AAA y los cineastas de Hollywood, al mismo tiempo que será accesible para estudios independientes e incluso aficionados. Con el iPhone que ya puedes tener en tu bolsillo y un trípode estándar, puedes crear una animación creíble para tus personajes de MetaHuman que construirá conexiones emocionales con tu audiencia, incluso si no te consideras un animador.
MetaHuman Animator también funciona con cualquier solución profesional de captura estereoscópica vertical HMC, incluyendo las de Technoprops, lo que ofrece resultados aún más de alta calidad. Y si también tienes un sistema de mocap para la captura del cuerpo, el soporte de MetaHuman Animator para el código de tiempo significa que la animación de rendimiento facial se puede alinear fácilmente con la captura de movimiento del cuerpo y el audio para ofrecer una actuación completa del personaje. Incluso puede utilizar el audio para producir una convincente animación de la lengua.
¿Cómo funciona Metahuman Animator?
La clave está en asegurar que el sistema comprenda la anatomía única del rostro del actor y cómo debe relacionarse con el personaje objetivo. MetaHuman Animator comienza creando una Identidad de MetaHuman de tu intérprete: una malla que tiene la misma topología y comparte el mismo rig estándar que todos los MetaHumans.
Si has utilizado Mesh to MetaHuman, sabrás que parte de ese proceso crea una Identidad de MetaHuman a partir de un escaneo o esculpido 3D; MetaHuman Animator se basa en esa tecnología para permitir que las Identidades de MetaHuman se creen a partir de una pequeña cantidad de metraje capturado. El proceso solo tarda unos minutos y solo necesita hacerse una vez para cada actor.
Con ese paso completo, la Identidad de MetaHuman se utiliza para interpretar la actuación rastreando y resolviendo las posiciones del esqueleto facial de MetaHuman. El resultado es que cada expresión sutil se recrea con precisión en tu personaje de MetaHuman de destino, independientemente de las diferencias entre las características del actor y las del MetaHuman. En Unreal Engine, puedes confirmar visualmente que la actuación se está transmitiendo y comparar la Identidad de MetaHuman animada con la grabación del actor, fotograma a fotograma.
Esqueletos faciales que nos ayudan en el paso a paso
Otra ventaja es que los datos de animación son limpios; las curvas de control son semánticamente correctas, es decir, están donde se espera que estén en los controles del esqueleto facial, tal como lo estarían si hubieran sido creadas por un animador humano, lo que las hace fáciles de ajustar si es necesario con fines artísticos.
Dado que hemos utilizado una Identidad de MetaHuman desde el principio, puedes estar seguro de que la animación que crees hoy seguirá funcionando si realizas cambios en tu MetaHuman en el futuro o si deseas utilizarla en cualquier otro MetaHuman.
Las capacidades de procesamiento de MetaHuman Animator formarán parte del complemento MetaHuman para Unreal Engine, que, al igual que el motor en sí, se puede descargar de forma gratuita. Si deseas utilizar un iPhone, MetaHuman Animator funcionará con un iPhone 11 o posterior, y también necesitarás la aplicación gratuita Live Link Face para iOS, que se actualizará con algunos modos de captura adicionales para admitir este flujo de trabajo.
¿No puedes esperar para empezar? Asegúrate de seguir este hilo y te informaremos cuando esté disponible MetaHuman Animator.
MetaHuman permite crear personajes 3D de próxima generación en tiempo real
Epic Games acaba de publicar un nuevo video donde muestra las posibilidades del programa MetaHuman, el cual permite crear personajes 3D de próxima generación en tiempo real. Este video, corto pero dulce, muestra 12 hermosos proyectos en poco más de 30 segundos y se enfoca en el uso creciente de MetaHumans para la animación fuera de línea, en lugar de como personajes de videojuegos.
El trabajo en exhibición abarca desde el episodio de Sony Pictures Imageworks de la serie de Netflix "Love, Death + Robots", hasta la promoción animada de Astro Project para "Crip Ya Enthusiasm" de Snoop Dogg.
También se presentan algunos grandes proyectos no comerciales, incluido el cortometraje animado "The Eye: Calathek" del estudio de arte conceptual Aaron Sims Creative, cuyo flujo de trabajo es de admirar.
Entre otros aspectos destacados, se encuentra "Beckoning", la película conceptual del director Savka Zivokic, y "Jingu", el tráiler cinematográfico del artista de producción virtual Rodrigo Castro Castillo.
https://youtu.be/48t6maRwFYc
Si creías que lo habías visto todo, mira Blue Dot
Epic Games ha publicado un cortometraje de animación fotorrealista llamado Blue Dot. Esta animación de tres minutos fue creada en Unreal Engine utilizando el conjunto de herramientas MetaHuman Animation de la empresa, que ha generado mucha anticipación.
El estudio 3Lateral de Epic utilizó MetaHuman Animator para transferir la interpretación facial del actor Radivoje Bukvić a un personaje MetaHuman dentro de Unreal Engine 5. Según Epic, el cortometraje final representa la salida sin procesar de MetaHuman Animator con intervenciones mínimas por parte de los artistas de 3Lateral.
Explorando la actuación facial en un cortometraje sutil
A diferencia de las demostraciones anteriores de Unreal Engine de Epic, que suelen estar llenas de acción para resaltar la calidad de la iluminación y los efectos del motor del juego, "Blue Dot" adopta un enfoque discreto y sutil. El cortometraje muestra al actor Radivoje Bukvić ofreciendo un monólogo a la cámara basado en un poema del escritor serbio Mika Antić, centrándose en los matices de la actuación facial.
El entorno de fondo, estilizado y mostrado brevemente a lo largo del cortometraje, nos recuerda que Bukvić es en realidad un personaje en 3D: un MetaHuman.
El rendimiento facial se obtuvo a partir de imágenes de video de Bukvić y se transfirió a un personaje MetaHuman utilizando MetaHuman Animator dentro de Unreal Engine. Esta herramienta de captura de rendimiento y animación facial tan esperada se lanzó hoy como parte de la última actualización del complemento gratuito MetaHuman de Epic para Unreal Engine.
Explorando la producción de alta gama con MetaHuman Animator
Blue Dot fue creado para exhibir las capacidades de producción de alta gama del conjunto de herramientas. El equipo de 3Lateral filmó la actuación de Bukvić en un escenario de captura de movimiento utilizando una cámara estéreo montada en la cabeza. Según Epic, solo se necesitaron mínimas intervenciones para refinar la salida sin procesar de MetaHuman Animator y obtener la animación final.
El cortometraje también ofrece una discusión por parte del director de fotografía Ivan Šijak y el artista conceptual Aaron Sims, quien comparte cómo Aaron Sims Creative ha utilizado MetaHuman Animator en su propio trabajo.
Si deseas obtener más información sobre la creación de Blue Dot, puedes leer el blog de Epic Games donde se detalla el proceso y los involucrados en este emocionante proyecto.
Herramienta para editar MetaHumans en Blender
Un desarrollador independiente ha creado una solución innovadora que permite modificar personajes MetaHuman de Unreal Engine directamente en Blender. Esta herramienta, llamada Meta-Human DNA, está actualmente en fase beta comercial tras un período de acceso gratuito inicial.
Flujo de trabajo integrado
El complemento ofrece una alternativa al MetaHuman Creator de Epic Games, permitiendo importar archivos .dna a Blender. Los usuarios pueden editar rigs faciales, incluyendo huesos, shape keys y mapas de arrugas, para luego exportar los cambios de vuelta a Unreal Engine con un solo clic. Esta funcionalidad simplifica significativamente el proceso de personalización de personajes.
Características técnicas
La herramienta implementa Rig Logic, el sistema de evaluación de rigs faciales del framework MetaHuman, dentro de Blender. Esto garantiza una integración precisa con los controles faciales. Aunque se centra en la edición facial, permite sincronizar la posición de los huesos de la columna vertebral con el esqueleto del cuerpo en Unreal Engine.
Limitaciones de uso
Es importante destacar que los personajes MetaHuman solo están licenciados para su uso en proyectos de Unreal Engine. El complemento no permite renderizar estos personajes fuera de Unreal Engine, cumpliendo así con los términos de uso establecidos por Epic Games.
Requisitos de instalación
Para utilizar esta herramienta, los usuarios deben compilar el complemento desde el código fuente, ya que utiliza parte del código de Unreal Engine. Poly Hammer proporciona una herramienta de compilación automatizada, pero los usuarios son responsables de cumplir con los acuerdos de licencia de Epic Games.
Posibilidades creativas
Además de editar personajes existentes, la versión comercial permite importar mallas 3D personalizadas y convertirlas a formato MetaHuman DNA mediante un algoritmo de ajuste automático. Esta función amplía las posibilidades de personalización para los artistas digitales.
