Recopilación de humanos digitales CG

[3dpoder]

Creators Proyects ha publicado un documental que podemos ver subtitulado, es interesante ver su punto de vista en lo que ha recreación de personas humanas se refiere, la verdad es que se a avanzado mucho en este campo.

En el vídeo que vamos a ver a continuación se pueden observar trabajos realizados por distintas compañías y distintos softwares.

[Andrés57sc]

Me he quedado helado con Baby X.

[Andrés57sc]

Vaya me parece un proyecto Increíble, para él que quiera saber algo más, esta charla no tiene desperdicio.

[3dpoder]

Pues eso que Imagine Engine está haciendo el doble de Logan, aquí podemos ver un vídeo de cómo va el tema.

[3dpoder]

Los humanos CG en tiempo real de Unreal Engine, desde los inicios de la industria CG, lo más complicado de recrear con credibilidad han sido los humanos, y más concretamente el rostro.

Los artistas a lo largo de los años han encontrado dificultades varias, como el agua, el pelo, movimientos creíbles, y todo se ha ido superando poco a poco.

Hoy día todo eso está a la orden del día y cada vez podemos ver mejores trabajos, perfectos, el rostro sin embargo, sigue siendo el caballo de batalla.

Hay rostros que rozan la perfección pero no termina de transmitir el calor de un rostro real, los ojos, muecas, gestos, parpadeos, todo está muy optimizado. Pero no puedo decir que sean perfectos.

Está claro que también depende del ojo que lo ve, para la gran mayoría de público, no solo lo verán real, sino que, en muchos casos, creerán que es el personaje real de carne y hueso.

Pero los que sabemos algo de esto, reconocemos cuando es real y no, sobre todo, si tiene movimiento, en caso de ser una imagen estática, la cosa cambia, hay trabajos que parecen fotografías de personas reales, cuando no lo son.

Si además a esto le sumamos el querer obtener resultados creíbles en tiempo real, la cosa se complica, pero cuidado, porque cada día avanzamos un poco más.

Ahí está Epic Games con su Unreal Engine, que sigue sorprendiendo día a día, y no paran de avanzar, uno de esos casos donde han intervenido es el proyecto Siren, creando un actor digital fotorrealista, todo ello teniendo como referencia la actuación en vivo de un actor real.

Hasta no hace mucho, la recreación de humanos con herramientas CG era algo exclusivo de los videojuegos, pero de un tiempo a esta parte se utilizan cada vez más para renderizar escenas de cine y cinemáticas en tiempo real.

Que no dejan de ser otra forma cine en tiempo real, y todo ello sin perder un ápice de interactividad. La tecnología se abre paso.

Los humanos CG en tiempo real de Unreal Engine están detrás de muchos trabajos digitales, además para reforzar su posición en el mercado y ganar tecnología.

El año pasado adquirió 3Lateral, una compañía líder en herramientas creadas expresamente para recrear humanos digitales.

El resultado de lo anterior, sumado al Metaverso de artistas digitales anónimos que hacer fluir el trabajo en humanos y con gran talento, forma un potente ecosistema que trabaja en el ámbito de los humanos digitales en tiempo real, capturando referentes reales y precisas, sutileza y matices indispensables que creen ese aura cada vez más perfecto, y en tiempo real.

[3dpoder]

Los humanos CG en tiempo real de Unity, si hace unos días hablábamos de los humanos CG en tiempo real de Unreal Engine, hoy toca hacer lo mismo en lo que respecta al trabajo de Unity, compañía desarrolladora del motor de juego con el mismo nombre, esta empresa está sumergida profundamente en la investigación de humano digitales, sobre todo en sus propios proyectos de cortometrajes, en el que se incluye el proyecto The Heretic. Para crear este personaje digital, el equipo de Unity utilizó distintos servicios de escáner 3D y 4D, también soluciones de rigging y captura de movimiento.

Como explicamos en el mensaje de los humanos CG en tiempo real de Unreal, este tipo de soluciones CG en tiempo real se utilizan ya desde hace un tiempo y podemos verlo en varios juegos tipo AAA, pudiendo ver cada vez mejores cinemáticas acompañando o presentado juegos de primera línea, pero Unity quería subir la apuesta un listón más, así que volcaron toda su tecnología y experiencia en The Heretic.

El siguiente paso de Unity es optimizar la calidad de los pequeños detalles, gracias a los datos que están recibiendo en formato 4D pueden observar mucho mejor donde se necesitan mejoras visuales y de resolución, apostando por darlo todo siendo menos conservadores que hasta la fecha.

[3dpoder]

Recopilación de humanos digitales creados por Mimic, estos últimos días estoy viendo cada vez más movimiento de grandes firmas que centran sus esfuerzos en humanos digitales, no en vano, ya que parece que ahora mismo es la meta a batir, conseguir buenos modelos 3D de humanos que consigan el fotorrealismo, algo ya muy avanzado tecnológicamente hablando, pero todavía queda mucho por recorrer, lo que estamos acostumbrados a ver trabajos CG, vemos que son recreaciones sin vida, les falta expresión y transmitir, sobre todo en animación claro, porque en imagen estática hay algunos trabajos que son perfectos.

Mimic se está especializando en recrear dobles digitales de personajes famosos, creando personajes digitales fotorrealistas. Su método consiste en seguir las siguientes pautas de trabajo:

- Escaneo 3D
- Modelado y escultura
- Texturas y mapas
- Rigging
- Captura de movimiento y animación
- Integración en tiempo real

Mimic trabaja en la línea de escáner sus personajes, este sistema combina las últimas tecnologías para capturar la topología a alta resolución, empleando también mapas de textura con un nivel de detalle extremo, para mostrar su trabajo y atraer la atención en lo que hacen, están creando dobles digitales de famosos como Roger Federer, Marina Abramovic o Cristiano Ronaldo. Viajando a cualquier lugar del mundo con su equipo portátil.

[3dpoder]

Los humanos digitales de Digital Domain en el cine. Si Unity y Unreal Engine están enfocados en la creación de humanos digitales para videojuego y cinemática, Digital Domain lo hace enfocado al cine. El director de I+D se puso el traje Xsens, ese traje con sensores para capturar el movimiento, y una cámara montada en un casco, así fue como dio una charla TED (Tecnología, Entretenimiento y Diseño), desde ese momento Digital Domain ha seguido investigando en esa área.

Gracias a esas investigación han podido mejorar la calidad de la captura de movimiento y mejorar el rendimiento facial, para entendernos, el sistema que utilizan es algo así como un buscador de movimiento en la persona real, este buscador trabaja todos los parámetros de movimiento sin cesar, con este proceso automatizado el sistema es capaz de generar miles de modelos de captura por segundo.

Esta técnica crea nuevos modelos matemáticos que captura con precisión exhaustiva los movimientos faciales por sutiles que estos sean, y los representan en forma de geometría en movimiento. Parece sencillo ¿no? Esto les ha llevado a innovar y buscar otras fronteras, como hacer que un personaje CGI sea autónomo. Y a algo más serio, como investigar técnicas de representación neuronal.

Digital Domain también sabe aprovechar la tecnología de otras compañías, como por ejemplo el Raytraced de Unreal Engine utilizando las GPU de Nvidia para renderizar.

Su tecnología en tiempo real se ha adaptado en varios proyectos, por ejemplo se utilizó para generar un Pikachu en tiempo real, para darle movilidad capturando los movimientos de una persona, se utilizó a un actor real, Ryan Reynolds. Otro ejemplo de su tecnología es su último proyecto, un doble digital de Martin Luther King en tiempo real.

[3dpoder]

Se me pasó el video del TED, no tiene desperdicio, al menos para ver cómo es capaz de trabajar en tiempo real.

[vincent47]

Su trabajo se ve increíble. Creo que se puede comparar con la creación de una vida en sí misma.
La vida digital.

[3dpoder]

El aprendizaje automatizado a la hora de crear personajes CG está utilizando las últimas técnicas de aprendizaje, a la hora de crear criaturas o dobles digitales nos encontramos con el desarrollo de software relativamente nuevo, y aunque prometedor y avanzando a pasos agigantados todavía no está al alcance de todos, por lo que varias empresas han estado sumergiendo sus dedos en en el tema. Ziva Dynamics, que ofrece software de simulación basado en la física llamado Ziva VFX, ha estado explorando el aprendizaje automático, particularmente en relación con su tecnología de Solver en tiempo real.

Esta tecnología, permite convertir simulaciones offline de alta calidad, elaboradas por directores técnicos usando Ziva VFX, en personajes en tiempo real. Ziva ha implementado esta tecnología en algunas demostraciones públicas y participado en prototipos confidenciales con varias empresas punteras en diferentes sectores para explorar casos de uso y estrategias futuras de productos.

Los algoritmos de aprendizaje automático permiten a los artistas plantear interactivamente personajes Ziva de alta calidad en tiempo real, los renders producidos a partir de simulaciones offline se combinan con datos de animación representativos a través de un proceso de aprendizaje automático. A partir de eso, los solucionadores se aproximan rápidamente a la dinámica natural del personaje para posiciones completamente nuevas. Esto da como resultado un activo de personajes rápido e interactivo que logra formas realmente consistentes, todo en un archivo relativamente pequeño.

Allegorithmic, que hace que el conjunto Substance de texturizado 3D y herramientas de creación de materiales, también ha estado explorando el campo de la IA para combinar varios procesos relacionados con el material, como el reconocimiento de imágenes y la extracción de color, en una sola herramienta, llamada Project Substance Alchemist.

Las capacidades de IA (inteligencia artificial) de Project Substance Alchemist son, en particular, alimentadas por GPU Nvidia (Nvidia en sí está en el centro de una gran cantidad de investigación de aprendizaje automático relacionada con gráficos informáticos). Por un lado del software Project Substance Alchemist, el deleite que fue creado para ayudar a los artistas a eliminar las sombras bakeadas de un color base o fotografía de referencia una red neuronal fue creada a partir de la biblioteca de materiales de Substance para entrenar el sistema. Los artistas necesitan que sus imágenes estén libres de tales sombras con el fin de obtener un control absoluto sobre el material. El deleite impulsado por IA detecta las sombras, las elimina y reconstruye lo que hay bajo las sombras.

En el espacio de captura de movimiento, varias empresas están empleando técnicas de aprendizaje automático para ayudar a hacer el proceso más eficiente. Deep Motion, por ejemplo, utiliza AI de varias maneras, para volver a segmentar y después del proceso de los datos de captura de movimiento, para simular la deformación del cuerpo blando en tiempo real, para lograr una estimación de postura 2D y 3D, entrenar personajes físicos para sintetizar movimiento dinámico en una simulación, y para unir múltiples movimientos para una transición y mezcla sin fisuras.

Estas aplicaciones de AI resuelven una variedad de problemas para acelerar los procesos de VFX, permitir la creación de personajes verdaderamente interactivos y expandir las canalizaciones para datos de animación y simulación, dice Kevin He, fundador de Deep Motion. El aprendizaje automático se ha utilizado durante años para crear efectos interesantes en la animación basada en la física y las artes de los medios de comunicación, pero estamos viendo una nueva ola de aplicaciones a medida que los cálculos se vuelven más eficientes y los enfoques novedosos, como el aprendizaje de refuerzo profundo, crean modelos más escalables.

Mientras tanto, la compañía Radical también está utilizando AI en la captura de movimiento y en particular, desafiando el enfoque habitual basado en hardware para capturar. Específicamente utilizan la entrada de cámaras de video 2D convencionales para producir animaciones 3D que requieren poca o ninguna limpieza, codificación, inversión o preparación.

Para hacer eso no confían en las detecciones basadas en hardware de toneladas de pequeños puntos de datos que se agregan en sumas de datos más grandes que después de una limpieza intensiva, se asemejan colectivamente a la actividad humana. Más bien, ofrecen reconstrucciones de movimiento humano basadas en el aprendizaje y basadas en software en el espacio 3D.

[yarrfzi]

Vaya que sorprendente, recuerdo un proyecto que hicieron mis alumnos de secundaria y preparatoria en la cual presentaban ese tipo de trabajo muy bien explicado el video.

[3dpoder]

En esta ocasión no se trata de un humano digital y tampoco de un doble digital, se trata de Alita, un personaje creado por Weta Digital para una película CG, pero el parecido con las personas está muy bien logrado, he publicado un desglose de efectos visuales en la sección de cine, pero creo que merece estar presente en este tema sobre dobles digitales por la técnica utilizada y el realismo conseguido.

Dejo aquí el tráiler, el desglose de efectos visuales lo puedes ver en Alita arcángel de batalla.

[3dpoder]

Digital Domain nos presenta a Douglas, un nuevo humano digital autónomo de corte realista y con acción en tiempo real que fue diseñado para romper las barreras en las interacciones de persona a máquina, produciendo conversaciones que se sienten naturales y fáciles. Se dice que Douglas es como un camaleón, con la capacidad de cambiar de cara. El objetivo del equipo es lanzarlo en 2021.

Donde quiera que mires, ves asistentes virtuales, robots y otras formas de comunicación basada en IA interactuando con las personas. A medida que las empresas decidan expandir las interacciones pasadas solo de voz, va a haber una necesidad real de seres humanos fotorrealistas que se comporten de la manera que esperamos que lo hagan. Ahí es donde Douglas entra en acción.

Se dice que Douglas está utilizando diferentes tipos de aprendizaje automático e I+D de Digital Domain para reproducir las conductas humanas más comunes. El proyecto se centra en el procesamiento del lenguaje, expresiones, seguimiento de la visión y más para hacer de todo, desde conversaciones líderes hasta personas que recuerdan. Además, el equipo afirma que la tasa de respuesta es actualmente la misma que Alexa y Siri, por lo que las conversaciones tienen un flujo natural.

Si bien es perfecto para cualquier proyecto que requiera realismo facial, Douglas será especialmente útil para las empresas que necesitan un avatar para responder preguntas o ayudar a los clientes con tareas repetitivas. La versión actual ya se puede conectar a cualquier chatbot o sistema de asistente, trayendo una cara amigable y una respuesta emocionalmente inteligente a las interacciones en tiempo real. Una vez terminada, esta tecnología se puede implementar fácilmente en línea, en plataformas de reuniones o en quioscos de todo el mundo.

Douglas es la última tecnología construida a partir de la semejanza del Director Senior de I+D de Software, Dr. Doug Roble, que ya ha llevado a varios avances tanto en humanos digitales en tiempo real como en captura facial de IA. Al comparar Douglas con el Roble de la vida real, Digital Domain ha sido capaz de avanzar en el realismo de su diseño mientras preparan la tecnología para un uso más amplio.

Para crear Douglas, Roble se sometió a más de cien horas de captura de performance, incluyendo una lectura de libro en vivo que registró su voz y expresiones. Una herramienta de renderizado neural también fue entrenada tomando fotografías en una variedad de condiciones distintas de iluminación. A partir de estos datos, la herramienta ahora puede ofrecer niveles de realismo que habrían sido imposibles de lograr antes con las técnicas tradicionales, incluyendo replicar los manierismos de otra persona con sólo pocas expresiones. En los últimos meses, el equipo ha empezado a intercambiar caras y probar nuevas voces, una edición que sólo requiere 30 minutos de audio o 10 minutos de vídeo.

[3dpoder]

A esta colección de humanos digitales se une un trabajo más, en esta ocasión se trata del doble digital de David Beckham, entre ambos, el digital y el real, han protagonizado un anuncio contra la malaria que hemos publicado en el apartado de anuncios, donde se incluye más información sobre las técnicas utilizadas.

Para llevar a cabo esta transformación, Digital Domain utilizó clips de Beckham. Estos materiales de referencia fueron introducidos en Charlatán, una tecnología que utiliza el aprendizaje automático y el material de archivo de vídeo para producir dobles digitales realistas. Gracias a que Charlatán no es invasivo, el sistema puede ser entrenado a través de la fotografía principal, lo que permite a Beckham filmar sus escenas sin una sesión intensiva de captura de datos.