Vengadores Endgame

Trailer en español de la nueva entrega de los Vengadores.

https://youtu.be/Rr_gukrgcKc

Llegar a conseguir una toma o escena final en los que respecta a efectos visuales lleva una gran cantidad de pasos en el proceso.

Se requieren muchos artistas de distintas disciplinas, desde el guion hasta finalizar los VFX pasando por conceptos, guiones gráficos, estudios previos, tomas previas, escenas con personajes reales, postproducción y edición.

Como vemos, son muchos los pasos y no necesariamente por ese orden, en ocasiones hay que improvisar o aprovechar entornos climáticos.

El paso previo en cualquier proceso es recibir el concepto de lo que se quiere conseguir en cada escena.

Un estudio de VFX recibe el encargo sobre una idea ya concebida, y a veces, incluso con una escena rodada, y sobre eso hay que trabajar.

Para ello se necesita identificar qué involucra el trabajo que se solicita para poder distribuir el trabajo correspondiente a cada artista gráfico.

Para saber cómo funciona ese sistema de trabajo la compañía The Plate nos expone un ejemplo real, mostrando los pasos y trabajo que hay detrás de una superproducción como puede ser cualquier película de los Vengadores.

En este caso se trata de Vengadores Endgame, el supervisor de animación digital de Weta Sidney Kombo-Kintombo desglosa, desde el punto de vista de la animación, aspectos de la espectacular batalla final de esa película.

Donde se involucraron tomas de personajes reales, captura de movimiento y efectos visuales digitales significativos.

El supervisor explica lo que supone trabajar en una película de este calado, necesitan unas previas y una planificación increíble, ya que todo el mundo espera que todo esté en su sitio y son muchos detalles, muchos personajes, algunos reales y otros creados por ordenador.

Todo ello al mismo tiempo en la misma escena, y además para postre como ocurre en casi todos los encargos, con muy poco tiempo de maniobra.

Tras hacerse una composición de la batalla final y discutir varios planos con los encargados de la película se crean notas, muchas anotaciones que sirve de guía para llevar a cabo el encargo, romper el hielo en una palabra.

Tras esa previa toca hacer lo mismo con todos los artistas digitales para repartir el trabajo y darle a entender a cada uno cual tiene que ser el aspecto final de su trabajo, para que luego todo pueda cuadrar en una escena única.

Emparejar personajes reales y virtuales y saber desde qué frame a qué frame tienen que estar juntos.

Reconstruir la escena para que no se superpongan otros elementos de la escena y seguir creando explosiones.

Golpes y un sin fin de detalles que ocurren detrás, delante y al lado, como puedes ver, puede ser un trabajo caótico si no se planifica muy bien desde el inicio.

La coordinación es fundamental cuando se trabaja con tanta gente, y luego por supuesto están los cambios finales.

Cuando se presentan las escenas CGI a los productores y estos toman las decisiones de qué tomas son buenas y en cuales han de hacerse cambios.

Estos cambios implican que muchos artistas digitales tienen que modificar su trabajo para volver a montarlo todo, lo que ya era correcto y lo que se ha corregido.

La película finalmente vista en el cine o la televisión tiene un resultado simplemente espectacular, nos sumerge en la escena dándonos ganas de ayudar a los Vengadores, no me digáis que eso no es un logro.

Dejo algunas capturas de los trabajos realizados por The Plate que se han publicado en la entrevista que Vfxvoice le ha realizado al supervisor de animación digital de Weta Sidney Kombo.

https://youtu.be/Og8k0bMAiPo

VFX con inteligencia artificial y aprendizaje automático. Aunque la siguiente explicación sobre las distintas técnicas se pueden aplicar a cualquier personaje. En este caso nos basamos en un artículo publicado por Digital Domain donde aplican la técnica a Thanos.

Hacer estas pruebas con personajes no reales, no debe quitar importancia a la técnica, pero sí debemos tener claro que no es lo mismo recrear los gestos de un personaje ficticio, que los de un personaje real.

La solución de seguimiento basada en inteligencia artificial se utiliza para resolver el movimiento de coincidencias de la cámara y el seguimiento de objetos de una persona u objeto.

Distintas técnicas para distintas situaciones

Si hay una frase que suena en los últimos tiempos en el mundo de los efectos visuales, es aprendizaje automático. De hecho, hay tres: aprendizaje automático, aprendizaje profundo e inteligencia artificial (IA).

Cada frase tiende a utilizarse indistintamente para referirse a la nueva técnica de soluciones de software inteligentes en VFX, gráficos por ordenador y animación basada en las técnicas de inteligencia virtual.

La investigación en la máquina y el aprendizaje profundo está ayudando a introducir tanto la automatización como los resultados más físicos en gráficos por ordenador. Principalmente en áreas como el seguimiento de cámaras, simulaciones, renderizado, captura de movimiento, animación de personajes, procesado de imágenes, rotoscopia y composición.

El personaje virtual de Thanos de Avengers: Infinity War. Digital Domain se basó en técnicas de aprendizaje automático para ayudar a dar vida al personaje.

¿Qué es el aprendizaje profundo?

Una autoridad en el tema es Hao Li, investigador y ceo de Pinscreen, que está desarrollando avatares 3D instantáneos a través de aplicaciones móviles con la ayuda de técnicas de aprendizaje automático.

Describe el aprendizaje profundo o automático como el uso de marcos computacionales que se basan en redes neuronales artificiales. Estas pueden ser entrenados para realizar tareas altamente complejas cuando existen muchos datos de entrenamiento.

Las redes neuronales existen desde hace algún tiempo, pero hace poco de las redes neuronales profundas. Estas tienen múltiples capas que se pueden entrenar eficientemente por GPU y en cantidades masivas de datos.

Resulta que las técnicas basadas en el aprendizaje profundo superan a otras técnicas, en la mayoría de los métodos clásicos de visión por ordenador esta técnica supera problemas fundamentales relacionados con el reconocimiento de patrones, como el reconocimiento de objetos, la segmentación y otras tareas de inferencia.

Alternativas en la animación facial 3D

Dado que muchos desafíos relacionados con los gráficos están directamente relacionados con la visión, como:

• La captura de movimiento.
• La animación facial 3D basada en el rendimiento.
• El escaneo 3D.
• Y otros.

Se ha vuelto obvio que muchas técnicas existentes se beneficiarían inmediatamente de técnicas basadas en el aprendizaje profundo. Una vez que se puedan obtener suficientes datos de entrenamiento.

Más recientemente, los investigadores han ideado nuevas formas de arquitecturas de redes neuronales profundas. Donde las imágenes creíbles de una escena real se pueden generar directamente a partir de alguna entrada del usuario o incluso de entorno aleatorio.

Ejemplos populares para estos modelos generativos profundos incluyen redes adversarias generativas (GAN) y autoencoders de variación (VAE).

Aprendizaje automático en escenas de acción

Volvamos unas líneas más arriba, y retomemos el ejemplo de Thanos, uno de los que mejor pueden explicar la técnica de aprendizaje automático, además de uno con los mejores resultados hasta la fecha.

En la película de Los Vengadores, Thanos utiliza el aprendizaje automático para transformar la cara del actor Josh Brolin capturada con cámaras de cabeza y tildado con marcadores de seguimiento facial en el personaje principal de la película. Esto implicó aprovechar los datos de entrenamiento de captura facial.

Darren Hendler, jefe a la hora de crear humanos digitales en Digital Domain, afirma que ya sabían como construir un sistema que cogiera datos de captura de movimiento y produjera un resultado creíble con aprendizaje automático.

Pero en la película, con este personaje, utilizaron un sistema de captura facial completamente nuevo. Pueden coger una sola imagen y en tiempo real recrear una versión de alta resolución de cualquier actor con una calidad similar al resultado obtenido en la película.

Cómo funciona esto a veces parece pura magia, pero como todo aprendizaje automático, puede ser muy temperamental e impredecible. Lo que hace que el hallazgo de la solución sea particularmente gratificante.

Deep Fake y avatares 3D fotorrealistas

La técnica Deep Fake no deja de ser una técnica utilizada para el engaño a la vista, llegado este punto, nos podemos preguntar qué efecto visual no está pensado para engañar a la vista, tendríamos razón, pero hay casos y casos.

Una cosa es utilizar estas técnicas para crear contenido de entretenimiento y otras con motivo de engaño utilizando personajes famosos sin consentimiento.

En Pinscreen, uno de los objetivos de la compañía ha sido generar avatares 3D fotorrealistas y animables con detalles faciales y capilares precisos. Creados a partir de imágenes de teléfonos móviles individuales de los usuarios.

Han estado confiando en enfoques de aprendizaje profundo para hacerlo posible, basados en extensos datos de preparación supervisados. Los datos, junto con las redes neuronales profundas, se utilizan para ayudar a predecir los resultados correctos de cómo debería ser un avatar 3D. Por ejemplo, para averiguar qué expresión facial que debe mostrarse.

Los resultados de Pinscreen a veces se comparan con videos de intercambio de rostros, una técnica denominada Deep Fake. Esta técnica que ha ganado popularidad mediante el uso de técnicas de aprendizaje profundo para re-animar la cara de una persona famosa. El propósito es hacer que diga cosas que en realidad nunca han dicho, o aparecer donde en realidad nunca han estado.