Wonder Dynamics lanza Wonder Animation, una nueva función de conversión de video a escena 3D en Wonder Studio, su plataforma en línea impulsada por IA para insertar personajes 3D en secuencias de video.

La función, actualmente en versión beta, tiene como objetivo acercar a los artistas a la producción de películas totalmente animadas con la plataforma, convirtiendo una secuencia de video de acción en vivo editada en una escena animada con personajes CG en un entorno 3D.

Wonder Studio es una plataforma basada en la nube impulsada por IA para trabajos de efectos visuales (y ahora, animación). En su lanzamiento el año pasado, proporciona una solución todo en uno para insertar personajes CG en secuencias de video, rastrear el movimiento de un actor en vivo, reemplazarlo con un personaje CG y hacer coincidir automáticamente la iluminación del personaje con el fondo.

Además del video renderizado, Wonder Studio genera placas limpias y máscaras alfa para el actor, pistas de cámara y datos de captura de movimiento; también se puede utilizar como una herramienta de captura de movimiento independiente.

Los datos generados se pueden exportar como escena 3D a Blender, Maya y Unreal Engine, o en formato USD para su uso en aplicaciones como 3ds Max, Houdini o Unity.

La nueva función Wonder Animation está orientada a la animación 3D y a los proyectos de efectos visuales. Parte de la mayor actualización de Wonder Studio desde que Wonder Dynamics es adquirida por Autodesk a principios de este año, la nueva función Wonder Animation se centra en la animación 3D en lugar de los efectos visuales.

Está diseñada para funcionar a partir de una secuencia editada de tomas de acción en vivo, que Wonder Studio convierte esencialmente en una escena 3D continua.

La plataforma reconstruye la escena en un espacio 3D que coincide con la posición y el movimiento de cada cámara en relación con los personajes y el entorno.

Funciona con secuencias que contienen diferentes tipos de planos (planos generales, medios y primeros planos) y utiliza predicción de movimiento avanzada para reconstruir el movimiento de los personajes, incluso cuando los actores están ocluidos por objetos en primer plano o se mueven parcialmente fuera de plano durante unos pocos fotogramas.

Según la publicación del blog de Autodesk que anuncia la nueva función, Wonder Animation crea una representación virtual de la escena de acción en vivo que contiene todas las configuraciones de cámara y la animación del cuerpo y la cara del personaje en una escena 3D.

Lo que no hace, hasta donde saben, es convertir el fondo del video a la geometría 3D correspondiente; los usuarios todavía necesitan crear el entorno 3D por separado.

Se han comunicado con Autodesk para confirmar esto y en qué se diferencian las escenas 3D que genera Wonder Animation de las creadas por el sistema de exportación de escenas anterior, y actualizarán la información si reciben respuesta.

En sus materiales de lanzamiento, Autodesk se esfuerza por contrastar Wonder Animation con flujos de trabajo de video a video de IA, como los disponibles en el modelo Gen-3 de Runway.

El conjunto de herramientas se adapta a los flujos de trabajo existentes, en lugar de reemplazarlos por completo, y su resultado es totalmente editable; los usuarios pueden ajustar la animación, los personajes, el entorno, la iluminación y el software de seguimiento de la cámara en aplicaciones 3D o motores de juego.

Existe la idea errónea de que la IA es una solución de un solo clic, pero saben que ese no es el caso, comenta el cofundador de Wonder Dynamics, Nikola Todorovic.

A diferencia del enfoque de caja negra de la mayoría de las herramientas de inteligencia artificial generativa actuales en el mercado, están capacitando a los artistas para dar forma a su visión en lugar de depender únicamente de resultados automatizados.