Renderizado neuronal para traducir películas
Renderizado neuronal para traducir películas. Las redes neuronales tienen cada día un uso más extenso; en esta ocasión se están realizando distintas pruebas para adaptar lo suficiente esta tecnología para traducir películas. No estamos hablando de la traducción literal del habla, si no; de la traducción o superposición de imágenes que interpretan los movientes y gestos de los actores para crear los gestos faciales. Gesto que expresen esas palabras en el idioma traducido.
Los gestos faciales y las posiciones de la boca no son las mismas cuando pronunciamos corazón a como lo son cuando pronunciamos heart. Es aquí donde las redes neuronales entran en acción; cambiando en tiempo real esos gestos y posiciones labiales para que cuando los actores pronuncian una palabra; su faz adopte la del idioma que está interpretando.
Las pruebas se están realizando sobre la película de corte dramático y origen polaco que hace referencia al Holocausto, titulada The Champion. Esta se ha convertido en el primer largometraje del mundo que se traduce al inglés reemplazando los diálogos con la técnica del renderizado neuronal.
The Champion fue comprada por Adapt Entertainment para lanzar la película en los mercados de habla inglesa. Los actores no solo fueron renderizados al inglés, sino que con la ayuda de la inteligencia artificial (IA) y el aprendizaje automático. Sus rostros fueron reemplazados para crear la imagen visual de hablar directamente en inglés.
El sistema de renderizado neuronal se ha bautizado como Plato
Para convertir la película al inglés, Adapt Entertainment reunió a un equipo de especialistas mundiales en renderizado neuronal y efectos visuales. Incluida Pinscreen Technology, la firma que crea avatares virtuales fotorrealistas impulsados por inteligencia artificial (IA), y el Dr. Mike Seymour de fxguide, un experto en humanos digitales.
Juntos, el equipo ha creado el proceso Plato patentado de Adapt; la técnica digital que abarca el aprendizaje automático y la representación neuronal que se utiliza para el diálogo y la reanimación facial.
Para volver a grabar las actuaciones faciales del actor, el elenco original fue invitado a las grabaciones de voz europeas. Donde fueron filmados por cinco cámaras desde diferentes ángulos para capturar sus expresiones faciales mientras doblaban la película.
Con la ayuda del proceso de Plato que se integra en la canalización de producción, Adapt logró poner los nuevos diálogos en escenas. A pesar de varios ángulos faciales y de la cámara en la película, la tecnología aún permitió lograr un reemplazo del diálogo sin problemas.
Según Seymour, la principal ventaja del proceso Plato es la capacidad de producir una gran cantidad de tomas en un entorno de producción completo; y de máxima calidad. La tecnología solo necesita datos de entrenamiento limitados y no se necesita realizar ningún trabajo especial cuando se filma la película original. Puede funcionar con varios tipos de iluminación dramática e incluso no se requiere maquillaje especial para los actores.
Sobre la película y sus actores
La película cuenta la historia real del campeón de boxeo de antes de la guerra Teddy Pietrzykowski; quien en 1940 llega con el primer transporte de prisioneros al recién creado campo de concentración de Auschwitz. Utilizando los avances en inteligencia artificial (IA) y aprendizaje automático. Toda la película tiene las caras del actor reemplazadas por una versión inferida; construida visualmente a partir de actores que regraban el diálogo en un estudio de sonido.
La película fue rodada en enero de 2020, estaba programada inicialmente para estrenarse en octubre de 2020, pero fue retrasada debido a Covid. La película tuvo éxito en Polonia y una empresa de tecnología creativa y distribuidora con sede en Tel Aviv; Adapt Entertainment, se aseguró los derechos para estrenar la película en varios mercados ingleses.
El CEO de Adapt, Darryl Marks, siempre había querido usar efectos visuales o renderizado neuronal para convertir una película. La búsqueda de Darryl Marks durante los últimos años ha sido ampliar el alcance global del contenido. Para que las audiencias puedan experimentar una alternativa de narración mejorada que mantenga la integridad del proyecto original sin doblaje ni subtítulos.
https://youtu.be/a0iDpiyh9ag
Los actores deben repetir sus diálogos
La película está protagonizada por el galardonado Piotr Głowacki, un actor polaco que ha aparecido en más de sesenta películas desde 2004. Para ser lo más auténtico posible, el equipo estaba ansioso por conseguir que los actores originales siempre que fuera posible volvieran a grabar sus actuaciones.
Afortunadamente, Piotr pudo dirigir las grabaciones de voz europeas en Polonia. Incluso con las grandes variaciones en su aparición en la película, Piotr fue grabado en una sesión por cinco cámaras. Sus grabaciones fueron supervisadas por el director de la película Maciej Barczewski ayudado por Darryl Marks, quien voló a Polonia para las sesiones de audio.
El proceso de Platon es único en la entrega del habla y el sonido al tiempo que es lo suficientemente flexible. Para que los artistas técnicos controlen el proceso en caso de que el director quiera ajustar el diálogo. Esto se debe a que no es solo un solo algoritmo de aprendizaje automático de caja negra.
Plato es una serie compleja de nuevas tecnologías cuidadosamente diseñadas; implementaciones a medida y las mejores prácticas de la industria. Que ofrece alta calidad profesional, alta fidelidad y rendimientos auténticos.
https://youtu.be/86FOA4vWhnE
Estamos ante un renderizado neuronal para traducir muy estudiado
Pinscreen ha estado investigando y desarrollando aplicaciones de renderizado neuronal durante mucho tiempo. El equipo ha realizado una extensa investigación sobre avatares, agentes digitales y aprendizaje automático. La compañía ha sido un colaborador habitual de SIGGRAPH y numerosos eventos en vivo en tiempo real.
Si bien parte del proceso de Plato involucra tecnología de ML preexistente que el equipo había desarrollado; emprendieron un proyecto de investigación especializado con Adapt antes del Campeón. Para desarrollar la nueva tecnología necesaria para satisfacer las demandas de una tubería de producción.
Zimo Li fue el investigador jefe y líder del equipo de ML con sede en los Estados Unidos; pero con el equipo trabajando de forma remota debido a las restricciones de COVID.
Funciona indistintamente del entorno y del ambiente
Se ha demostrado que funciona en imágenes diurnas y nocturnas, de frente a frente en tomas, mujeres, hombres o niños, e incluso secuencias de acción. Esto traslada la representación neuronal de reemplazo de diálogos del acabado manual personalizado a las aplicaciones de nivel industrial. Por lo tanto, proporciona a los productores una gama completamente nueva de opciones para la financiación y distribución de películas; y programas de televisión de calidad.
La canalización del sistema Plato permite que algunas tomas se ajusten individualmente si se desea; y esta parte del equipo trabajó de forma remota en un arreglo distribuido post-COVID.
Como la regrabación se supervisó a través de zoom en Polonia, la edición de efectos visuales se realizó en Australia. La representación neuronal se realizó en Los Ángeles y Sydney, sin mencionar que los productores estaban en Israel. El equipo confió en gran medida en frame.io para la gran cantidad de clips de películas y datos de entrenamiento involucrados.
Una expansión exponencial del mercado del cine
Este estilo de reimaginar los rostros de los actores de una manera auténtica podría expandir enormemente el mercado de películas extranjeras. En películas intensamente dramáticas emocionalmente como The Champion; saca al espectador del momento de tener que cambiar su mirada de las actuaciones del actor para leer los subtítulos.
Además, el doblaje tradicional puede romper la autenticidad y fidelidad de las actuaciones; a menudo chocando el tono y la cadencia originales con el nuevo lenguaje narrativo.
El mercado de doblaje de películas se valoró en 2.4 Billones de dólares en 2019; y se proyecta que alcance los 3.6 Billones de dólares para el año 2027. Hay un creciente apetito de Hollywood por el contenido internacional. En los últimos años ha habido un gran interés en las películas extranjeras con el éxito de Squid Game y películas como; Parásito, The Worst Person in the World y Drive my car.
¿Estamos ante el fin de los subtítulos?
A pesar del éxito de estos proyectos, los subtítulos siguen siendo un obstáculo para los estudios que intentan acceder al mercado internacional. Adapt ya ha realizado tomas seleccionadas en otras películas de Netflix, para pequeñas recreaciones inferidas de escenas; pero The Champion es la primera película totalmente adaptada que utiliza tecnología de renderizado neuronal.
The Champion es una película poderosa y emotiva que ahora parece haber sido filmada notablemente en ambos idiomas para cada versión de la película. El proceso de reemplazo de diálogo de Platon proporciona una nueva aplicación positiva. Más allá de las falsificaciones profundas, y es una demostración de lo que podemos conseguir con las nuevas tecnologías.
