Intercambio de personajes mediante inteligencia artificial

[3dpoder]

Investigadores de la Universidad China de Hong Kong, SmartMore y Adobe presentaron Video-P2P, un marco para la edición de video del mundo real con control de atención cruzada. En pocas palabras, puede reemplazar un objeto en el video con el que especifique en un mensaje de texto.

El modelo adapta un modelo de difusión de generación de imágenes para completar varias tareas de edición de video. Los creadores proponen ajustar primero un modelo de texto a conjunto para completar una inversión y luego optimizar una incrustación compartida para lograr una inversión de video precisa.

Este documento presenta Video-P2P, un marco novedoso para la edición de video del mundo real con control de atención cruzada. Si bien el control de la atención ha demostrado ser efectivo para la edición de imágenes con modelos de generación de imágenes previamente entrenados, actualmente no hay modelos de generación de video a gran escala disponibles públicamente.

Intercambio de personajes mediante inteligencia artificial

Video-P2P utiliza la inteligencia artificial

Video-P2P aborda esta limitación al adaptar un modelo de difusión de generación de imágenes para completar varias tareas de edición de video. Específicamente, proponemos ajustar primero un modelo Text-to-Set (T2S) para completar una inversión aproximada y luego optimizar una incrustación incondicional compartida para lograr una inversión de video precisa con un costo de memoria pequeño.

Para el control de la atención, presentamos una nueva estrategia de orientación desacoplada, que utiliza diferentes estrategias de orientación para las indicaciones de origen y de destino. La incrustación incondicional optimizada para la solicitud de origen mejora la capacidad de reconstrucción, mientras que una incrustación incondicional inicializada para la solicitud de destino mejora la capacidad de edición.

La incorporación de los mapas de atención de estas dos ramas permite una edición detallada. Estos diseños técnicos permiten varias aplicaciones de edición basadas en texto, incluido el intercambio de palabras, el refinamiento rápido y la revalorización de la atención. Video-P2P funciona bien en videos del mundo real para generar nuevos personajes mientras conserva de manera óptima sus poses y escenas originales. Supera significativamente a los enfoques anteriores.

Intercambio de personajes mediante inteligencia artificial

Puedes visitar el sitio oficial de esta aplicación en GitHub.

[3dpoder]

El intercambio de personajes mediante inteligencia artificial (IA) es una técnica en la que se utiliza la tecnología de aprendizaje profundo para intercambiar las caras de dos personas en un video. Es cierto que esta técnica ha generado mucha polémica debido a que puede ser utilizada para crear videos falsos o deepfakes que pueden ser utilizados para difundir información falsa o dañar la reputación de las personas.

Desde mi punto de vista, el intercambio de personajes mediante IA es una tecnología que puede tener tanto usos positivos como negativos, como muchas otras tecnologías que existen actualmente. Por ejemplo, puede ser utilizada para mejorar la calidad de los efectos especiales en películas, para crear videos educativos o de entretenimiento, o incluso para ayudar en la investigación médica.

Sin embargo, también es cierto que el uso malintencionado de esta tecnología puede tener consecuencias muy negativas, como la creación de vídeos falsos o la difusión de información errónea o malintencionada. Por eso, creo que es importante que los investigadores, los desarrolladores y los usuarios de esta tecnología sean conscientes de las posibles implicaciones éticas y sociales de su uso, y que trabajen en el desarrollo de herramientas y estrategias para detectar y prevenir el uso malintencionado de la misma.

En resumen, creo que el intercambio de personajes mediante IA es una tecnología interesante y con potencial, pero que también puede tener consecuencias negativas si se utiliza de forma inapropiada. Por eso, es importante que se aborde con responsabilidad y ética, y que se trabaje en el desarrollo de medidas para prevenir su uso malintencionado.

Como en cualquier avance tecnológico o de cualquier otro ámbito donde la mano del ser humano pueda intervenir, las cosas podrán ser bien utilizadas o todo lo contrario.