Intercambio de personajes mediante inteligencia artificial
Investigadores de la Universidad China de Hong Kong, SmartMore y Adobe presentaron Video-P2P, un marco para la edición de video del mundo real con control de atención cruzada. En pocas palabras, puede reemplazar un objeto en el video con el que especifique en un mensaje de texto.
El modelo adapta un modelo de difusión de generación de imágenes para completar varias tareas de edición de video. Los creadores proponen ajustar primero un modelo de texto a conjunto para completar una inversión y luego optimizar una incrustación compartida para lograr una inversión de video precisa.
Este documento presenta Video-P2P, un marco novedoso para la edición de video del mundo real con control de atención cruzada. Si bien el control de la atención ha demostrado ser efectivo para la edición de imágenes con modelos de generación de imágenes previamente entrenados, actualmente no hay modelos de generación de video a gran escala disponibles públicamente.
Video-P2P utiliza la inteligencia artificial
Video-P2P aborda esta limitación al adaptar un modelo de difusión de generación de imágenes para completar varias tareas de edición de video. Específicamente, proponemos ajustar primero un modelo Text-to-Set (T2S) para completar una inversión aproximada y luego optimizar una incrustación incondicional compartida para lograr una inversión de video precisa con un costo de memoria pequeño.
Para el control de la atención, presentamos una nueva estrategia de orientación desacoplada, que utiliza diferentes estrategias de orientación para las indicaciones de origen y de destino. La incrustación incondicional optimizada para la solicitud de origen mejora la capacidad de reconstrucción, mientras que una incrustación incondicional inicializada para la solicitud de destino mejora la capacidad de edición.
La incorporación de los mapas de atención de estas dos ramas permite una edición detallada. Estos diseños técnicos permiten varias aplicaciones de edición basadas en texto, incluido el intercambio de palabras, el refinamiento rápido y la revalorización de la atención. Video-P2P funciona bien en videos del mundo real para generar nuevos personajes mientras conserva de manera óptima sus poses y escenas originales. Supera significativamente a los enfoques anteriores.
Puedes visitar el sitio oficial de esta aplicación en GitHub.
