Investigadores de Adobe Research y la Universidad de Columbia Británica han presentado la edición de video neuronal interactiva (INVE), una herramienta de edición de video en tiempo real que permite cambiar y rastrear objetos en secuencias de video.

Esta herramienta utiliza algoritmos avanzados y redes de alta eficiencia para propagar ediciones de cuadros a lo largo de todo el videoclip. En resumen, los usuarios pueden agregar imágenes o dibujos al video, y el algoritmo se encargará de integrar estos cambios en la grabación. El uso de codificación hash-grids y funciones bidireccionales entre atlas de imágenes y fotogramas permite una mayor variedad de ediciones tanto en el atlas como en los fotogramas directamente.

INVE ofrece diferentes tipos de ediciones, como Sketch Edits, que permite a los usuarios dibujar garabatos utilizando la herramienta Pincel. Ajustes locales, que permite aplicar ajustes específicos a una región de la escena (brillo, saturación, matiz). Y Ediciones de textura, que permite importar gráficos externos que siguen y se deforman con el objeto en movimiento.


INVE está basada en Layered Neural Atlas (LNA)

Esta herramienta se basa en la investigación previa de Layered Neural Atlas (LNA), que descompone videos en un conjunto de atlas 2D en capas. Sin embargo, INVE ofrece una mejora significativa en términos de tiempo de aprendizaje e inferencia, así como una mayor capacidad de edición de video.

Aunque los casos de uso presentados podrían haber sido más impactantes, la tecnología detrás de INVE es inspiradora y nos invita a imaginar las infinitas posibilidades que tendremos en los próximos años.


Puedes averiguar más sobre el tema aquí.