Optimizar el movimiento en videos con OmniMotion
Introducimos un nuevo método para optimizar el tiempo de prueba y estimar el movimiento denso y de largo alcance en videos. Los algoritmos anteriores de seguimiento de partículas o flujo óptico se limitan a ventanas temporales, lo que dificulta rastrear a través de oclusiones y mantener la coherencia global de las trayectorias de movimiento estimadas. Proponemos una representación llamada OmniMotion, que garantiza una estimación precisa de movimiento para cada píxel en un video.
OmniMotion utiliza un volumen canónico cuasi-3D para representar el video y realiza seguimiento de píxeles mediante biyecciones entre el espacio local y canónico. Esta representación permite mantener la coherencia global, realizar seguimiento de oclusiones y modelar diferentes combinaciones de movimiento de la cámara y los objetos.
Evaluaciones exhaustivas en el punto de referencia TAP-Vid y en imágenes del mundo real demuestran que nuestro enfoque supera significativamente a los métodos anteriores tanto en términos cuantitativos como cualitativos.
En el vídeo se entiende mejor lo que hace esta técnica
Podemos una demostración interactiva que permite inspeccionar las correspondencias generadas por nuestro método. Al hacer clic en una ubicación en el marco de consulta, se mostrará su ubicación correspondiente en el marco de destino. Además, se puede cambiar al marco de destino deseado utilizando el control deslizante y se puede borrar todos los puntos haciendo clic en el botón borrar puntos.
Los puntos identificados como ocluidos se muestran como cruces "+" en lugar de puntos "●". Es importante tener en cuenta que esta demostración muestra las correspondencias para un solo marco de consulta, pero nuestra representación captura todas las correspondencias entre cada par de marcos en un video.
Visualización de pseudo profundidad
Este método permite extraer una visualización de pseudo profundidad que muestra el orden relativo de las diferentes partes de la escena. En esta visualización, los objetos cercanos se muestran en azul y los objetos lejanos en rojo.
Sin embargo, es importante mencionar que nuestro método puede tener dificultades con movimientos rápidos y no rígidos, así como con estructuras delgadas. En estos casos, las correspondencias entre pares pueden no ser suficientes para calcular un movimiento global preciso.
Veamos el vídeo para ver qué es capaz de hacer
Puedes ver más información sobre OmniMotion aquí.
