Flowframes genera fotogramas intermedios para las animaciones

[3dpoder]

Flowframes genera fotogramas intermedios. La herramienta gratuita promete acelerar los flujos de trabajo en 3D generando fotogramas faltantes para animaciones renderizadas como fotogramas alternativos.

El desarrollador de herramientas NMKD Software ha publicado Flowframes, una interesante herramienta gratuita basada en IA para interpolar entre fotogramas de un vídeo para aumentar su velocidad de fotogramas.

El software, que se ejecuta en las GPU de AMD, Intel y Nvidia, ha estado disponible durante un par de años. En un principio, se utilizó principalmente para reprogramar el metraje durante la edición de video; o simplemente para mejorar videos antiguos de baja calidad.

Sin embargo, recientemente hemos empezado a ver publicaciones en foros de la comunidad de artistas que lo usan para acelerar los flujos de trabajo en 3D; renderizando cuadros alternativos de una animación y luego usarlo para interpolar los cuadros que faltan.

Flowframes genera fotogramas intermedios-video

Flowframes genera fotogramas intermedios utilizando la GPU

Los Flowframes acelerados por GPU en hardware Nvidia, AMD o Intel aprovechan una ola reciente de modelos matemáticos para la interpolación de cuadros de video. Principalmente RIFE (Real-Time Intermediate Flow Estimation), pero también los antiguos DAIN y FLAVR y XVFI experimentales .

Aunque la tecnología subyacente es de código abierto, Flowframes proporciona una GUI simplificada para controlar la interpolación. A diferencia de otras herramientas similares, es de uso gratuito, aunque puede admitir el desarrollo en Patreon .

RIFE usa la API CUDA de Nvidia para el cálculo de GPU, pero los otros usan la API Vulkan abierta y se ejecutan en GPU AMD, Intel y Nvidia. Aunque, según las preguntas frecuentes de Flowframes, RIFE es aproximadamente 2 veces más rápido.

Admite secuencias de imágenes y formatos de película estándar. El software puede importar y exportar video en una variedad de formatos estándar, incluidos MP4, MKV, WEBM y MOV, y exportar en formato AVI o usar los códecs VP9 y H.265/HEVC para exportar.

Flowframes genera fotogramas intermedios

Evita artefactos y trabaja en formatos extendidos

Importa o exporta secuencias de imágenes en formato JPEG o PNG. Flowframes incluye funciones de detección de escenas para evitar artefactos en los cortes y conserva el audio y los subtítulos.

Funciona tanto para flujos de trabajo de edición de video como de renderizado 3D. Eso hace que Flowframes sea una posible alternativa a las herramientas comerciales de reprogramación de video como Twixtor de RE: Vision Effects para trabajos de edición y postproducción.

En lugar de renderizar con configuraciones de muestreo más bajas y luego usar un eliminador de ruido para eliminar el ruido restante; el programa permite renderizar fotogramas alternativos de una animación y luego usar Flowframes para generar los fotogramas que faltan.

Para ahorrar más tiempo, aunque, obviamente, también hay un mayor riesgo de artefactos, incluso puede renderizar a una resolución más baja y luego mejorar los fotogramas con una herramienta como Gigapixel AI de Topaz Labs antes de la interpolación.

Incluso si el resultado no es de calidad aceptable, parece una forma práctica de generar pruebas de animación rápidas.

Flowframes está disponible para Windows 10 y versiones superiores. Requiere una GPU Nvidia GeForce GTX 750 Ti o más nueva para la aceleración CUDA; o una GPU compatible con Vulkan. En principio y a grueso modo, debería funcionar con cualquier tarjeta gráfica que tenga menos de 5 años.

El software se puede descargar gratis desde la web itch.io.

[AGB]

Pinta bien, pero sin entender mucho del tema creo que aun está muy verde... al menos la versión gratuita.

Precisamente estaba probando a realizar un pequeño vídeo de animación del último personaje y como había hecho muy pocos fotogramas para no pasarme la vida renderizando aproveché para probar que podía conseguir...

Empieza super bien, con una suavidad entre fotogramas increíble, pero al muy poco ves que comienza a fallar, ajusté los parámetros a máxima calidad, pero aunque mejoró algo sigue con problemas.. os dejo el pequeño vídeo antes y después de pasar por el programa por si lo queréis ver...

Original: https://youtu.be/hCsCUxyR7nc


Versión "mejorada": https://youtu.be/r1hm8tzZWoc


Un saludo!

[3dpoder]

Pues tienes toda la razón, al principio funciona muy bien, pero luego parece que se come frames.

¿Puede ser por la cantidad de frames? Quiero decir, que la versión limitada no tenga un número máximo de frames a procesar, quizá funcione mejor con un video más corto.

Edito: No parece que tenga que ser ese el problema, he revisado los requisitos y da igual lo que pagues o dones porque la versión es la misma.

¿Has probado con distintos formatos de salida de video?
¿El video si lo reproduces en tu PC también se ve mal?

[AGB]

Pues tienes toda la razón, al principio funciona muy bien, pero luego parece que se come frames.

¿Puede ser por la cantidad de frames? Quiero decir, que la versión limitada no tenga un número máximo de frames a procesar, quizá funcione mejor con un video más corto.

Edito: No parece que tenga que ser ese el problema, he revisado los requisitos y da igual lo que pagues o dones porque la versión es la misma.

¿Has probado con distintos formatos de salida de video?
¿El video si lo reproduces en tu PC también se ve mal?

Parece que se mezcla cuando hay movimientos rápidos de cámara o cuando hay formas confusas (como los brazaletes de los guantes que son como repetitivos).
También hay un momento cuando mueve la pistola hacia arriba en que no la distingue bien del fondo (supongo) y no mantiene la forma.
Imagino que irán puliendo, por que la verdad no hay color el tiempo que se tarda en renderizar fotograma a fotograma para conseguir 50 FPS y hacer uno de cada 5 o de cada 10 y dejar que la 'IA' haga el resto (va super rápido en comparación).

También pensé en que pudiera ser el reproductor o el haber metido demasiados frames intermedios, pasé de creo recordar 5 fps a 50! así que probé con menos fps, pero siguió igual.
Puedes ver que no es un efecto reproductor cargando el vídeo editado en un editor (por ejemplo el mismo de Blender) y al pasar los fotogramas poco a poco ves los errores igualmente).

Aun así, los primeros segundos del vídeo (y algún otro momento de cámara más o menos estática) me quedé realmente boquiabierto... a ver si lo pulen!

Un saludo!

[AGB]

Olvidé comentar que antes de poner la sensibilidad de ajuste lo más fina posible (cuanto más baja mejor) los cambios de cámara no los hacía bien, al pasar del útlimo fotograma con una cámara al primero del siguiente plano hacía un morphing brutal de los dos fotogramas (al más puro estilo de los vídeos de morphing de los 80s-90s), pero como comento eso se solucionó con el ajuste de sensibilidad.

Os he preparado el vídeo con los dos en uno solo, se ve mejor el cambio a 'mejor' cuando funciona bien... es realmente bueno cuando va bien, se ve tan bien que... casi merece la pena pese a los fallos..

https://youtu.be/eLEo5z8oi1k


Edito, he visto una posible mejora, en lugar de crear el vídeo original cargando todos los frames de golpe (lo cree con el editor de blender) he creado el vídeo cargando trozos (haciendo cortes en los puntos que veía que después el flowframes tenía problemas) pensando que así los metadatos podrían darle alguna pista al flowframes.. si eso no funcionaba pensaba hacer los vídeos de esas secuencias por separado y convertirlos uno a uno.
De momento con esto de cargar los bloques separadamente y no como una sola secuencia ya me parede que ha mejorado un poco, sigue con problemas la secuencia de la pistola, pero el resto algo mejora... o eso me parece a mí : )

Ahí os lo dejo

https://youtu.be/j7xhbYPz1ac


Si luego tengo un rato tal vez pruebe a ediar los vídeos por separado a ver que hace... la verdad que me ha enganchado un poco el flowframes éste y es que le veo mucho potencial...

Un saludo!

[3dpoder]

El último video que has cargado se ve mucho mejor, creo que es un programa que a poco que lo mejoren, puede ahorrar mucho trabajo.