SR3 resolución de imagen a través de refinamiento iterativo

[3dpoder]

SR3 resolución de imagen a través de refinamiento iterativo. Los chicos de Google le están dando a la cabeza, el equipo de investigación de Google presentó SR3, un enfoque de la super-resolución de imagen que se basa en el refinamiento repetido.

El sistema SR3 utiliza modelos probabilísticos de difusión denoising para la generación de imágenes condicionales y realiza super-resolución con un proceso de denoising estocástico.

El equipo señala que la inferencia comienza con el ruido gaussiano puro y refina iterativamente la salida ruidosa utilizando un modelo U-Net entrenado en la eliminación de ruido en varios niveles de ruido. SR3 exhibe un fuerte rendimiento en tareas de súper resolución con diferentes factores de aumento, en caras e imágenes naturales.

SR3 exhibe un fuerte rendimiento en tareas de súper resolución en diferentes factores de ampliación, en caras e imágenes naturales. Llevando a cabo la evaluación humana en un estándar 8X se enfrenta a la tarea de super-resolución en CelebA-HQ.

En comparación con los métodos SOTA GAN. SR3 logra una tasa de confusión cercana al 50 por ciento, lo que sugiere salidas fotorrealistas, mientras que los GAN no superan una tasa de confusión del 34 por ciento.

Además, mostramos la efectividad de SR3 en la generación de imágenes en cascada, donde los modelos generativos se encadenan con modelos de súper resolución, lo que produce una puntuación FID competitiva de 11.3 en ImageNet.

El programa SR3 genera imágenes incondicionales de rostros 1024×1024 utilizando una cascada de un modelo de difusión incondicional a una resolución de 64×64 seguido de dos modelos de súper resolución de 4×.

También generamos imágenes naturales condicionales de clase 256×256 mediante el uso de una cascada de un modelo de difusión condicional de clase a una resolución de 64×64 seguida de un modelo de super-resolución 4x.

La generación en cascada permite entrenar diferentes modelos en paralelo y la inferencia también es eficaz, ya que los modelos de menor resolución pueden usar más iteraciones, mientras que los modelos de mayor resolución usan menos iteraciones.

Dejo un video con una demostración de lo comentado, en este enlace puedes ver más sobre el tema.



-- IMÁGENES ADJUNTAS --