Resultados 1 al 1 de 1

Tema: SketchEdit manipula imágenes mediante trazos

  1. #1
    Administrador y fundador. Avatar de 3dpoder
    Fecha de ingreso
    Apr 2002
    Mensajes
    21,989
    Gracias (Dadas)
    2378
    Gracias (Recibidas)
    4525

    SketchEdit manipula imágenes mediante trazos

    La manipulación de imágenes basada en bocetos es una tarea interactiva de edición de imágenes para modificar una imagen en función de los bocetos de entrada de los usuarios.

    Los métodos existentes generalmente formulan esta tarea como un problema de pintado condicional, que requiere que los usuarios dibujen una máscara adicional que indique la región a modificar además de los bocetos.

    Las regiones enmascaradas se consideran huecos y se rellenan con un modelo de pintura condicionado en el boceto. Con esta formulación, los datos de aprendizaje emparejados se pueden obtener fácilmente creando máscaras al azar y extrayendo bordes o contornos.

    Aunque esta configuración simplifica la preparación de datos y el diseño del modelo, complica la interacción del usuario y descarta información útil en regiones enmascaradas. Con este fin, investigamos un nuevo paradigma de manipulación de imágenes basada en bocetos. Manipulación de imágenes locales sin máscara, que solo requiere bocetos de los usuarios y utiliza la imagen original completa.

    -sketchedit-manipula-imagenes-mediante-trazos.jpeg


    Con un imagen y un trazo, podemos cambiar la imagen

    Dada una imagen y un boceto, nuestro modelo predice automáticamente la región de modificación de destino y la codifica en un vector de estilo independiente de la estructura. Luego, un generador sintetiza el nuevo contenido de la imagen basándose en el vector de estilo y el boceto.

    La imagen manipulada se produce finalmente combinando la salida del generador en la región de modificación de la imagen original.

    Nuestro modelo se puede entrenar de manera auto-supervisada aprendiendo la reconstrucción de una región de la imagen a partir del vector de estilo y el boceto.

    El método propuesto ofrece flujos de trabajo de usuario más simples e intuitivos para la manipulación de imágenes basada en bocetos y proporciona mejores resultados que los enfoques anteriores.

    Introducción

    Recientemente, se han incrementado los esfuerzos y la demanda de crear herramientas de edición de fotografías interactivas en dispositivos con interfaces táctiles. Al ser expresivo y fácilmente editable, dibujar es una de las formas más sencillas en la que las personas ilustran sus ideas creativas e interactúan con las aplicaciones.

    La edición de imágenes basada en bocetos es un tema de investigación emergente cuyo objetivo es construir modelos que puedan manipular estructuras holísticas o locales de una imagen de acuerdo con los bocetos dibujados por el usuario. Ha logrado un progreso significativo en los últimos años con avances en modelos generativos y de aprendizaje profundo, por ejemplo, GAN utilizado en varias aplicaciones como, GANverse3D.

    -sketchedit-manipula-imagenes-mediante-trazos-2.jpg

    Hay dos desafíos en la manipulación de imágenes basada en bocetos:

    El boceto de entrada indica aproximadamente dónde modificar, pero se desconoce la región de modificación precisa y es difícil recopilar datos de pares de imágenes a gran escala (es decir, imágenes antes y después de la manipulación) para el aprendizaje. Los enfoques anteriores evitan estos obstáculos al convertir la manipulación de imágenes basada en bocetos en un problema de pintura condicional.

    Los usuarios deben dibujar una máscara adicional para indicar las regiones a modificar además del boceto. Las regiones enmascaradas se consideran huecos y se rellenan con un modelo de pintura condicionado por el boceto.

    Bajo este marco de pintado, los datos de aprendizaje emparejados se pueden obtener fácilmente generando máscaras aleatoriamente como en la imagen general en la pintura y extrayendo bordes/contornos en las regiones enmascaradas como bocetos sustitutos utilizando algoritmos de detección de bordes.

    Luego, el problema puede resolverse entrenando un modelo de pintura para predecir la imagen original dada la imagen enmascarada, la máscara y el boceto como entrada. Esta inteligente formulación simplifica el diseño del modelo y la configuración del aprendizaje, y se ha explorado ampliamente en la literatura reciente.

    SketchEdit pretende ahorrar tiempo y trabajo tedioso

    Sin embargo, el marco de inpainting no es óptimo para la manipulación de imágenes basada en bocetos. Primero, aunque facilita el diseño y la capacitación del modelo, deja trabajo adicional a los usuarios y da como resultado una interfaz de usuario complicada.

    Después de que los usuarios dibujen en una región de la imagen, deben volver a dibujar una máscara alrededor de la misma ubicación. Este procedimiento es tedioso y redundante.

    Es posible que un usuario sin experiencia no pueda dibujar una buena máscara que cubra exactamente el área de modificación deseada, lo que dificulta que el modelo produzca resultados razonables.

    En segundo lugar, con este marco, las regiones enmascaradas en una imagen de entrada deben eliminarse para que coincidan con la condición de aprendizaje del modelo de pintura.

    Sin embargo, dado que el contenido original en una región de modificación normalmente está altamente correlacionado con el resultado deseado, ignorar esta información degradará la calidad de la imagen manipulada y conducirá a cambios no deseados en la región de modificación.

    Con este fin, investigamos un nuevo paradigma de manipulación de imágenes basada en bocetos, que solo requiere entradas de boceto de los usuarios mientras se aprovecha toda la imagen original. Nuestro sistema proporciona una interfaz más sencilla y fácil de usar para la manipulación de imágenes: esbozar únicamente directamente sobre la imagen original.

    -sketchedit-manipula-imagenes-mediante-trazos-3.jpg

    SketchEdit ofrece resultados consistentes y acordes al entorno

    Además, como el sistema toma la imagen completa como entrada, la información en la región de modificación se puede reservar, dando como resultado una apariencia más consistente (por ejemplo, color, textura) con el contenido original en la región de modificación.

    Para la edición local, se desea conservar la mayor parte del contenido de la imagen original y solo modificar la región de la imagen relevante que rodea la entrada del boceto. Por lo tanto, primero predecimos la región de modificación con un estimador de máscara y luego sintetizamos el contenido nuevo dentro con un generador. La imagen manipulada se produce mezclando la salida del generador con la imagen original usando la máscara predicha.

    Para alentar la estructura del contenido sintetizado a seguir el boceto mientras solo se mantiene el estilo del contenido original, codificamos la región de modificación de una imagen de entrada en un vector de estilo agnóstico de estructura con un codificador de estilo.

    El sistema se puede entrenar de una manera auto-supervisada aprendiendo a reconstruir la región de modificación de destino basándose en los vectores de estilo y bocetos.

    SketchEdit utiliza múltiples conjuntos de datos

    Evaluamos nuestro método en múltiples conjuntos de datos, incluidos CelebAHQ, Places2 y conjuntos de datos recién construidos Sketch Face y SketchImg que contienen bocetos y máscaras dibujadas por los usuarios. Numerosos experimentos demuestran que el método propuesto supera a los enfoques más avanzados.

    Para mostrar las ventajas de nuestro nuevo marco en términos de interacción con el usuario, incluimos una demostración interactiva en el material complementario. Nuestras contribuciones son las siguientes:

    • Investigación de un nuevo paradigma de manipulación de imágenes basada en bocetos: manipulación de imágenes locales sin máscaras que solo requiere entradas parciales de bocetos por parte de los usuarios.

    • El primer sistema para la manipulación de imágenes locales basada en bocetos sin máscaras, incluida la arquitectura de red, la adquisición de datos y la estrategia de capacitación.

    • Se realizan experimentos extensos en múltiples conjuntos de datos para demostrar la superioridad de nuestro enfoque sobre los métodos relacionados.

    Más resultados, código y demostración interactiva están disponibles en https://zengxianyu.github.io/sketchedit.

    -sketchedit-manipula-imagenes-mediante-trazos-4.jpg
    Archivos adjuntados Archivos adjuntados
    Si tienes activado Adblock o alguno similar en este sitio, te estás perdiendo muchas cosas interesantes. Puedes desactivarlo para foro3d.com como te muestro en este enlace

    |Agradecer cuando alguien te ayuda es de ser agradecido|

Temas similares

  1. Respuestas: 0
    : 20-02-2021, 18:44
  2. Manipula tus fotografías digitales con Photoshop CS 6
    Por 3dpoder en el foro Libreria fisica y electronica
    Respuestas: 1
    : 24-05-2020, 19:52
  3. No se ven todas las imágenes en el visor de imágenes
    Por jerale en el foro Problemas con Programas
    Respuestas: 2
    : 21-05-2018, 08:05
  4. Manipula tus fotografías digitales con Photoshop edición 2015 Photoclub
    Por 3dpoder en el foro Libreria fisica y electronica
    Respuestas: 0
    : 11-06-2015, 10:37
  5. Tv en monitor mediante un VHS
    Por Dhal_Naka en el foro Todo menos Infografía
    Respuestas: 0
    : 14-07-2006, 10:16

Etiquetas para este tema