Nvidia Canvas convierte garabatos en paisajes realistas 3D
Nvidia Canvas convierte garabatos en paisajes artísticos 3D. Tal y como suena, Nvidia Canvas es una aplicación de pintura que aprovecha el poder de la IA para ayudar a los artistas a convertir simples pinceladas en paisajes realistas.
Los artistas pueden crear entornos para la visualización, desarrollar fondos para pinturas conceptuales o simplemente explorar por diversión.
Los creadores pueden usar Canvas en las primeras etapas de su proceso creativo y mover las imágenes resultantes a otras herramientas creativas como Adobe Photoshop para continuar el proceso creativo.
La aplicación, actualmente disponible gratuitamente en versión beta, se acelera por hardware a través de los núcleos Tensor en las GPU Nvidia.
Nvidia Canvas aprovecha el poder de la IA
Pinta formas y líneas simples con una paleta de materiales del mundo real, como hierba o nubes. Luego, en tiempo real, este revolucionario modelo de IA llena la pantalla con resultados espectaculares. ¿No te gusta lo que ves? Cambia un material, cambia la nieve por hierba, y observa cómo toda la imagen cambia de un entorno invernal a un paraíso tropical. Las posibilidades creativas son infinitas.
https://youtu.be/1QgCf64wRkI
Elige tu paleta
Nvidia Canvas te permite personalizar tu imagen para que sea exactamente lo que necesitas. El lienzo tiene nueve estilos que modifican la apariencia de una pintura y quince materiales diferentes que van desde el cielo y las montañas hasta el río y la piedra. Pinta en diferentes capas para mantener los elementos separados. Puedes empezar desde cero o inspirarte en una de las escenas de muestra.
https://youtu.be/aD2ztxGL1PY
Preparado para canalizaciones de trabajo
Una vez que hayas creado tu imagen ideal, Canvas te permite exportar tu trabajo a Adobe Photoshop para que puedas continuar perfeccionándolo o combinándolo con otras ilustraciones.
https://youtu.be/9-lSCf_1ec0
La aplicación, entrenada en imágenes de fuentes fotográficas utilizando una red generativa, traduce el boceto en un paisaje realista en tiempo real.
Otras opciones en la paleta agregan detalles más finos, como arena, rocas y hierba, o, para el cielo, nubes y niebla.
Puede elegir un estilo visual general para la imagen, eligiendo entre nueve ajustes preestablecidos para diferentes condiciones de iluminación y horas del día.
Una herramienta ordenada para explorar composiciones para arte conceptual o Matte Painting. La salida en bruto de Canvas no es lo suficientemente alta como para usarla en la producción, en la demostración, se pueden ver artefactos y detalles repetidos cuando te acercas a la imagen.
Sin embargo, la aplicación se exporta en archivos PSD, lo que permite refinar la imagen sin procesar en otras aplicaciones de pintura.
Instalación de Canvas y requisitos de hardware: GeForce RTX, Nvidia RTX, Quadro RTX, Titan RTX.
Ratón y Teclado.
Opcional - Pantalla táctil o Tableta.
Controlador Nvidia GeForce, Studio o Quadro: 460.89.
Windows 10.
https://youtu.be/9u_08---oEw
1 Archivos adjunto(s)
Nvidia Canvas agrega soporte para estilos personalizados
Nvidia Canvas agrega soporte para estilos personalizados. La nueva funcionalidad permite a los usuarios utilizar sus propias imágenes como fuentes de estilo. Lo que permite transferir el estilo visual de una pintura o fotografía a una nueva generada por Canvas.
En el momento de escribir este artículo, los estilos personalizados no están cubiertos en el manual online, pero de acuerdo con la publicación del blog de Nvidia, la función está disponible en la versión actual del software.
Basado en la aplicación web GauGAN de Nvidia
Nvidia Canvas se acelera por GPU a través de los núcleos de aprendizaje automático Tensor en las GPU Nvidia y requiere una tarjeta RTX.
Sin embargo, si estás utilizando una GPU más antigua, o un procesador AMD, Intel o Apple, aún puedes probar la tecnología subyacente online, a través de la aplicación web GauGAN de Nvidia.
No está tan bien presentado, pero cubre una gama más amplia de tipos de paisajes, incluidos edificios y otras estructuras realizadas del mundo real. Ofrece una gama ligeramente más amplia de estilos visuales preestablecidos.
Nvidia Canvas está disponible para Windows 10
Canvas está disponible en versión beta para Windows 10. Necesitas una GPU Nvidia GeForce RTX, Titan RTX, Quadro RTX o RTX con la versión 460.89 o superior del controlador Nvidia GeForce, Studio o Quadro para usarla. La aplicación Nvidia Canvas en sí, es gratuita, la puedes descargar sin más.
Nvidia Canvas es una aplicación de pintura paisajística que aprovecha el poder de la IA (inteligencia artificial) para ayudar a los artistas a convertir rápidamente simples pinceladas en paisajes realistas.
Los artistas pueden crear entornos para la visualización, desarrollar fondos para pinturas conceptuales o simplemente explorar por diversión.
Puedes utilizarlo en cualquier etapa del proceso
Con Nvidia Canvas los creadores pueden usar la herramienta en las primeras etapas de su proceso creativo y mover las imágenes resultantes fácilmente a otras herramientas creativas como Adobe Photoshop para continuar el proceso creativo.
GauGAN 2 con función de texto a imagen
GauGAN 2 con función de texto a imagen, esta aplicación incluida en Nvidia Canvas crea imágenes fotorrealistas con solo un par de palabras.
Nvidia ha presentado GauGAN 2, una nueva versión actualizada de su popular GauGAN AI. La característica principal de GauGAN 2 es su capacidad para convertir una simple frase escrita, u oración, en una imagen fotorrealista utilizando el aprendizaje profundo. Todo lo que necesita hacer es escribir una frase y la IA genera la escena en tiempo real. También puedes agregar adjetivos adicionales y el modelo, basado en redes generativas, modifica instantáneamente la imagen.
Además, la IA se puede utilizar para representar paisajes de otro mundo. Imagínese, por ejemplo, recrear un paisaje del icónico planeta de Tatooine en la franquicia de Star Wars, que tiene dos soles. Todo lo que se necesita es el texto "sol de las colinas del desierto" para crear un punto de partida, después del cual los usuarios pueden dibujar rápidamente en un segundo sol.
El modelo de IA detrás de GauGAN2 fue entrenado en 10 millones de imágenes de paisajes de alta calidad utilizando la supercomputadora Nvidia Selene. Un sistema Nvidia DGX SuperPOD que se encuentra entre las 10 supercomputadoras más potentes del mundo.
Imágenes basadas en redes neuronales
Los investigadores utilizaron una red neuronal que aprende la conexión entre las palabras y las imágenes a las que corresponden como "invierno", "niebla" o "arco iris". En comparación con los modelos de última generación específicos para aplicaciones de texto a imagen o segmentación de mapa a imagen, la red neuronal detrás de GauGAN2 produce una mayor variedad y una mayor calidad de imágenes.
Una imagen que vale más que mil palabras, y eso ahora ocupa solo tres o cuatro palabras, gracias a GauGAN2, la última versión de la popular demostración de pintura de IA de Nvidia Research.
El modelo de aprendizaje profundo detrás de GauGAN permite a cualquiera canalizar su imaginación en obras maestras fotorrealistas, y es más fácil que nunca.
Con solo presionar un botón, los usuarios pueden generar un mapa de segmentación, un contorno de alto nivel que muestra la ubicación de los objetos en la escena. A partir de ahí, pueden cambiar al dibujo, ajustando la escena con bocetos aproximados utilizando etiquetas como cielo, árbol, roca y río, lo que permite que el pincel inteligente incorpore estos garabatos en imágenes impresionantes.
La nueva función de texto a imagen GauGAN2 ahora se puede experimentar en Nvidia AI Demos, donde los visitantes del sitio pueden experimentar AI a través de las últimas demostraciones de Nvidia Research. Con la versatilidad de las indicaciones de texto y bocetos, GauGAN2 permite a los usuarios crear y personalizar escenas con un control más detallado.
Una IA de pocas palabras
GauGAN2 combina el mapeo de segmentación, la pintura y la generación de texto a imagen en un solo modelo. Lo que lo convierte en una poderosa herramienta para crear arte fotorrealista con una mezcla de palabras y dibujos.
La demostración es una de las primeras en combinar múltiples modalidades (texto, segmentación semántica, boceto y estilo) dentro de un solo marco GAN. Esto hace que sea más rápido y fácil convertir la visión de un artista en una imagen generada por IA de alta calidad.
En lugar de tener que dibujar cada elemento de una escena imaginada, los usuarios pueden ingresar una breve frase para generar rápidamente las características clave y el tema de una imagen, como una cordillera cubierta de nieve. Este punto de partida se puede personalizar con bocetos para hacer una montaña específica más alta o agregar un par de árboles en primer plano o nubes en el cielo.
No solo crea imágenes realistas
No solo crea imágenes realistas, los artistas también pueden usar la demostración para representar paisajes de otro mundo.
Es un proceso iterativo, donde cada palabra que el usuario escribe en el cuadro de texto agrega más a la imagen creada por AI.
La demostración de investigación de GauGAN2 ilustra las posibilidades futuras de potentes herramientas de generación de imágenes para artistas. Un ejemplo es la aplicación Nvidia Canvas, que se basa en la tecnología GauGAN y está disponible para descargar para cualquier persona con una GPU Nvidia RTX.
Nvidia Research cuenta con más de 200 científicos en todo el mundo, centrados en áreas que incluyen IA, visión por ordenador, automóviles autónomos, robótica y gráficos.
Puedes ver algunos ejemplos en el siguiente video. Y tienes más información en su sitio web.
https://youtu.be/5Qdr8AUNYqU
7 Archivos adjunto(s)
Nvidia Canvas con nuevo modelo de IA
Nvidia Canvas con nuevo modelo de IA. La última versión de la herramienta Nvidia Canvas presenta un nuevo y poderoso modelo de IA (Inteligencia Artificial). Este nuevo modelo está basado en la investigación de GauGAN2. Así que ahora es más fácil para los artistas convertir pinceladas simples en imágenes de paisajes realistas.
La nueva actualización de Nvidia Canvas está impulsada por el modelo GauGAN2 AI y Nvidia RTX GPU Tensor Cores. La mezcla de estas tecnología crea fondos con mayor calidad y tiene cuatro veces mayor resolución; con cinco nuevos materiales para pintar.
Nvidia Canvas es una aplicación beta gratuita que forma parte de la suite de aplicaciones y herramientas creativas Nvidia Studio. Canvas ofrece la herramienta de pintura en tiempo real GauGAN a cualquier persona con una GPU Nvidia RTX. El programa permite a los artistas utilizar IA avanzada para convertir pinceladas simples en imágenes de paisajes realistas; acelerando la exploración de conceptos y liberando más tiempo para visualizar ideas.
https://youtu.be/wKztRskmsig
Obras de arte hechas con caballete
La actualización de Nvidia Canvas permite imágenes aún más realistas con mayor definición y menos artefactos. Lo que agrega un fotorrealismo significativo, todo en una resolución de hasta 1K de píxeles para una mayor calidad visual.
Las exportaciones se pueden integrar fácilmente en los flujos de trabajo creativos existentes exportando a Adobe Photoshop. O a la aplicación creativa preferida del artista.
Archivo adjunto 241881
Un aumento dramático de la resolución de píxeles
Los artistas empiezan en Nvidia Canvas dibujando formas y líneas simples; luego el modelo de IA llena inmediatamente la pantalla con materiales del mundo real como agua, hierba, nieve, montañas y más para obtener resultados espectaculares.
La actualización agrega cinco nuevos materiales para crear entornos paisajísticos más ricos. Como la paja, las flores, el barro, la tierra y los arbustos. Los nuevos materiales, incluidos en el barro, la suciedad y el arbusto, agregan más realismo y variedad a los fondos.
Archivo adjunto 241882
Estos nuevos materiales se pueden personalizar aún más con nueve estilos preestablecidos que modifican la apariencia de la pintura. Los artistas tienen la opción de subir sus propias imágenes para crear un fondo único.
Archivo adjunto 241883 Archivo adjunto 241884 Archivo adjunto 241885 Archivo adjunto 241886 Archivo adjunto 241887
Puedes empezar a pintar con IA descargando la última actualización de la aplicación Nvidia Canvas aquí.
Fuente: Nvidia
Nvidia Canvas agrega soporte para variaciones de estilo
Nvidia Canvas agrega soporte para variaciones de estilo. Nvidia ha publicado una nueva y actualizada versión de Canvas, la herramienta basada en IA (inteligencia artificial) de la compañía que puede convertir garabatos en pinturas de aspecto realista.
La nueva versión Nvidia Canvas 1.2 viene con soporte para variaciones de estilo. Cada estilo ahora se puede ajustar a una de las diez variaciones. El equipo comenta que esto debería dar a los artistas más opciones e ideas creativas. Manteniendo al mismo tiempo el tema general de la imagen de estilo seleccionada. Además, las selecciones de imagen de estilo y variación de estilo ahora se guardan en el archivo de proyecto con extensión *(.can).
Nvidia Canvas 1.2 utiliza la IA utilizando un generador y un discriminador. El generador convierte los mapas de materiales en imágenes; mientras que el discriminador estudia las características de los objetos. Transfiere esta información al generador para convertir los garabatos en imágenes que preservan el estilo, incluidos los estilos personalizados. La red está entrenada en un sistema Nvidia DGX utilizando más de cinco millones de imágenes.
Nvidia Canvas 1.2 aprovecha la potencia de la inteligencia artificial
Pinta formas y líneas simples con una paleta de materiales del mundo real, como hierba o nubes. En tiempo real, este revolucionario modelo de IA llena la pantalla con resultados impresionantes. ¿No te gusta lo que ves? Cambia de material, como por ejemplo de nieve a hierba; y observa cómo toda la imagen pasa de ser una fantasía invernal a un paraíso tropical. Las posibilidades creativas son infinitas.
GauGAN360 genera entornos a 360 grados
GauGAN360 genera entornos a 360 grados a partir de una fotografía. Se trata de una nueva herramienta artística en fase experimental que se puede utilizar online. Capaz de convertir bocetos en bruto en entornos de 360 grados que se pueden usar en escenas 3D.
La demostración, una versión actualizada de la aplicación de pintura GauGAN AI de Nvidia; permite a los usuarios pintar en la forma general de un paisaje y hacer que GauGAN 360 genere un mapa de cubo coincidente o una imagen equirectangular.
Convierte garabatos rápidos en entornos sintéticos de 360 grados para usar en escenas 3D. Nvidia describe GauGAN360 como la próxima evolución de GauGAN, su popular demostración de pintura de IA.
Lanzado en 2019, GauGAN utiliza un modelo de IA basado en redes adversas generativas para generar imágenes fotorrealistas que coinciden con los bocetos aproximados de los usuarios.
GauGAN hace más o menos lo mismo, pero en lugar de una imagen 2D convencional. El resultado es un mapa de cubos o una imagen equirectangular que se puede usar como un mapa de entorno dentro del software 3D.
La demostración de Nvidia muestra su propio software Omniverse Create. Pero los mapas podrían usarse en otras aplicaciones 3D como Blender o en motores de juegos como Unity y Unreal Engine.
GauGAN360 genera entornos a 360 con diferentes colores de pincel para pintar
El flujo de trabajo en GauGAN360 es similar a GauGAN. Pintas la forma aproximada de la imagen que desea generar en la plantilla online, haces clic en el botón y esperas a que lo haga la IA.
Diferentes colores de pincel representan diferentes elementos del paisaje: hay 25 disponibles, divididos en elementos de suelo como barro y arena; características de la tierra y el cielo como ríos, montañas y nubes; y plantas
Los controles son bastante básicos: una selección de tres formas de pincel y un control deslizante de tamaño de pincel, pero ese es el punto: está diseñado para generar imágenes a partir de garabatos muy rápidos.
También puede cargar una imagen real para usarla como fuente, con GauGAN360 generando una imagen sintética con la misma composición general que la original.
Funcionalidad limitada en la demostración en línea actual
En nuestras pruebas rápidas, descubrimos que los mejores resultados se obtuvieron al bloquear áreas amplias de un paisaje: pintar trazos más finos para sugerir características más pequeñas resultó en algunos árboles de aspecto extrañamente distorsionado, por ejemplo.
La demostración actual también genera solo paisajes naturales. Si bien había colores de pincel para carreteras y aceras, no había opciones para generar edificios u otras características hechas por el hombre.
El resultado era un archivo PNG de 8 bits, por lo que, si bien se podía usar como entorno de fondo, no sería adecuado para la iluminación ambiental y, con 1024 x 768 px, tenía una resolución bastante baja.
¿Más características avanzadas por venir en GauGAN360?
Sin embargo, el video teaser de Nvidia (incrustado en la parte superior de la historia) sugiere que puede haber más funciones por venir. El metraje muestra opciones para generar HDRI, así como panoramas de bajo rango dinámico.
La interfaz que se muestra en el video también incluye una categoría de Edificio que no está disponible en la demostración en línea actual, con colores de pincel que corresponden a características hechas por el hombre como casas, puentes y paredes.
Además, la descripción del video en YouTube dice que GauGAN360 genera panoramas 8K. Una resolución mucho más alta que las imágenes que pudimos descargar.
Sin embargo, incluso en su forma actual, GauGAN360 es muy divertido para jugar. Al igual que con GauGAN, hay algo muy satisfactorio en ver tus garabatos toscos convertidos en entornos de fantasía.
La tecnología detrás de GauGAN también es la base de Canvas, la aplicación de pintura con IA se puede descargar de forma gratuita en Nvidia. Por lo que si se actualiza de la misma manera, las mismas características también podrían estar disponibles en herramientas fuera de línea.
Requisitos del sistema y licencia para GauGAN360
La herramienta se ejecuta en un navegador web. Para generar una imagen, debes aceptar los términos de uso de Nvidia, que otorgan a Nvidia el derecho de usar o distribuir cualquier contenido que cargue o cree. Puedes probar GauGAN360 en el nuevo sitio web de demostraciones de IA de Nvidia.
