Resultados 1 al 1 de 1

Tema: Nvidia GANverse3D genera modelos realistas 3d a partir de fotografías

  1. #1
    Administrador y fundador. Avatar de 3dpoder
    Fecha de ingreso
    Apr 2002
    Mensajes
    21,005
    Gracias (Dadas)
    2181
    Gracias (Recibidas)
    4437

    Nvidia GANverse3D genera modelos realistas 3d a partir de fotografías

    Nvidia GANverse3D genera modelos realistas 3d a partir de fotografías. Se trata de una aplicación desarrollada por el Nvidia AI Research Lab en Toronto, liderado por Sanja Fidler.

    La aplicación GANverse3D infla o extruye imágenes planas convirtiéndolas en modelos 3D realistas que se pueden visualizar y controlar en entornos virtuales.

    Este nuevo motor de aprendizaje profundo para crear modelos de objetos 3D inteligentes a partir de imágenes 2D estándar recientemente trajo de vuelta el icónico automóvil KITT de Knight Rider gracias a Omniverse de Nvidia.

    La representación diferenciable ha allanado el camino para entrenar redes neuronales para realizar tareas de gráficos inversos, como predecir la geometría 3D a partir de fotografías monoculares.

    El JPEG único no produce un modelo altamente complejo para los estándares de VFX, pero sí produce un automóvil completamente 3D, sin que se requiera un software de modelado 3D o experiencia.

    Como se hace a través del aprendizaje automático, el modelo tiene ruedas móviles y uno puede animarlo o conducirlo en una escena virtual, con faros realistas, luces traseras y espejos exteriores.

    El proceso de pasar de imágenes a 3D a menudo se llama gráficos inversos ya que el problema es inverso al proceso de renderizar una escena 3D teniendo en cuenta la geometría y las propiedades materiales de los objetos, y las fuentes de luz presentes en la escena.

    Esto significa que se infieren ciertas propiedades del coche, incluso cuando no se ven. Por ejemplo, el lado oculto del coche se crea plausiblemente a pesar de que el lado lejano del coche está oculto en la fotografía.

    Para generar un conjunto de datos que alimenten el entrenamiento, los investigadores aprovecharon una red adversa generativa, o GAN, para sintetizar imágenes que representan el mismo objeto desde múltiples puntos de vista. Como un fotógrafo que camina alrededor de un vehículo estacionado, tomando fotografías desde diferentes ángulos.

    Estas imágenes multi-vista se conectan a un marco de representación para gráficos inversos, a este proceso se le denomina: inferir modelos de malla 3D a partir de imágenes 2D.

    Nvidia GANverse3D utiliza el Nvidia StyleGAN publicado anteriormente como un generador de datos sintético, y el proceso etiqueta estos datos de manera extremadamente eficiente.

    Este conjunto de datos se utiliza para entrenar una red de gráficos inversa para predecir las propiedades 3D de los objetos en las imágenes.

    Como utiliza StyleGAN, este enfoque produce resultados de reconstrucción 3D de mayor calidad al tiempo que requiere de menos esfuerzo de anotación para los datos de entrenamiento. Algo que le convierte en una herramienta muy útil en la producción.

    Para recrear a KITT, los investigadores introdujeron en el software una imagen del automóvil, lo que permite a GANverse3D predecir una malla texturizada 3D. Así como diferentes partes del vehículo, como ruedas y faros. Luego utilizaron las herramientas Nvidia Omniverse Kit y Nvidia PhysX para convertir la textura pronosticada en materiales de alta calidad. Lo que le da una apariencia digital más realista, que le permite colocarlo en una secuencia de simulación de conducción dinámica.

    Una vez entrenado en imágenes multi-vista, GANverse3D solo necesita una sola imagen 2D para predecir un modelo de malla 3D. Este modelo se puede usar con un representador neuronal 3D que proporciona a los desarrolladores el control para personalizar objetos e intercambiar fondos.

    Por ejemplo, la herramienta se ha utilizado para producir caballos y aves. Pero el programa tiene límites, no sería capaz de producir un ciclo de caminata cuadrúpedo complejo, por ejemplo. Tendríamos que inferir un sistema óseo para hacer eso. También destaca el comunicado que el equipo está buscando hacer un proceso similar para las caras humanas.

    La capacidad de inferir propiedades 3D como geometría, textura, material y luz a partir de fotografías puede resultar importante en muchos dominios como AR /VR, visión por ordenador y maquetas previz/escena. El sistema actual está entrenado en 55.000 imágenes de coches.

    Dadas las imágenes de entrada, GANverse3D predice la forma 3D, la textura y representa el objeto desde el mismo punto de vista básico. El proceso es capaz de reconstruir superficies duras con reflejos especulares y también objetos articulados más complicados, como aves y caballos.

    Pero si bien se pueden tener en cuenta algunos reflejos de especificaciones, algunas imágenes generadas por StyleGAN pueden contener efectos de iluminación avanzados, como reflejos complejos, transparencia de ventanas y sombras. Aunque hay que mencionar que el modelo de iluminación armónica esférica es incapaz de tratar todos los casos con éxito.

    Cuando se importa como una extensión en la plataforma Nvidia Omniverse y se ejecuta en GPU Nvidia RTX, GANverse3D se puede utilizar para recrear cualquier imagen 2D en 3D.

    Los usuarios pueden usarlo para crear objetos en los que el programa ya está entrenado, como coches, o usar GANverse3D para entrenar con los propios conjuntos de datos de los usuarios.

    Los creadores de juegos, arquitectura y diseño confían en entornos virtuales como la plataforma de simulación y colaboración Nvidia Omniverse para probar nuevas ideas y visualizar prototipos antes de crear sus productos finales.

    Miniaturas adjuntas Miniaturas adjuntas -kitt-de-knight-rider-de-nvidia.jpg  
    Si tienes activado Adblock o alguno similar en este sitio, te estás perdiendo muchas cosas interesantes. Puedes desactivarlo para foro3d.com como te muestro en este enlace

    |Agradecer cuando alguien te ayuda es de ser agradecido|

Temas similares

  1. 3ds Max Nvidia Canvas convierte garabatos en paisajes realistas 3D
    Por 3dpoder en el foro Programas de Diseño gráfico y CAD
    Respuestas: 0
    : 25-06-2021, 18:45
  2. 3ds Max Fotogrametria: obtencion de modelos 3d a partir de fotografías
    Por vanselm66 en el foro Infografía General
    Respuestas: 17
    : 13-02-2017, 17:23
  3. Modelos 3d a partir de fotografías con Autodesk 123d
    Por 3dpoder en el foro Programas de Diseño gráfico y CAD
    Respuestas: 5
    : 21-02-2013, 17:45
  4. Exifquery 0 90 beta-genera gráficas usando los parámetros de tus fotografías
    Por 3dpoder en el foro Programas de Diseño gráfico y CAD
    Respuestas: 0
    : 11-03-2009, 21:10
  5. Respuestas: 0
    : 15-01-2007, 21:10

Etiquetas para este tema