DreamFusion genera modelos 3D a partir de texto

[3dpoder]

DreamFusion genera modelos 3D a partir de texto. Google Research ha presentado DreamFusion, un nuevo método para generar modelos 3D, esta vez, mediante texto.

El enfoque, que combina un modelo de difusión de texto a imagen 2D con Neural Radiance Fields (NeRF), genera modelos 3D texturizados de una calidad adecuada para su uso en proyectos AR, o como mallas base para esculpir.

Y, lo que es más importante, no requiere un conjunto de modelos 3D reales para usar como datos de entrenamiento, lo que podría allanar el camino para el desarrollo de herramientas prácticas de texto a 3D basadas en IA para el mercado masivo.


Modelos 3D a partir de texto

Descripciones de texto a modelos texturizados
DreamFusion convierte las descripciones de texto en modelos 3D texturizados. Desarrollado por un equipo de Google Research y UC Berkeley, DreamFusion genera modelos 3D a partir de descripciones de texto como «Una escultura de metal muy detallada de una ardilla con un kimono tocando el saxofón».

Además de la geometría del modelo 3D, el texto también define sus materiales y texturas, algo que puede probar en la demostración en línea cambiando «escultura de metal» por «tallado en madera» o fotografía DSLR.

Combinación de campos de radiación neuronal y difusión 2D. Para generar un modelo, DreamFusion combina dos enfoques clave: campos de radiación neuronal y difusión 2D.

Refina progresivamente un modelo 3D aleatorio inicial para que coincida con las imágenes de referencia 2D que muestran el objeto de destino desde diferentes ángulos: un enfoque utilizado por los modelos de IA existentes como Instant NeRF de Nvidia.

Sin embargo, a diferencia de Instant NeRF, las referencias no son fotos de un objeto real, sino imágenes sintéticas generadas por un modelo 2D de texto a imagen del tipo utilizado por DALL-E 2 de OpenAI y Stable Diffusion de Stability.ai.

Modelos 3D a partir de texto

Se pueden utilizar modelos 2D de referencia
En este caso, el modelo de difusión 2D es Imagen de Google, pero el resultado general es el mismo: un modelo 3D generado para que coincida con las imágenes de referencia 2D generadas a partir de la descripción del texto original.

Todavía en gran medida es solo una demostración de investigación. En este momento, las oportunidades para jugar con DreamFusion son bastante limitadas.

La página de GitHub del proyecto le permite elegir entre una variedad de indicaciones de texto preestablecidas, luego muestra el modelo 3D resultante, pero no le permite ingresar sus propias descripciones de texto.

Los activos en sí también tienen una resolución bastante baja
La galería en línea de DreamFusion muestra una variedad de modelos en formato.glb que parecen adecuados para usar en un proyecto AR, o como mallas base que podrían refinarse manualmente para usar en trabajos de mayor detalle.

¿Está preparando el camino para una nueva generación de herramientas comerciales de texto a 3D? Sin embargo, el significado real de proyectos de investigación como DreamFusion no es lo que pueden hacer actualmente, sino cómo podrían abrir el camino para el desarrollo de herramientas más prácticas.

Mientras que los modelos de difusión 2D como DALL-E 2 se entrenaron con imágenes 2D extraídas de Internet, es mucho más difícil hacer lo mismo con 3D.

Como dice el resumen de DreamFusion: «Adaptar este enfoque a la síntesis 3D requeriría conjuntos de datos a gran escala de activos 3D etiquetados y [formas] eficientes de eliminar el ruido de los datos 3D, ninguno de los cuales existe actualmente».

Al eliminar la necesidad de conjuntos de datos 3D a gran escala, DreamFusion plantea la posibilidad de una nueva ola de herramientas de arte generativo de IA, pero para modelos 3D, no imágenes 2D.

Y dado que las herramientas de arte 2D AI como DALL-E tardaron menos de dos años en pasar del anuncio inicial a la disponibilidad pública masiva, podrían estar aquí mucho antes de lo que piensa.

Puedes leer más sobre DreamFusion en la página de GitHub del proyecto.

[3dpoder]

DreamFusion es un programa de modelado 3D que permite crear modelos a partir de texto. A continuación, se presentan los pasos básicos para trabajar con DreamFusion y generar modelos 3D a partir de texto:

Descargar e instalar DreamFusion: DreamFusion se puede descargar de forma gratuita en la página web del desarrollador. Una vez descargado, instale el software en su computadora siguiendo las instrucciones del instalador.

Crear un nuevo proyecto: Una vez instalado DreamFusion, abra el programa y cree un nuevo proyecto. Para hacerlo, haga clic en "Nuevo proyecto" en la pantalla de inicio o seleccione "Nuevo" en el menú "Archivo".

Ingresar el texto: Una vez creado el proyecto, se abrirá una ventana de diseño. Para empezar a trabajar, seleccione la herramienta de texto y escriba el texto deseado en la ventana de diseño. Puede cambiar la fuente, el tamaño y otros aspectos del texto desde las opciones de la herramienta de texto.

Convertir el texto en 3D: Una vez que haya ingresado el texto, seleccione la opción "Crear objeto 3D" en el menú "Objetos" o presione el botón "Crear objeto 3D" en la barra de herramientas. El texto se convertirá en un objeto 3D en la ventana de diseño.

Modificar el objeto 3D: Una vez que el texto se ha convertido en un objeto 3D, puede modificarlo utilizando las herramientas de modelado de DreamFusion. Puede cambiar la forma, el tamaño, la posición y otros aspectos del objeto 3D para crear el modelo deseado.

Texturizar el modelo: Una vez que el modelo está listo, puede agregar texturas y materiales para mejorar su apariencia. Puede hacerlo seleccionando el objeto 3D y seleccionando la opción "Texturizar" en el menú "Objetos". Desde allí, puede agregar texturas e imágenes a diferentes partes del modelo.

Exportar el modelo: Una vez que haya terminado de crear y texturizar el modelo, puede exportarlo en el formato deseado. Para hacerlo, seleccione la opción "Exportar" en el menú "Archivo" y seleccione el formato de exportación deseado.

Estos son los pasos básicos para crear un modelo 3D a partir de texto en DreamFusion. Con práctica y experiencia, podrá mejorar sus habilidades de modelado y crear modelos más complejos y detallados.