Tema: Omniverse de Nvidia para colaboraciones de trabajo

Omniverse de Nvidia para colaboraciones de trabajo . Nvidia ha presentado Omniverse, una nueva plataforma de colaboración abierta con conducciones de producción 3D, presentada durante una conferencia de Tecnología GPU de la que estuvimos hablando en su día, también se hizo eco en el Siggraph 2019.

La plataforma, que se basa en el formato USD de Pixar, permitirá a los usuarios ver los cambios realizados en los activos comunes por otros artistas aunque trabajen en otro software, y lo hace en tiempo real.

La intención de Nvidia está clara, su objetivo es convertirse en Google Docs del diseño 3D, lo cual siempre traerá detractores, pero alguien tiene que hacerlo, si esto sirve para evitar todos los problemas comunes que hay cuando un mismo proyecto cambia de programa, bienvenido sea, aunque eso también nos puede llevar a una dependencia del sistema.

El sistema permite a los usuarios de cualquier parte del mundo colaborar en un proyecto a través de Internet.

Funciona con todas las principales aplicaciones 3D, la demostración en vivo mostró Maya, Substance Painter y Unreal Engine registrando los cambios realizados en una escena en cualquiera de las aplicaciones de origen, los cambios se combinan y representan en tiempo real en el visor Omniverse.

Basado en USD, MDL, PhysX, Hydra y RTX, la columna vertebral de Omniverse es USD, el formato de descripción de escena universal de Pixar para datos complejos de escenas de efectos visuales, que abrió en 2016.

Los cambios en los materiales se transmiten a través del propio lenguaje de definición de materiales (MDL) de Nvidia, de código abierto el año pasado, que parece haber sido elegido sobre el MaterialX, que actualmente es menos compatible.

El sistema de física en tiempo real PhysX de Nvidia, también de código abierto desde el año pasado, se utiliza para la dinámica, y el marco Hydra de USD como una arquitectura de renderizado.

La única parte del proceso que no se basa en un estándar abierto parece renderizarse a sí misma, que aprovecha la arquitectura RTX de Nvidia, utilizada en sus nuevas GPU Quadro RTX, Titan RTX y GeForce RTX.

Nvidia describe Omniverse RTX como una ventana de RayTrace en tiempo real trazada con soporte nativo para GPU múltiple.

No está claro en la presentación si RTX es realmente obligatorio, o si hay algún tipo de reserva para el hardware de otros fabricantes.

Omniverse también es compatible con la arquitectura Hydra de Pixar, que actualmente incluye Arnold, el renderizador Karma de Houdini y RenderMan.

Huang señaló que sería posible instalar Omniverse en una estación de trabajo local que ejecuta hardware RTX, en un centro de datos o en una instancia en la nube.

Puesto que sólo los fotogramas renderizados necesitan ser transmitidos de nuevo a los usuarios, la salida RayTrace podría ser vista incluso por los artistas que trabajan en hardware de gama baja como los portátiles.

El programa beta pondrá a disposición del público en general a Omniverse por primera vez, después de 18 meses de pruebas cerradas por grandes estudios incluyendo Industrial Light & Magic.

La lista de aplicaciones DCC y motores de juegos con plugins Omniverse Connect ha crecido hasta incluir 3ds Max, Houdini, Autodesk Maya, Revit, Rhinoceros, SketchUp, Unity y Unreal Engine.

Nvidia dice que está en las primeras etapas de trabajo con Blender, y que cualquier aplicación que admita USD también está en la mezcla.

El sitio web de Omniverse no incluye actualmente ninguna información de precios, pero Nvidia dijo a los periodistas la semana pasada que los usuarios individuales podrán descargarlo de forma gratuita.

Algunas de las empresas que ya lo han podido utilizar han sabido sacarle partido, es el caso de las empresas de videojuegos que tratan con Machinima, ya hemos hablado de eso, esta aplicación no es solo para programas 3D, tiene aplicaciones en cualquier tipo de trabajo que conlleve tecnología artificial, como es el caso de Nvidia Omniverse Machinima es una nueva aplicación de narración revolucionaria para jugadores.

Nvidia Omniverse Machinima permite a los jugadores de todo el mundo dominar fácilmente el arte de la narración mediante el uso de objetos 3D, animados por las tecnologías Nvidia AI (inteligencia artificial).

Durante el lanzamiento de la serie GeForce RTX 3000, Jensen Huang, CEO de Nvidia, expuso una versión preliminar de Nvidia Omniverse Machinima. La aplicación, basada en la plataforma Nvidia Omniverse, transforma el flujo de trabajo tradicional de Machinima con cuatro tecnologías Nvidia clave, MDL/materiales, Audio a animación facial, Física/VFX y Estimación de AI Pose, es decir, postura del personaje con creada con inteligencia artificial.

Los requisitos de disponibilidad y sistema Omniverse entrarán en la versión beta abierta en otoño de 2020. Será una descarga gratuita para usuarios individuales. Podrá registrarse para el acceso beta a través del siguiente enlace. Más información en la web de Nvidia.

Si estás interesado en saber más sobre Machinima con tecnología Omniverse, visita este enlace.

En el video podemos ver como distintos artistas desde distintos softwares trabajan en un proyecto común.

Otro video que puede ayudarnos a comprender mejor cómo funciona el Omniverse de Nvidia, este tipo de sistemas para trabajo colaborativo está aflorando como champiñones en monte virgen, el tema de virus está haciendo que las empresas se dirijan hacia el teletrabajo a marchas forzadas, y este tipo de herramientas son esenciales para compartir proyectos de trabajo en tiempo real.

En términos prácticos, Omniverse se presenta como una forma de conectar las herramientas de creación clásica, activos y proyectos. Para lograrlo, Nvidia se basa en USD (Universal Scene Description, formato de código abierto desarrollado por Pixar) y MDL (Material Definition Language, formato de código abierto ofrecido por Nvidia), pero también en la GPU de trazado de rutas de rayos que son posibles gracias a sus tarjetas gráficas.

En realidad se utilizan cinco componentes clave, Omniverse Connect, Nucleus, Kit, Simulation y RTX. Juntos, ayudan a gestionar los vínculos entre las herramientas y colaboran, al tiempo que ofrecen una multitud de opciones y servicios, como herramientas de simulación. Incluso es posible crear aplicaciones.

Además del video, dejo dos capturas adjuntas donde también se puede ver un poco el sistema de trabajo.

Nvidia destaca la nuevas reflexiones de su RTX 3090, para ello ha creado un video de demostración que ha presentado en el evento Nvidia Omniverse, la demostración basada en la física gracias a la investigación de Nvidia muestra luces dinámicas trazadas por rayos (RayTrace), trazado de rutas y 100 millones de polígonos, todos ejecutándose en tiempo real en una sola GPU GeForce RTX 3090.

Los artistas están utilizando la GPU Nvidia RTX para llevar los gráficos en tiempo real al siguiente nivel, creando imágenes con superficies renderizadas y reflejos de luz para producir increíbles detalles fotorrealistas.

La demostración de la tecnología Marbles RTX, previsualizada por primera vez en GTC en marzo, se ejecutó en una sola GPU Nvidia RTX 8000. Mostró cómo la física compleja se puede simular en un mundo en tiempo real, trazado de rayos.

Durante el evento de lanzamiento de la serie GeForce RTX 3000 en septiembre, Jensen Huang, CEO de Nvidia, presentó una visión más desafiante del proyecto Nvidia Marbles RTX, poner en marcha la escena que tendrá lugar por la noche e ilustrar el efecto de cientos de luces dinámicas y animadas.

Marbles at Night es una demostración basada en la física creada con luces dinámicas trazadas por rayos y más de 100 millones de polígonos. Construido en Nvidia Omniverse y ejecutándose en una sola GPU GeForce RTX 3090, el resultado final mostró cientos de fuentes de luz diferentes por la noche, con cada mármol reflejando las luces de manera diferente y todo sucediendo en tiempo real.

Además de demostrar las últimas tecnologías para la creación de contenido, Marbles at Night mostró cómo los profesionales creativos ahora pueden colaborar y diseñar simulaciones sin problemas con una iluminación increíble, reflejos precisos y trazado de rayos en tiempo real con trazado de rutas.

Empujar los límites de la creatividad. Un equipo de artistas de Nvidia colaboró y construyó el proyecto en Nvidia Omniverse, la plataforma de gráficos y simulación en tiempo real basada en GPU Nvidia RTX y la descripción de escena universal de Pixar.

Trabajando en Omniverse, los artistas pudieron cargar, almacenar y acceder a todos los activos en la nube, lo que les permitió compartir archivos fácilmente entre equipos. Podrían enviar un enlace, abrir el archivo y trabajar en los activos al mismo tiempo.

Cada activo de Marbles at Night fue hecho a mano, modelado y texturizado desde cero. El director creativo de Mármoles RTX Gavriil Klimov compró más de 200 suministros de arte y tomó fotografías de referencia de cada uno para capturar detalles realistas, desde salpicaduras de pintura hasta desgaste. El texturizado, un proceso que permite a los artistas transferir detalles de un modelo a otro, se realizó íntegramente en Substance Painter, con múltiples variaciones para cada activo.

En Omniverse, los artistas elaboraron manualmente todo en el proyecto de mármoles utilizando RTX Renderer y una variedad de aplicaciones creativas como 3dsMax, Autodesk Maya, Cinema 4D, ZBrush y Blender. La plataforma de simulación permitió al equipo creativo ver todo el contenido con la mayor calidad posible en tiempo real, lo que dio un resultado de menor tiempo en los ciclos y más iteraciones.

Casi una docena de personas estaban trabajando en el proyecto remotamente desde lugares tan lejanos como California, Nueva York, Australia y Rusia. Aunque los miembros del equipo se encontraban en todo el mundo, Omniverse les permitió trabajar en escenas simultáneamente gracias a Omniverse Nucleus. Al ejecutarse en las instalaciones o en la nube, el módulo permitió a los equipos colaborar en tiempo real a grandes distancias.

El flujo de trabajo basado en la colaboración, combinado con el hecho de que los activos del proyecto se almacenaron en la nube, facilitó a todos el acceso a los archivos y la edición en tiempo real.

La demostración final de la tecnología completada en Omniverse dio como resultado más de 500 GB de datos de textura, más de 100 objetos únicos, más de 5.000 mallas y cerca de 100 millones de polígonos.

La investigación detrás del proyecto. Nvidia Research publicó recientemente un artículo sobre la técnica de remuestreo de importancia espacio temporal (ReSTIR) basada en depósitos, que detalla cómo renderizar iluminación directa dinámica y sombras de millones de luces de área en tiempo real. Inspirado en esta técnica, el equipo de renderizado de Nvidia, liderado por el distinguido ingeniero Ignacio Llamas, implementó un algoritmo que permitió a Klimov y al equipo colocar tantas luces como quisieran para la demo de Mármoles, sin verse limitados por los límites de iluminación.

Antes, se limitaban a usar menos de 10 luces. Pero hoy en día, con las posibilidades de Omniverse que usaban RTX, pudieron colocar tantas luces como quisieron. Esa es la belleza de esto, puedes decidir creativamente cuál es el límite que funciona para ti.

Tradicionalmente, los artistas y desarrolladores lograban una iluminación compleja utilizando soluciones bakeadas. Nvidia Research, en colaboración con el Visual Computing Lab de Dartmouth College, llevó a cabo el trabajo de investigación que profundiza en cómo los artistas pueden permitir la iluminación directa de millones de luces en movimiento.

El enfoque no requiere una estructura de luz compleja, ni bakear ni parametrización global de la escena. Todas las luces pueden proyectar sombras, todo se puede mover arbitrariamente y los nuevos emisores se pueden agregar dinámicamente. Esta técnica se implementa mediante DirectX Ray Tracing acelerado por Nvidia RTX y Nvidia RT Cores.

Obtenga más información sobre Nvidia Research que está ayudando a los profesionales a simplificar los flujos de trabajo de diseño complejos y conozca el último anuncio de Omniverse, ahora en beta abierta.

Dejamos el video demostrativo que muestra las posibilidades de esta nueva generación de Nivida.

Photoshop, Substance Designer y Substance Painter se benefician de Omniverse, ya se puede leer en el sitio web del producto como programas admitidos para utilizar esta tecnología, aunque no hay plugins de conector correspondientes disponibles a través del instalador.

Omniverse viene con su propio motor de renderizado fotorrealista, RTX Renderer, que aprovecha las posibilidades de RayTrace acelerado por hardware de las GPU RTX de última generación de Nvidia.

Sin embargo, dado que Omniverse se basa en el formato de descripción de escena universal de código abierto de Pixar, los desarrolladores pueden integrar cualquier motor de render de terceros capaz de ejecutarse como delegado de renderización de USD Hydra.

Esto incluye Radeon ProRender de AMD y OSPRay de Intel, por lo que debería ser posible crear aplicaciones Omniverse que se ejecuten en GPU que no sean Nvidia, pero actualmente no se admiten.

Omniverse ya tiene plugins y precios definitivos, la firma ha anunciado ahora precios para Omniverse Enterprise, la versión de pago del sistema de colaboración.

Nvidia ha anunciado los precios de Omniverse, su nuevo sistema de colaboración abierto para la producción 3D, actualmente disponible en versión beta pública gratuita.

El acceso costará 1.500 dólares al año por usuario y suscripción, sin embargo, la plataforma y algunas de las funciones base seguirán siendo gratuitas para artistas individuales.

Nvidia también proporcionó más información sobre el próximo plugin para Blender, y anunció nuevas conexiones para Reallusion Character Creator, Marvelous Designer y CityEngine.

Los anuncios se hicieron en la GTC 2021, la conferencia de tecnología online de Nvidia, junto con ocho nuevas GPU amperios profesionales para estaciones de trabajo, portátiles y servidores.

Una plataforma de colaboración nativa en la nube con el objetivo de convertirse en el Google Docs para el diseño 3D.

La plataforma permite a los usuarios de cualquier parte del mundo colaborar en proyectos 3D a través de Internet.

El conjunto de aplicaciones habilitadas para la nube permite a los usuarios ver los cambios realizados en activos 3D compartidos con otros artistas, independientemente de la calidad gráfica del proyecto.

Pero lo tremendo no es eso, lo sorprendente es que da igual el programa con el que trabajes, Omniverse se encarga de hacer la transición de uno a otro.

Un sistema modular que comprende software propietario y enlaces a herramientas DCC de terceros.

Omniverse tiene una estructura modular, con componentes como Nucleus, sus servicios del lado servidor, Kit, su marco para ver y editar escenas, y Connect, que conecta el software con otras herramientas DCC.

La plataforma viene con su propio motor de renderizado fotorrealista, RTX Renderer, que aprovecha las capacidades de trazado de rayos acelerados por hardware de las GPU RTX de última generación de Nvidia.

Además del núcleo Omniverse, Nvidia ha lanzado aplicaciones front-end dirigidas a industrias particulares, como Omniverse Create para VFX y animación, y Omniverse View para el diseño y la visualización.

La captura muestra una colaboración en tiempo real que se ejecuta a través de Omniverse en varias aplicaciones host, incluyendo 3ds Max y Revit.

Omniverse Machinima crea animaciones con activos del juego, como se muestra en video making-of presentado por Nvidia para mostrar las bondades del producto.

Este sistema estará completamente listo para usar por los artistas e interesados a finales de 2021, aunque previamente se publica una beta abierta.

Nvidia lanzará Omniverse Machinima, su nuevo software para crear animación cinematográfica a partir de activos de juegos, en beta abierta al final de la conferencia GTC 2021 de esta semana.

Omniverse Audio2Face, una herramienta complementaria para generar animación facial automáticamente a partir de fuentes de audio.

También está disponible en beta abierta al final de la semana aunque ya hablaremos de ella en otro artículo.

Ambos estarán disponibles como aplicaciones dentro de Omniverse, la plataforma de colaboración en línea basada en USD de Nvidia, actualmente en beta abierta gratuita.

Anunciado originalmente el otoño pasado, Omniverse Machinima permitirá a los usuarios crear animaciones utilizando activos existentes de juegos, utilizando un conjunto de herramientas de animación basadas en IA que lo acompañan.

Según la última entrada del blog de Nvidia, viene con una biblioteca de activos de juegos comerciales, incluyendo el actual FPS Squad, y el título de estrategia medieval Mount &Blade Warband.

Los usuarios también podrán importar contenido de stock de mercados online, o activos personalizados creados en otras aplicaciones DCC, utilizando la creciente biblioteca de plugins de conexión de Omniverse para aplicaciones DCC.

A continuación, los activos se pueden ensamblar en entornos de fondo dentro de Omniverse, el vídeo muestra un flujo de trabajo de diseño basado en pinceles, con un usuario pintando árboles sobre el terreno.

Ambos estarán disponibles solo para Windows 10 y requieren una GPU Nvidia compatible, al menos una GeForce RTX 3060 o Quadro RTX 4000 en el caso de Machinima, cualquier tarjeta RTX en el caso de Audio2Face.

Audio2Face convierte el audio en gestos labiales animados. Una de las aplicaciones creadas como parte de Omniverse publicada en beta abierta es Audio2Face, una herramienta que simplifica el complejo proceso de animación de una cara en una entrada de audio.

Fue desarrollado como una aplicación dentro de Omniverse, que se encuentra en la plataforma y lleva sus posibilidades a otras aplicaciones integradas en el flujo de trabajo. Como elemento de entrada sirve cualquier archivo de audio popular, como .wav o .mp3. y la salida es una animación facial realista, ya sea como una caché de geometría o como una transmisión en vivo.

Audio2Face es una tecnología basada en IA que genera movimiento facial y sincronización completa de labios a partir de una fuente de audio. Ofreciendo varias formas de explotar la tecnología; se puede usar en tiempo de ejecución o para generar animación facial para canalizaciones de creación de contenido más tradicionales.

Canalizaciones de Audio2Face

También proporciona una canalización de transferencia de personajes completa que proporciona al usuario un flujo de trabajo simplificado que te permite conducir tus propios personajes con las tecnologías Audio2Face.

Audio2Face simplifica la animación de un personaje 3D para que coincida con cualquier pista de voz/audio. No está dirigido a la animación de gama más alta como largometrajes, sin embargo, proporciona excelentes personajes de animación con sincronización labial en juegos, personajes de fondo NPC o para asistentes digitales en tiempo real.

Puedes usar la aplicación para crear aplicaciones interactivas en tiempo real o trabajar sin conexión y exportar cachés para usarlos en una canalización de animación facial tradicional. Audio2Face se puede ejecutar en vivo o bakear y exportar, depende de lo que quieras hacer.

Audio2Face surgió de un conjunto de reuniones en torno al año 2018, cuando varios desarrolladores de juegos asistieron a una conferencia organiza por Nvidia y comentaron el problema y tiempos de trabajo en la sincronización labial.

¿Qué puede hacer Nvidia en este tema?

Se podría tal vez con la ayuda con el aprendizaje profundo u otra tecnología, ayudar a acelerar y satisfacer estas demandas de producción?

En ese momento no era raro que un equipo de desarrollo de juegos estuviera en captura de movimiento durante dos años y medio seguidos. Eso solo para un juego.

Estos problemas de producción realistas más la dificultad general del proceso, que consume mucho tiempo y trabajo a la hora de crear animación facial 3D de alta calidad les llevaron a empezar a pensar en cómo resolver estos problemas.

Así nació la idea de Audio2Face, la aplicación utiliza el RTX Renderer ya que Audio2Face es una parte del marco Omniverse. No está pensado como una aplicación de demostración, es una herramienta para permitir a los desarrolladores construir aplicaciones serias.

Por ejemplo, es de esperar que esto se integre con MetaHuman de Epic Games, lo que permite que Audio2face conduzca a los personajes de UE4 en tiempo real.

Interactúa con otros softwares gracias a Omniverse

Omniverse ofrece facilidades de ida y vuelta de activos dentro y fuera de programas como UE4 y Autodesk Maya. Audio2Face actualmente se puede exportar como una caché Maya o una caché USD Universal Scene Description.

Richard Kerris señala que antes de comprometerse con canalizaciones específicas con socios como Epic Games, Nvidia quiere comentarios de clientes beta, que juegan un papel crítico en el desarrollo de la plataforma Omniverse. Para que Audio2Face tenga éxito, debe hacerlo permitiendo a los desarrolladores construirlo en canalizaciones más complejas. Kerris ve esta retroalimentación cercana de los clientes como un objetivo principal para el equipo tras hacer pública la versión beta.

El programa Audio2Face ahora está en beta abierta, pero esto es solo una vista previa preliminar, hay muchas características que aún están por llegar. Por ejemplo, Audio2Face dispone de un conjunto de controles de inferencia de post que le permiten ajustar las poses resultantes de la animación de salida en función de los datos entrenados.

Crear expresiones combinando emociones

Esto le permite ajustar la amplitud de su rendimiento, entre otras cosas. También habrá formas que permitan al usuario cambiar o combinar diferentes emociones para afinar las expresiones y respuestas del personaje. Todos estos podrán ser animados en una línea de tiempo que permite a los usuarios desvanecerse dentro y fuera de las emociones como el asombro, la ira, el disgusto, la alegría, el dolor, etc. en una versión futura.

Las versiones posteriores incluirán características más detalladas basadas en audio, incluyendo:

• Ojos y mirada
• Dientes y lengua
• Movimiento de la cabeza utilizando una estructura conjunta, todo impulsado por audio.
• Controles de alto nivel para que puedas dirigir rápidamente el estado de ánimo y la emoción del personaje.

Todo impulsado por audio con controles de usuario adicionales. El objetivo es utilizar una interfaz muy simple para obtener un rendimiento completo de alta calidad ahorrando o disminuyendo parte del trabajo que se tiene que hacer tradicionalmente en animaciones CG.

Nvidia Research está utilizando el aprendizaje automático para producir una animación plausible de lo que los ojos de un personaje están haciendo mientras hablamos. Para ello se basan solo en formas de onda de audio. Entrenado los ojos para que hagan un movimiento natural, y luego controlarlo o amplificarlo si lo necesitamos.

Lo que está por desarrollar en Audio2Face

En una versión futura, las emociones de los personajes también se pueden mezclar. Pensemos en una combinación de posturas FACS integradas en una red neuronal. De forma que no tengamos que ajustar cada forma FACS individualmente para el flujo de trabajo común laborioso.

Estamos viendo cómo podemos mezclar y combinar emociones para obtener el rendimiento que necesitamos. El sistema anima no solo la piel de la cara de un personaje, sino también la cara completa, los globos oculares, los párpados, el movimiento de la cabeza, los dientes, la lengua y el cuello. Todos estos aspectos están controlados por la animación basada en audio y moderados por los vectores emocionales.

Audio2Face simplifica la animación de un personaje 3D para que coincida con cualquier pista de voz, tanto si estás animando personajes para un juego, para una película, como para asistentes digitales en tiempo real o simplemente por diversión. Puedes usar la aplicación para aplicaciones interactivas en tiempo real o como una herramienta tradicional de creación de animaciones faciales.

Audio2Face anima con voz los personajes de Character Creator. Si el software ya nos parecía brillante, ahora es para darle de comer a parte. Nvidia está ampliando los horizontes de Audio2Face para hacer de él un software estrella en animación facial y sincronización de labios.

La funcionalidad hace posible que los usuarios de Reallusion generen animación de sincronización de labios automáticamente para sus personajes 3D. Lo hace a partir de grabaciones de voz en cualquier idioma, puede ser utilizado en motores de juegos como Unity y Unreal Engine.

El flujo de trabajo todavía está al principio del desarrollo, con Reallusion mostrándolo como una vista previa. Según la firma, las soluciones prácticas para entornos de producción llegarán en los próximos meses.

Automatiza el movimiento labial y animación facial

Como sabemos, puede generar sincronización automática de labios y animación facial para personajes a partir de archivos de audio. Publicado en beta abierta gratuita a principios de este año, y del que hemos hablado en este mismo tema.

Audio2Face es una herramienta entrenada en IA para generar animación facial para un personaje 3D a partir de una fuente de audio. Ya sea grabaciones de voz fuera de línea o una transmisión de audio en vivo.

Junto con la aplicación hermana Omniverse Machinima, el software forma parte de un conjunto de nuevas herramientas de juegos que Nvidia está desarrollando en torno a Omniverse, su nueva plataforma de colaboración en tiempo real basada en USD.

Audio2Face añade presets de Character Creator

La última actualización, Audio2Face 2021.2.6, añade presets para personajes creados con Character Creator. El software de Reallusion para generar personajes 3D para juegos o aplicaciones en tiempo real.

Los usuarios pueden exportar la malla de la cabeza de Character Creator CC3 Base+ estándar. Y por supuesto también soporta personajes de juegos de menor resolución, así como generar sincronización de labios y animación facial automáticamente.

La animación resultante se puede exportar desde Audio2Face como una caché de puntos Maya o una caché de puntos USD. Para importarla a aplicaciones que admitan el formato de archivo USD, incluidas Unity y Unreal Engine.

Audio2Face funciona con cualquier idioma

Funciona con diálogos en cualquier idioma, pero con opciones limitadas para editar la animación. A diferencia de AccuLips, el nuevo sistema automatizado de sincronización de labios en iClone, el propio software de animación de personajes de Reallusion, Audio2Face funciona con voz en cualquier idioma, no solo en inglés.

Sin embargo, las opciones para editar la animación resultante son actualmente más limitadas que con iClone.

La última versión proporciona controles deslizantes para ajustar la fuerza y el suavizado de la animación de la cara superior e inferior de un personaje, pero no admite la edición de blendshape.

Audio2Face necesita de Character Creator 3.43 para usar los presets

En los comentarios de este video de YouTube, Reallusion dice que está trabajando en un script de Python para traer de nuevo las blendshapes a iClone.

El flujo de trabajo requiere la edición pipeline de Character Creator 3.43 o versiones superiores, Omniverse y la versión 3.43 o versiones superiores de su conector Character Creator, Omniverse Machinima 2021.2 o versiones superiores y Omniverse Audio2Face 2021.2.6 o versiones superiores.

Requisitos de software y hardware

Omniverse, Omniverse Machinima y Omniverse Audio2Face están disponibles para Windows 10. Para usar cualquiera de los tres, necesitarás una GPU Nvidia GeForce RTX 3060 o Quadro RTX 4000 o superior.

Todas las herramientas de Omniverse están en beta abierta, y son gratuitas para artistas individuales.

De momento no hay más información, pero a medida que vayan saliendo noticias las publicaremos en este tema.

Nvidia ha anunciado un plugin al que ha bautizado con el nombre informático de Substance 3D, este plugin trabajará directamente para integrarse con Nvidia Omniverse. La combinación de ambos permitirá a los usuarios editar directamente materiales en formato de Substance 3D.

Todo sin salir de la plataforma de colaboración en tiempo real, actualmente disponible gratuitamente en beta abierta.

El conector es el primero de una serie de cambios en Nvidia Omniverse anunciados en el transcurso de Siggraph 2021. Junto con el nuevo OmniSurface ubermaterial y una extensión experimental para generar automóviles 3D a partir de una sola imagen.

Fuera del propio marco Omniverse, una rama alfa de Blender con soporte para el Omniverse Universal Material Mapper estará disponible a finales de este verano.

Una plataforma basada en USD para VFX, desarrollo de juegos, diseño y visualización

Anunciada por primera vez en GTC 2020, y actualmente disponible gratuitamente en beta abierta. Omniverse permite a artistas y diseñadores de cualquier parte del mundo colaborar en proyectos en tiempo real.

El conjunto de aplicaciones habilitadas para la nube permite a los usuarios ver los cambios realizados en los activos 3D compartidos por otros artistas. Trabajando en cualquier software, con visualización fotorrealista en tiempo real transmitido en vivo.

Los datos se intercambian entre aplicaciones CAD y DCC compatibles. Así como en Omniverse en formato USD, con plugins de conector disponibles para distintas herramientas. Entre ellas 3ds Max, Autodesk Maya, Revit, Rhinoceros, SketchUp y Unreal Engine 4.

Omniverse incluye una estructura compartida con Nucleus

Omniverse en sí tiene una estructura modular, con componentes que incluyen Nucleus, sus servicios del lado del servidor. Kit, su marco para ver y editar escenas, Y Connect, que conecta el software a otras herramientas DCC.

La plataforma trae con su propio motor de renderizado fotorrealista, RTX Renderer. Este aprovecha las capacidades de RayTrace aceleradas por hardware de las GPU RTX de la generación actual de Nvidia.

Además del núcleo Omniverse, Nvidia ha lanzado aplicaciones frontend dirigidas a industrias particulares. Estas incluyen Omniverse Create para VFX y animación, y Omniverse View para diseño y visualización.

Nuevo conector Substance 3D en desarrollo

Para eso, Nvidia ha anunciado un nuevo plugin llamado Substance 3D, que permitirá a los usuarios editar materiales de procedurales en formato SBSAR de Substance 3D Designer directamente dentro de Omniverse.

El nuevo plugin, que se está desarrollando en colaboración con Adobe, fortalecerá la integración entre Omniverse y el software para crear materiales materiales en la colección Substance 3D de Adobe.

Si bien actualmente es posible vincular en vivo Substance 3D Painter a Omniverse, el flujo de trabajo se basa en mapas de texturas exportados, en lugar de en los propios materiales de Substance. Aunque para esa característica concreta no hay fecha de lanzamiento.

El soporte nativo para Blender está avanzando

Además, el soporte para Blender dentro del ecosistema Omniverse está más cerca, con el nuevo importador de USD del software que se publicará en Blender 3.0 a finales de este año.

El importador, desarrollado en parte por el ingeniero de Nvidia Michael Kowalski, completará la canalización de USD de Blender. La exportación de USD ya se ha agregado en Blender 2.82, lo que hace posible un enlace en vivo a Omniverse.

Nvidia también ha anunciado una rama alfa experimental de Blender 3.0 con soporte de materiales y USD más avanzado, incluido el Omniverse Universal Material Mapper.

La compilación estará disponible en unas pocas semanas, tanto en el sitio web de Blender como en el lanzador Omniverse.



Nuevo OmniSurface ubermaterial y la extensión GANverse3D

Las nuevas características de Image2Car ya disponibles en Omniverse Create e incluyen OmniSurface. Un nuevo ubermaterial para recrear materiales imperfectamente perfectos, como la piel humana.

Los usuarios pueden marcar detalles finos como poros, pelos, manchas y renderizar los resultados en RTX Renderer.

GANverse3D para Image2Car

Los usuarios de Omniverse Create también disponen ahora de GANverse3D para Image2Car. Una nueva extensión experimental que formará parte de un conjunto de herramientas entrenadas en IA (inteligencia artificial) Que Nvidia ahora llama Omniverse AI Toy Box.

La herramienta, que se basa en este proyecto de investigación de Nvidia, genera modelos de automóviles 3D de baja resolución adecuados para su uso en segundo plano en el trabajo de visualización a partir de imágenes de una sola imagen.

Omniverse se suma al programa de desarrolladores de Nvidia

Aunque es buena noticia para el desarrollo e investigación del propio software, el lanzamiento comercial se está retrasando. Además, Nvidia está volcando los datos de Omniverse al programa de desarrolladores de Nvidia, lo que facilita a los desarrolladores de terceros programas escribir conectores para su propio software o integrar servicios con Omniverse.

Los desarrolladores registrados tendrán acceso a más de 200 extensiones preconstruidas, incluido el código fuente, además de herramientas adicionales y características.

Pequeños retrasos por temas de compatibilidades

Sin embargo, el lanzamiento de la versión comercial de la plataforma, Omniverse Enterprise, originalmente previsto para publicarse este verano, se ha retrasado, y ahora se lanzará como acceso anticipado en otoño de 2021.

El sistema Omniverse está actualmente disponible como una versión beta pública gratuita para Windows 10, CentOS 7 y Ubuntu 18.04. Requiere una GPU Nvidia RTX de generación actual. Omniverse Create and View se puede instalar desde el mismo instalador que Omniverse.

Nvidia Omniverse organiza Retroverso, un nuevo concurso que pretende recrear el espacio de juegos de tu infancia.

Viaja al pasado y muéstranos dónde comenzó tu pasión por los juegos y los gráficos por ordenador. Únete al nuevo concurso de diseño Nvidia Omniverse llamado Retroverso. Crea un Flashback a tu pasado y experimenta las diferencias con las últimas tecnologías en gráficos.

Para este desafío, los participantes deben recrear el espacio de juego de tu pasado. Ya sea un escritorio, una cama o incluso el suelo, muéstrenos el espacio que encendió tu entusiasmo por los juegos o los gráficos por ordenador.

Diseña una habitación entera o construye una escena en primer plano con detalles increíbles. Los creadores deben ensamblar su escena en Omniverse.

El espacio 3D debe diseñarse en un estilo retro de los años 80, 90 o 2000

Explora la próxima generación de herramientas en Omniverse, como Universal Scene Description (USD) de Pixar. Material Design Language (MDL) y Nvidia RTX real-time ray-tracing. Monta tu escena retro usando cualquier software 3D, como Adobe, Autodesk, Blender, Epic Games o Reallusion. Y crea el render final en Omniverse Create.

Nvidia está colaborando con TurboSquid, un mercado 3D líder, para proporcionar activos prefabricados de consolas y ordenadores retro. Los creadores pueden usar un máximo de tres activos gratuitos patrocinados por TurboSquid para construir y diseñar sus escenas. Siéntete libre de volver a texturizar los activos, o incluso modelar las consolas o PC clásicas desde cero utilizando cualquier aplicación de diseño.

Detalles de la presentación

La fecha límite para enviar el render es el 26 de octubre de 2021.

Los concursantes deben proporcionar una imagen estática del trabajo final, pero pueden enviar hasta cinco imágenes que resalten elementos como variaciones de iluminación o diferentes ángulos. O activos específicos dentro de la escena.

La entrada final debe incluir una imagen final de alta resolución, además de los archivos de origen finales, incluido el archivo USD y el archivo de origen de la aplicación 3D utilizada.

Las entradas serán juzgadas según varios criterios, incluido el uso de Omniverse Create, la calidad del renderizado final y la originalidad general.

Los ganadores del concurso se anunciarán en la conferencia Nvidia GTC en noviembre. Los tres mejores trabajos recibirán una GPU Nvidia RTX A6000, GeForce RTX 3090 y GeForce RTX 3080, respectivamente.