Adobe Firefly genera imágenes utilizando inteligencia artificial

[3dpoder]

Adobe Firefly crea imágenes y efectos mediante inteligencia artificial. Adobe ha anunciado un nuevo conjunto de herramientas de IA llamado firefly. Las primeras herramientas para el mercado se centrarán en la creación de imágenes y efectos de texto, pero el video promocional también muestra algunas aplicaciones 3D.

Hoy marca el comienzo de un nuevo capítulo importante para los productos creativos de Adobe con la introducción de Adobe Firefly, una familia de modelos generativos de IA para la expresión creativa. Firefly combinará el poder de las aplicaciones de Adobe con la promesa de la IA generativa, permitiendo a los usuarios expresar sus ideas creativas con mayor eficiencia y sin restricciones.

Se está entrando en un mundo en el que se puede dar vida a la visión creativa simplemente describiendo lo que se quiere con sus propias palabras o con un simple gesto en la aplicación. Un mundo en el que se puede modificar un video o cortar una pista de audio simplemente describiendo un estado de ánimo deseado.

Es posible combinar lo mejor de los flujos de trabajo de aplicaciones con lo mejor de la IA generativa, donde las aplicaciones creativas actúan como un copiloto creativo y ayudan a iterar instantáneamente a través de cientos de variaciones del trabajo, todo en su estilo único. Gracias a la IA generativa, la conversación entre el creador y la computadora se transformará en algo más natural, intuitivo y poderoso en los próximos años.



En Adobe andan entusiasmados con las posibilidades

Es por eso que Adobe está tan entusiasmado con la IA generativa. La compañía quiere crear con sus productos para que sus clientes puedan soñar con los ojos abiertos. Se han creado modelos avanzados de aprendizaje automático que permiten a una computadora generar contenido basado en nada más que una descripción y se está en el proceso de integrarlos profundamente en los flujos de trabajo de aplicaciones. Esto representa la siguiente etapa de un viaje que comenzó hace una década, cuando Adobe vio el potencial de la IA para transformar todos los aspectos de la computación. Desde entonces, se han incorporado cientos de funciones de IA a los productos de Adobe, basadas en Adobe Sensei.

Firefly representa un gran avance en la creación de contenido creativo generativo. El primer modelo se enfoca en la creación de imágenes y efectos de texto, lo que lo hace especialmente útil para aquellos que buscan generar contenido para uso comercial. El modelo se ha capacitado en cientos de millones de imágenes con licencia profesional en Adobe Stock, así como en contenido con licencia abierta y contenido de dominio público con derechos de autor expirados. Se ha mejorado aún más con un potente motor de estilo que ayuda a explorar sus capacidades generativas y crear fotos, arte, gráficos y efectos de texto con controles de estilo, color, tono, iluminación y composición impresionantes.

Todo esto ha sido diseñado desde cero para integrarse perfectamente en los flujos de trabajo existentes en Adobe Creative Cloud, Document Cloud, Experience Cloud y Adobe Express. Además, Adobe planea hacer que Firefly esté disponible a través de API en varias plataformas para permitir a los clientes integrarse en flujos de trabajo y automatizaciones personalizados.

Adobe Firefly dará confianza a los nuevos creativos

Se cree que Firefly puede ayudar a las personas a aumentar su confianza creativa al eliminar las barreras entre la visión creativa y la página en blanco. Devuelve horas a la vida de los creadores en un momento en que tanto la demanda de contenido como las demandas de su tiempo se han disparado.

Se quiere que Firefly se dé cuenta del poder de la IA generativa y amplifique la creatividad y la inteligencia humanas sin reemplazar la belleza y el poder de la imaginación humana. Es por eso que hoy, se comienza con una versión beta de Firefly.

Se presentarán modelos futuros adaptados a diferentes niveles de habilidad y casos de uso, haciendo uso de una variedad de activos, tecnología y datos de entrenamiento de Adobe y otros. Se planea incluir modelos que los creadores puedan entrenar en su propio estilo personal y lenguaje de marca, lo que será muy beneficioso para los creadores individuales y los equipos creativos empresariales.

También se entrenarán modelos en una variedad más amplia de fuentes de contenido, mientras se trabaja para contrarrestar posibles sesgos u otros daños en el contenido generado. Y se buscan formas de integrar todo esto en los flujos de trabajo de sus aplicaciones. La IA generativa creará muchas oportunidades y planteará muchas preguntas, y se sabe que la mejor manera de avanzar es en asociación con todos ustedes. Adobe ha estado y sigue estando dedicado a cualquiera que quiera crear.

Modelo de compensación para los usuarios de Adobe Firefly

Con el fin de asegurarse de que los usuarios vean oportunidades para beneficiarse de sus habilidades y creatividad y proteger su trabajo, Adobe tiene la intención de crear IA generativa de una manera que les permita monetizar sus talentos, al igual que se ha hecho con Adobe Stock y Behance.

La compañía está desarrollando un modelo de compensación para que los contribuyentes de Stock se beneficien de Firefly y compartirá detalles una vez que salga de la versión beta. Además, Adobe está tomando medidas para evitar que los nombres de los artistas se utilicen en las acciones generativas de IA y presionando por estándares abiertos de la industria a través de la Iniciativa de Autenticidad de Contenido (CAI).

Es fundamental que los modelos generativos de IA respeten una etiqueta universal de "No entrenar" que permanezca unida a un activo dondequiera que se use, publique o almacene. Todo el contenido generativo de IA también debe etiquetarse en las credenciales de contenido de CAI.

Desde que Adobe comenzó a aplicar la tecnología de IA a casos de uso basados en la creatividad y la productividad, cientos de millones de usuarios han puesto las capacidades impulsadas por Adobe Sensei a trabajar, creando y editando miles de millones de piezas de contenido. La IA generativa es la próxima evolución y Adobe espera que los usuarios sean parte del diálogo sobre la mejor manera de avanzar.

Dejamos un video donde se pueden ver cosas interesantes sobre Adobe Firefly



Puedes acceder directamente a la web del programa, aquí.

[3dpoder]

Adobe ha implementado Firefly, un conjunto de modelos generativos de inteligencia artificial (IA), en Photoshop, dando inicio a una importante iniciativa para llevar la IA a los flujos de trabajo creativos existentes en Creative Cloud, Document Cloud, Experience Cloud y Adobe Express.

Firefly ahora es compatible con Generative Fill, lo cual permite a los usuarios ampliar imágenes y agregar o eliminar objetos mediante simples indicaciones de texto.

Adobe está acelerando la generación de ideas

Al integrar directamente Firefly en los flujos de trabajo como un copiloto creativo, Adobe está acelerando la generación de ideas, la exploración y la producción para todos sus clientes, según comentó Ashley Still, vicepresidente senior de medios digitales de Adobe. Generative Fill combina la velocidad y facilidad de la IA generativa con el poder y precisión de Adobe Photoshop, permitiendo a los clientes dar vida a sus visiones a la velocidad de su imaginación.

Generative Fill ajusta automáticamente la perspectiva, iluminación y estilo de las imágenes, lo que reduce el tiempo necesario. Según Adobe, amplía la expresión creativa y la productividad, y mejora la confianza creativa de los artistas al utilizar lenguaje y conceptos naturales para generar contenido digital en cuestión de segundos.

Esta función permite a los usuarios editar sus imágenes de forma no destructiva, creando capas generativas y admitiendo Credenciales de contenido para asegurar que las personas sepan si una parte del contenido fue creada por un ser humano.

Además, Adobe ha actualizado Adobe Photoshop con nuevos ajustes preestablecidos, una barra de tareas contextual, una herramienta de eliminación mejorada y gradientes mejorados.

La función Generative Fill de Photoshop está disponible en la versión beta de la aplicación de escritorio a partir de hoy y estará disponible para todos en la segunda mitad de 2023. También está disponible hoy en la versión beta de la aplicación Firefly.

[3dpoder]

Firefly ha ampliado recientemente su compatibilidad con varios idiomas. Ahora, los usuarios pueden ingresar texto en más de 100 idiomas, incluyendo aquellos que utilizan alfabetos no occidentales. Además, Adobe tiene planes de localizar el servicio en 20 idiomas, con versiones en francés, alemán, japonés, español y portugués brasileño ya disponibles.

¿Se han utilizado imágenes de los artistas para entrenar Firefly?

El uso de imágenes de artistas para entrenar herramientas de inteligencia artificial es un tema polémico. En el caso de Firefly, el modelo de inteligencia artificial generativa inicial fue entrenado utilizando Adobe Stock, la biblioteca de imágenes de archivo de la empresa, así como contenido de licencia abierta y dominio público donde los derechos de autor han expirado.

Sin embargo, las imágenes de los portfolios de los artistas alojados en Behance, propiedad de Adobe, no fueron utilizadas para entrenar el modelo. Según las preguntas frecuentes de Adobe, actualmente no se utilizan imágenes personales de los suscriptores de Creative Cloud para el entrenamiento de Firefly.

¿Qué sucede si no deseas que tus imágenes se utilicen para entrenar modelos de IA en el futuro?

Adobe ha mencionado la implementación de credenciales de "No entrenar" que evitarán que las imágenes de los artistas se utilicen en conjuntos de datos para entrenar nuevos modelos de IA. Sin embargo, no está claro si estos servicios están siendo aplicados actualmente. Adobe también está explorando la posibilidad de permitir a los artistas optar por no incluir sus imágenes en los conjuntos de datos de entrenamiento, pero esto aún está en proceso de desarrollo.

Además, Adobe está trabajando en un esquema de compensación para pagar a los contribuyentes de Adobe Stock cuyo trabajo se incluya en conjuntos de datos de entrenamiento de IA, aunque los detalles específicos aún no han sido anunciados.

Las herramientas Firefly de Adobe están actualmente en versión beta pública

Si vives en un país donde los servicios de Adobe están disponibles, puedes probar las herramientas en línea. La versión beta de Firefly es compatible con los navegadores Chrome, Safari y Edge en computadoras de escritorio, pero aún no es compatible con tabletas o dispositivos móviles. Durante el período beta, las herramientas no están licenciadas para uso comercial. Adobe aún no ha anunciado la fecha de lanzamiento comercial ni el precio de Firefly.

[3dpoder]

Nvidia está anunciando en este momento sus últimas actualizaciones para Omniverse, su plataforma de colaboración diseñada para el mundo del diseño 3D en tiempo real.

Estos cambios incluyen una nueva característica de sincronización bidireccional en vivo en el conector iClone, la adición de soporte para arrastrar y soltar archivos Houdini HDA, y también están planeando hacer que las herramientas de arte Firefly AI de Adobe estén disponibles dentro de Omniverse a través de una API.

La noticia se ha dado a conocer en el evento Siggraph 2023, donde también han presentado tres nuevas GPU RTX diseñadas especialmente para profesionales, y han introducido nuevas capacidades generativas de inteligencia artificial en el software Maya, desarrollado en colaboración con Nvidia Picasso.

Esta plataforma, que se basa en el estándar USD y es perfecta para campos como efectos visuales, desarrollo de videojuegos, diseño y visualización, fue lanzada oficialmente el año pasado después de haber estado un año en versión beta. La gran ventaja de Omniverse es que permite a artistas y diseñadores de diferentes partes del mundo trabajar juntos en proyectos en tiempo real.

Los datos se intercambian fluidamente entre aplicaciones CAD y DCC compatibles, y todo se maneja en formato OpenUSD dentro de Omniverse. Además, se han creado complementos especiales para aplicaciones como 3ds Max, Autodesk Maya, Revit, Rhino, SketchUp y Unreal Engine.

A pesar de que en sus inicios la plataforma se dirigió a una variedad de mercados, incluyendo efectos visuales y desarrollo de videojuegos, el enfoque actual del producto, según el sitio web de Nvidia, se centra más en aplicaciones industriales, como la creación de gemelos digitales.



Novedades en el conector iClone de Omniverse y soporte de arrastrar y soltar para archivos HDA

Hemos destacado las más recientes mejoras en las herramientas artísticas de Omniverse. Si desea más detalles sobre USD Composer 2023.1, USD Presenter 2023.1 y Audio2Face 2023.1, le recomendamos revisar nuestro artículo previo.

Las modificaciones realizadas en los plugins del conector de Omniverse para aplicaciones DCC incluyen la posibilidad de sincronización bidireccional en tiempo real con el software de animación iClone de Reallusion.

Versiones previas del plugin requerían que los usuarios exportaran archivos USD desde iClone y, posteriormente, los cargaran manualmente en una aplicación de Omniverse para activar las actualizaciones automáticas.

Asimismo, aquellos que utilicen Houdini podrán ahora cargar activos en su formato HDA directamente en la interfaz gráfica de Omniverse, utilizando la función de arrastrar y soltar.

Nuevas opciones en las API de Omniverse Cloud para renderizar archivos OpenUSD y programar en Python

El Omniverse Cloud, el conjunto de servicios basados en la nube desarrollado por Nvidia en torno a Omniverse, ha incorporado recientemente nuevas API destinadas a desarrolladores que trabajan en flujos de trabajo basados en OpenUSD.

Una de estas API es RunUSD, que permite la conversión de archivos OpenUSD en imágenes renderizadas trazadas. Esta función se logra mediante la validación de los archivos cargados con las versiones de OpenUSD y la generación de renderizaciones empleando el renderizador nativo de Omniverse.

Entre las API en fase de desarrollo destaca ChatUSD, una herramienta impulsada por inteligencia artificial que es capaz de generar secuencias de comandos de código Python-USD a partir de texto. Además, tiene la habilidad de responder preguntas relacionadas con el conocimiento de USD. Este agente está siendo desarrollado en el marco de trabajo NeMo de NVIDIA.

Por otro lado, se tiene en proyecto incorporar a Omniverse la suite de herramientas creativas de inteligencia artificial generativa Firefly de Adobe. Este paso permitirá que los usuarios accedan a las capacidades de Firefly a través de una API en Omniverse.

A la fecha de redacción de este artículo, Nvidia aún no ha anunciado la fecha exacta de disponibilidad de las API de Firefly en Omniverse.

[3dpoder]

Adobe ha publicado Firefly Video Model, un nuevo modelo de inteligencia artificial generativa diseñado para potenciar sus herramientas de edición de video, como Premiere Pro y, posiblemente, After Effects. Esta tecnología permite generar contenido audiovisual a partir de imágenes de referencia o descripciones en texto, además de extender clips existentes con fotogramas y audio adicionales.

Generación de video mediante inteligencia artificial

Firefly es una plataforma de herramientas de arte generativo basada en IA, disponible tanto en la web como integrada en Adobe Creative Cloud. Aunque inicialmente se centró en la generación de imágenes estáticas, su evolución ha permitido su incorporación en aplicaciones como Photoshop y la suite Substance 3D. Ahora, con Firefly Video Model, Adobe amplía estas capacidades a la generación de contenido en movimiento.

Funciones clave de Firefly Video Model

Este nuevo modelo de IA ofrece herramientas avanzadas para la producción audiovisual, permitiendo la creación y extensión de secuencias de video. Entre sus principales características destacan:

Generative Extend: extiende clips existentes generando fotogramas adicionales al inicio o al final de la secuencia, además de crear tonos de ambiente en el audio.
Image to Video: transforma imágenes de referencia en clips de video animados, a partir de ilustraciones conceptuales o fotografías.
Text to Video: permite generar videos a partir de descripciones escritas, con opciones para ajustar propiedades de cámara como zoom, posición y tipo de movimiento.
Aplicaciones en video y animación

Si bien el modelo de IA de Firefly puede generar tanto animaciones en 2D como en 3D, su uso principal se enfoca en la creación de videos de apariencia naturalista. Adobe ha destacado su capacidad para recrear paisajes, entornos naturales y elementos de la fauna y flora. Sin embargo, también puede utilizarse para generar efectos visuales como fuego, humo o polvo, ideales para proyectos de composición y motion graphics.

Limitaciones y casos de uso actuales

A pesar de su potencial, las herramientas de video generativo aún presentan desafíos en términos de coherencia temporal y estilística. Por ello, Adobe sugiere que su modelo se utilice principalmente para complementar material rodado de manera convencional, funcionando como un generador de material de stock AI para tomas de relleno o planos de establecimiento.

Controles para los usuarios

Firefly Video Model ofrece varias opciones para personalizar el contenido generado. Los usuarios pueden definir el aspect ratio del video (16:9 o 9:16), elegir entre distintos tipos de plano (desde primeros planos hasta planos generales), ajustar el ángulo de cámara (incluyendo tomas aéreas) y aplicar movimientos de cámara predefinidos, como tomas en mano.

Integración en Premiere Pro y After Effects

Actualmente, Firefly Video Model está disponible en versión beta dentro de la web de Firefly y en compilaciones de prueba de Premiere Pro, donde ya incorpora la función Generative Extend. Adobe también ha mencionado su posible integración en After Effects, aunque aún no se ha confirmado una fecha de lanzamiento.

Un modelo de IA entrenado con contenido autorizado

Adobe ha asegurado que Firefly Video Model ha sido entrenado exclusivamente con contenido del que posee derechos o permiso de uso. En 2024, la compañía actualizó sus Términos de Uso para dejar claro que no utiliza contenido de los usuarios, excepto aquel subido a su plataforma de stock Adobe Stock, para entrenar modelos de IA.



Disponibilidad y modelo de precios

Firefly Video Model, al igual que otras herramientas de Firefly, opera bajo un sistema de créditos, lo que significa que el acceso y uso de la IA dependerá del plan de suscripción elegido por el usuario.