Escáner 3D personal con teléfono Android
Escáner 3D personal con teléfono Android. El CEO de KIRI Innovations, Jack Wang, revela cómo usando KIRI Engine, la aplicación de escaneo 3D de su compañía para teléfonos Android e iOS, se pueden convertir los objetos de su escritorio en un juego de plataformas 3D en Unreal Engine 5. El propio Jack Wang nos lo explica en primera persona, así que vamos a ello porque parece interesante.
Como muchos jugadores, siempre quise hacer mi propio juego, preferiblemente con un presupuesto bajo, un tiempo de producción corto y sin comprometer la calidad de los gráficos. Después de ver algunas demostraciones de Unreal Engine 5, supe que estaba preparado para asumir mi desafío.
Ahora, no soy un desarrollador de juegos, por lo que crear un juego de rol de mundo abierto definitivamente estaba fuera de lugar. Decidí optar por un juego de plataformas en 3D simple e incluir solo activos escaneados en 3D. Mi escritorio parecía un buen entorno candidato, con muchos obstáculos como un teclado, un mouse, un soporte para computadora, bolígrafos, libros, etc.
Para convertir estos objetos de la vida real en activos digitales 3D, utilicé KIRI Engine, la aplicación de fotogrametría para teléfonos Android e iOS en la que mi equipo y yo hemos estado trabajando durante el último año. Repasemos los pasos necesarios para crear un juego de plataformas 3D en UE5 con activos escaneados exclusivamente en 3D.
Paso 1: escaneo 3D de los objetos
Primero, reuní todos los objetos que quería escanear para mi juego: un teclado, un mouse, un pincel, algunos parlantes, el soporte de mi pantalla, un par de lámparas, un libro, algunas lentes de cámara y algunos elementos decorativos.
Uno por uno, escaneé los objetos con KIRI Engine. La aplicación funciona con fotogrametría, por lo que escanear simplemente consiste en tomar fotos (un mínimo de 20) de cada objeto desde diferentes ángulos. Me tomó alrededor de 30 minutos fotografiar 10 objetos y el procesamiento tomó alrededor de cinco minutos por objeto.
Elegí exportar los modelos 3D en formato OBJ para poder editar fácilmente cada mapa de textura si fuera necesario; También están disponibles otros formatos como USDZ, glTF y FBX.
Los objetos más fáciles de escanear en 3D decentes fueron las rebanadas de pastel decorativas y el adorno de la casa del conejo, ya que tienen muchos colores y detalles diferentes. Eso significa que hay mucha información para que la analice el algoritmo de fotogrametría.
El talco para bebés es mi forma favorita de preparar objetos complicados, como aquellos con superficies lisas y oscuras, para escanear en 3D. Es económico, fácil de aplicar y limpiar, y huele bien (¡para la mayoría de las personas!).
El objeto que más tiempo me llevó escanear fue el mouse de mi computadora: es de color oscuro y tiene una superficie muy suave (ambos son tipos de superficie desafiantes para muchos escáneres 3D), así que tuve que aplicarle talco para bebés. Al aplicar talco para bebés, tiza, spray matificante o incluso pasta de dientes, está agregando una capa adicional de puntos característicos para el escáner, ayudándolo a reconocer la forma del objeto 3D.
Paso 2: perfeccionar los escaneos
Los resultados fueron bastante limpios, en parte gracias a nuestro algoritmo de reducción de ruido basado en IA. Pero, como cualquier escaneo 3D sin procesar, algunos necesitaban algunos toques finales. La limpieza me tomó alrededor de una hora en total.
Para este caso de uso, lo principal que se necesitaba hacer con los modelos era cortar el plano: quitar las partes del escritorio que se habían escaneado junto con el objeto. Meshmixer es mi herramienta preferida para el corte plano, no solo porque es gratis, sino también porque rellena automáticamente los agujeros después de realizar cortes planos.
Paso 3: Planificación del juego
Ahora, es hora de planificar el juego. La misión que quería es simple: navegar y superar obstáculos para encontrar el tesoro (en este caso, el pequeño cubo azul). Así que creé un patio de juegos pequeño y simple dentro de Unreal Engine y dejé caer algunos obstáculos para dominarlo y ver cómo se veía.
UE5 ofrece un conjunto de diferentes plantillas de juegos. Por lo tanto, fue fácil descubrir cómo plantar un personaje y hacer que se moviera. Nuestro pequeño responde al hacer clic con el mouse y al arrastrar, aunque es un poco más difícil que jugar con los controles de teclado estándar.
Nombré al personaje principal en honor a Peter, nuestro director financiero.
Paso 4: Importar mis escaneos 3D en Unreal Engine 5
Una vez que estuve satisfecho con la plantilla, todo lo que quedaba por hacer era importar mis escaneos 3D limpios a UE5.
Para hacer esto, simplemente vaya al menú Importar dentro del Unreal Editor, seleccione sus archivos y dispare. Recomiendo importar los archivos uno a la vez para que sean más fáciles de administrar.
Importar mis escaneos 3D a Unreal Engine 5 fue muy sencillo. Cuando importas los modelos, sus texturas se cargan automáticamente. Haga clic en las miniaturas para ver las capturas de pantalla originales a tamaño completo.
Coloqué cada escaneo donde previamente había esbozado un obstáculo y terminé con una especie de recreación en 3D de mi escritorio, reinventado como un entorno de parkour interactivo.
Agregué algunos otros elementos a los objetos, como sonidos (hay un sonido de escritura cuando el personaje se mueve sobre el teclado) y establecí un entorno de iluminación tenue.
Paso 5: Jugar el juego
Este juego de plataformas en 3D tarda solo 45 segundos en completarse. Pero es un poco complicado en algunas áreas. Puedes echar un vistazo rápido a cómo resultó el juego terminado en el siguiente video:
Conclusión
Así es como creé un juego de plataformas en 3D en Unreal Engine con activos escaneados en 3D de KIRI Engine, nuestra aplicación de escaneo en 3D de fotogrametría para iOS y Android.
Si desea probarlo para sus propios proyectos, puede descargar KIRI Engine en App Store o en Google Play Store. ¡ Comparta sus escaneos con nosotros y con el servidor Discord de la comunidad KIRI !
Sobre el autor : Zheng Nan (Jack) Wang es el director ejecutivo y cofundador de KIRI Innovations, la compañía detrás de la aplicación de escaneo 3D KIRI Engine. Cuando no está codificando KIRI o escaneando en 3D, disfruta practicar Kendo, probar comidas nuevas y jugar videojuegos como Horizon Zero Dawn.
Visita el sitio web del motor KIRI.
Actualmente, hay varios teléfonos que permiten escanear en 3D
Actualmente, hay varios teléfonos que permiten escanear en 3D utilizando cámaras especiales o aplicaciones dedicadas. Algunos ejemplos de estos teléfonos son:
LG G8 ThinQ: Este teléfono cuenta con una cámara frontal especial que permite escanear en 3D mediante el uso de tecnología de tiempo de vuelo (ToF).
Asus Zenfone AR: Este teléfono cuenta con una cámara trasera con sensores de movimiento y profundidad, que permite escanear objetos en 3D.
Lenovo Phab 2 Pro: Este teléfono también cuenta con una cámara ToF en la parte trasera, que permite escanear objetos en 3D.
iPhone 12 Pro: Este teléfono cuenta con una cámara LiDAR, que permite escanear objetos en 3D de manera rápida y precisa.
Además de estos teléfonos, existen aplicaciones dedicadas que permiten escanear objetos en 3D utilizando la cámara de un teléfono Android o iPhone. Algunas de estas aplicaciones incluyen "Trnio", "Qlone", "Scandy Pro" y "3D Scanner App".
Es importante tener en cuenta que, si bien los teléfonos y aplicaciones mencionados permiten escanear objetos en 3D, la calidad y precisión de los modelos 3D pueden variar según el dispositivo y las condiciones de escaneo.
¿Qué puedo hacer con KIRI Engine?
Mrfunnysheep es un entusiasta usuario de KIRI Engine, una herramienta de escaneo 3D de Alemania. Su aventura en el mundo del escaneo tridimensional comenzó en 2020, después de ver un video en YouTube sobre la digitalización de un pueblo abandonado. Quedó fascinado con la idea de capturar fotografías y obtener modelos 3D, lo cual despertó su interés en el campo del escaneo 3D. Pronto se convirtió en un usuario habitual de KIRI Engine, a pesar de sus dudas iniciales acerca de una aplicación gratuita de escaneo 3D. Sin embargo, rápidamente quedó convencido de su precisión y utilidad al generar sus propios proyectos. Pero lo más importante de todo fue que descubrió la comunidad de KIRI Engine en Discord, donde se sintió como en casa.
Mrfunnysheep tiene un buen ojo para encontrar objetos que pueden ser escaneados, y gracias a su experiencia en fotografía, se encontró con una llamativa decoración en su jardín que decidió digitalizar. En cuanto al propósito de este escaneo en particular, Mrfunnysheep tiene como objetivo crear modelos 3D para que todos puedan disfrutar de ellos. Por ello, ha creado una página en Sketchfab donde comparte principalmente modelos gratuitos para que cualquiera pueda descargarlos.
El descubrimiento de KIRI Engine ocurrió mientras Mrfunnysheep buscaba aplicaciones en la App Store. Quedó intrigado de inmediato por su modelo de negocio que ofrece escaneo y exportación de forma gratuita. Sin perder tiempo, incorporó KIRI Engine a su flujo de trabajo junto con otros programas de escaneo. Ahora, espera poder crear escaneos aún más interesantes en el futuro y compartir videos útiles sobre juegos y escaneo 3D.
La magia de Lis Megalodon en la creación de activos de juego
Lis Megalodon (Pantalis) es una desarrolladora de juegos independiente de Grecia. Ella tiene un gran interés en la fotogrametría y aprovecha cada oportunidad para escanear objetos con su cámara, dron o teléfono inteligente. En esta exhibición, presenta su escaneo de la estatua del Titán de la Justicia, que se encuentra en dos partes debido a que su gato la derribó. A pesar de eso, ambos escaneos resultaron excelentes y tiene la intención de utilizarlos como objetos coleccionables en el desarrollo de 8push. Lis Megalodon convierte las piezas rotas en activos de juego con estilo.
Pantalis descubrió el motor KIRI mientras buscaba en la tienda de aplicaciones y se interesó por la funcionalidad de escaneo 3D que ofrecía. Los detalles de los modelos escaneados captaron su atención de inmediato, lo cual lo motivó a realizar su primer escaneo poco después de descargar la aplicación.
El artista está convencido de que la industria del escaneo 3D seguirá creciendo y ve una creciente demanda de aplicaciones de escaneo 3D poderosas y fáciles de usar, como KIRI Engine. No puede contener su emoción al presenciar el desarrollo continuo de esta industria y tecnología.
Cómo Sam utilizó KIRI Engine para llevar su afición por Warhammer 40k al siguiente nivel
Sam, un apasionado de Warhammer 40k con sede en el Reino Unido y conocido en línea como Moonkeymod, encontró una gran satisfacción en un juego llamado Kill Team durante el período de bloqueo por COVID-19. Debido a las restricciones del bloqueo, las interacciones en persona se vieron limitadas, lo que llevó a Sam a involucrarse en comunidades en línea donde se jugaban partidas en Tabletop Simulator.
Inicialmente, Sam utilizaba Blender para personalizar los activos 3D del juego y recurría a un software de fotogrametría de escritorio para realizar escaneos 3D. No obstante, después de descubrir KIRI Engine a través de un video en YouTube, decidió utilizarlo debido a su asequibilidad y facilidad de uso.
No solo Sam utilizó KIRI Engine para sus propios fines, sino que también lo dio a conocer en su comunidad de Discord, animando a otros a escanear sus propias colecciones. Aunque ha reducido su participación diaria en las modificaciones, Sam tiene planes de utilizar su suscripción a KIRI Pro para escanear los modelos de sus 19 equipos de Kill Team, que están casi completos.
Sam hace hincapié en que sus esfuerzos han sido voluntarios y tienen como objetivo apoyar a la comunidad en línea de Kill Team, siempre respetando los derechos de propiedad intelectual de Games Workshop. Gracias a sus acciones, entre otras, muchas personas han podido disfrutar del juego en un entorno en línea, demostrando el poder de la comunidad y herramientas como KIRI.
La pasión de Igor Witkowski por la escena 3D es construir mundos virtuales
Igor Witkowski, un experimentado artista 3D de Polonia, se ha dedicado a crear complejas escenas 3D durante varios años. Utilizando una combinación de escaneos 3D, activos y modelado 3D tradicional, ha desarrollado un enfoque único para dar vida a sus creaciones. Sus trabajos han sido destacados en un artículo de 80 Level en el pasado.
En sus escaneos, Igor suele recurrir a objetos industriales como cajas eléctricas, los cuales utiliza como detalles ornamentales en sus escenas. Sin embargo, de vez en cuando disfruta escanear personas, lo que le permite centrarse más en la iluminación y otros elementos de composición sin tener que modelarlos desde cero.
El objetivo principal de Igor con el escaneo 3D es construir una amplia y diversa biblioteca de activos. Este enfoque le garantiza tener un rico repositorio a su disposición, lo que aumenta la eficiencia en sus proyectos.
En su búsqueda de una aplicación de escaneo 3D sólida y compatible con Android, Igor descubrió KIRI Engine a través de un anuncio en Instagram. Durante los últimos dos años, se ha convertido en un usuario entusiasta, valorando la accesibilidad de la aplicación y la dinámica comunidad que existe en Discord.
Igor agradece las continuas actualizaciones y el desarrollo de KIRI Engine. Está ansioso por presenciar cómo evoluciona aún más como herramienta y producto, y expresa su gratitud por una aplicación que está disponible para casi todos y por la vibrante comunidad que se ha formado a su alrededor.
La exposición virtual de Jeremiah Krage y KIRI Engine
Jeremiah Krage, un artista dinámico con experiencia en performance e instalaciones inmersivas, está causando sensación en el mundo del arte con su innovador uso de KIRI Engine en su última exposición virtual, BALLAST. Esta exhibición multidimensional combina de manera perfecta piezas de arte físicas, como esculturas y pinturas de cerámica, con sus contrapartes digitales interactivas.
Krage recurrió al motor KIRI para dar vida digital a sus obras de arte físicas. Esta herramienta resultó fundamental para transformar las esculturas de Krage en formas digitales integrales, lo que permite a los espectadores explorar cada pieza en todas sus facetas.
BALLAST invita al público a un espacio de contemplación, donde pueden reflexionar sobre nuestra existencia cada vez más digital y el ritmo acelerado del cambio tecnológico. A través de esta exposición, Krage plantea preguntas que invitan a la reflexión sobre nuestra relación con nuestros cuerpos físicos en la era de la tecnología y cómo navegamos en medio del torbellino de los avances tecnológicos.
Anclado en la filosofía de encontrar el equilibrio en un panorama tecnológico turbulento, BALLAST encapsula la creencia de Krage en el valor perdurable de los objetos físicos, incluso cuando nos sumergimos más profundamente en los espacios virtuales. A través de su trabajo innovador, Krage no solo crea arte, sino que también genera conversaciones esenciales sobre nuestro lugar y propósito en un mundo digital en constante evolución.
Conclusiones de estas experiencias
Las experiencias de Mrfunnysheep, Lis Megalodon, Sam y Jeremiah Krage destacan la versatilidad y el poder del escaneo 3D y el uso de herramientas como KIRI Engine en diversos campos creativos.
Mrfunnysheep se sumergió en el escaneo 3D inspirado por la digitalización de un pueblo abandonado, encontrando en KIRI Engine una herramienta gratuita y precisa para generar sus propios proyectos. Además, descubrió una comunidad acogedora en Discord, lo que demuestra el impacto social y comunitario de estas tecnologías.
Lis Megalodon muestra cómo el escaneo 3D puede ser utilizado en el desarrollo de juegos, convirtiendo piezas rotas en activos de juego con estilo. Su dedicación a la fotogrametría y su habilidad para encontrar objetos interesantes para escanear han enriquecido su biblioteca de activos y han permitido que otros disfruten de sus modelos en Sketchfab.
Sam, también conocido como Moonkeymod, aprovechó KIRI Engine para llevar su afición por Warhammer 40k al siguiente nivel. La asequibilidad y facilidad de uso de esta herramienta lo convirtieron en un usuario entusiasta, y compartió sus experiencias con la comunidad de Discord, fomentando la colaboración y la creatividad en línea.
Jeremiah Krage utilizó KIRI Engine en su exposición virtual BALLAST, combinando arte físico con elementos digitales interactivos. Esta fusión entre lo físico y lo digital plantea preguntas sobre nuestra existencia en un mundo cada vez más tecnológico. Krage destaca el valor perdurable de los objetos físicos y cómo podemos encontrar equilibrio en un entorno digital en constante evolución.
En conjunto, estas experiencias demuestran el impacto positivo que el escaneo 3D y las herramientas como KIRI Engine tienen en diversas disciplinas artísticas y creativas, desde la fotografía y los juegos hasta el arte visual y las instalaciones inmersivas. Estas tecnologías no solo ofrecen nuevas posibilidades creativas, sino que también fomentan la comunidad, el intercambio de conocimientos y la exploración de ideas en un entorno digital en constante cambio.
Kiri Engine obtiene soporte para 3D Gaussian Splatting
Kiri Innovations ha actualizado Kiri Engine, su aplicación de escaneo 3D para dispositivos Android e iOS. En la actualización 3.0, se agregó soporte para la nueva técnica de reconstrucción 3D basada en IA, 3D Gaussian Splatting (3DGS), algo que Kiri Innovations afirma ser una novedad en Android. Con las actualizaciones más recientes, ahora es posible editar los datos 3DGS dentro de la aplicación para limpiar el escaneo y exportarlos en formato PLY u OBJ para su uso en aplicaciones DCC y motores de juegos.
Kiri Engine es una aplicación gratuita de escaneo 3D mejorada con IA para teléfonos Android y Apple, lanzada por primera vez en 2022. Inicialmente, era una herramienta de fotogrametría que reconstruía modelos 3D a partir de fotografías originales de objetos del mundo real, utilizando técnicas de inteligencia artificial para enmascarar objetos y eliminar ruido. Las actualizaciones recientes han añadido soporte para la reconstrucción de la superficie neuronal y el escaneo Lidar en dispositivos iOS.
La aplicación ahora admite la nueva técnica de reconstrucción 3D, símbolos gaussianos 3D, que crea y visualiza gaussianas 3D tanto en iOS como en Android. Esta técnica utiliza el aprendizaje automático para determinar el color correcto para cada punto, lo que resulta en una representación 3D de alta calidad y potencialmente rápida del objeto o escena escaneada.
En la versión 3.0, se añadió la capacidad de limpiar los datos 3DGS y exportarlos en formato PLY u OBJ. Las actualizaciones posteriores permitieron exportar los datos 3DGS en formato PLY y también agregaron soporte experimental para generar una malla a partir de datos 3DGS y exportarla en formato OBJ en aplicaciones DCC como Blender.
Kiri Engine 3.7 está disponible para Android 7.0 e iOS 15.0. La nueva funcionalidad 3DGS está disponible solo para usuarios con cuentas Pro pagas, mientras que la aplicación en sí se puede descargar de forma gratuita. Las cuentas básicas gratuitas incluyen fotogrametría, escaneo Lidar y captura de objetos, con la capacidad de exportar tres escaneos 3D desde la nube por semana.
Re: Escáner 3D personal con teléfono Android
La versión 3.10 de Kiri Engine permite a los usuarios con suscripción Pro crear escaneos más detallados, aumentando la resolución máxima de las texturas generadas de 4K a 8K. Además, se ha incrementado la duración máxima de los vídeos de fuente para el escaneo basado en IA, de dos a tres minutos. Entre las nuevas características Pro se incluyen el suavizado de texturas para reducir la variación espacial en la nitidez de las texturas y la opción de rehacer texturas tras recortar un escaneo. Todos los usuarios pueden ahora cambiar de lente de cámara al capturar imágenes para escaneos de fotogrametría, facilitando la captura tanto de la forma general de un objeto como de detalles cercanos.
kiri Engine 3.11 nuevo modo área para escanear entornos
La actualización 3.11 de Kiri Engine, exclusivamente para iOS, mejora la función de Captura de Objetos, permitiendo procesar escaneos localmente con la API de Captura de Objetos de Apple. Introduce el nuevo Modo Área de Captura de Objetos, diseñado para capturar secciones enteras de un entorno en lugar de objetos aislados. La implementación de Kiri Engine combina Lidar y fotogrametría, ofreciendo una reconstrucción de entornos más precisa que el anterior modo de Escaneo de Escena solo con Lidar, aunque con tiempos de procesamiento más largos.
Mallas de mejor calidad desde 3dgs
Con la versión 3.12, Kiri Engine mejora su conjunto de herramientas de 3D Gaussian Splatting (3DGS), proporcionando mallas de mayor calidad a partir de las nubes de puntos 3DGS raw. Ahora también es posible enmascarar los escaneos 3DGS, similar a lo que se hace en el conjunto de herramientas de fotogrametría de la app, para aislar el objeto de su fondo.
Escaneos 3dgs optimizados
La actualización 3.13 se centra nuevamente en 3DGS, mejorando la resolución y precisión del color de los escaneos, y reduciendo los tiempos de procesamiento y los tamaños de archivo 3DGS en aproximadamente un 50%. Además, se ha añadido la capacidad de usar tanto video como fotos estáticas como entrada para todos los métodos de escaneo de la app, con la excepción evidente del Lidar.
Desde su lanzamiento en 2022, Kiri Engine ha evolucionado de una herramienta de fotogrametría básica a una solución avanzada que emplea técnicas de IA para el enmascaramiento de objetos y la eliminación de ruido. Las actualizaciones recientes han incorporado el soporte para la Reconstrucción de Superficie Neuronal, 3D Gaussian Splatting y el escaneo con Lidar en dispositivos iOS.
