Reconstruir manos a partir de imágenes RGB

Un nuevo enfoque para reconstruir manos a partir de imágenes RGB. Este modelo definitivamente puede ayudar a los desarrolladores de AR (realidad aumentada).

¿Estás especializado en proyectos de realidad aumentada? Si es así es posible que te guste esta nueva investigación, centrada en la recreación de manos a partir de imágenes RGB, que se discutió originalmente en el documento "Hacia una alineación precisa en la reconstrucción de malla manual 3D en tiempo real" y luego se presentó en ICCV 2021.

La reconstrucción 3D de malla de manos a partir de imágenes RGB se puede usar en diferentes casos, incluidas las experiencias de realidad aumentada y realidad mixta, pero la tarea requiere velocidad en tiempo real, pose de mano precisa, además de una alineación plausible de la imagen de malla, y cumplir con los tres generalmente resulta todo un desafío para los desarrolladores.

Reconstruir manos a partir de imágenes RGB

El equipo de Xiao Tang, Tianyu Wang, Chi-Wing Fu ofrecen dividir la tarea de reconstrucción de malla manual en tres etapas.

La primera etapa conjunta para predecir las articulaciones de la mano y la segmentación.
La segunda etapa de malla para predecir una malla de mano áspera.
La tercera crea un escenario de refinamiento para ajustarlo con una malla offset para la alineación de la imagen de malla.

Con un diseño cuidadoso en la estructura de la red y en las funciones de pérdida, podemos promover la alineación de malla e imagen a nivel de dedos de alta calidad e impulsar los modelos juntos para ofrecer predicciones en tiempo real.

Los extensos resultados cuantitativos y cualitativos en los conjuntos de datos de referencia demuestran que la calidad de los resultados supera los métodos de vanguardia en la precisión de la malla, pose y alineación de la imagen de la mano.

Puedes ver el documento completo en la Cornell University, como no, y encontrar el código en GitHub.

Archivo adjunto 240681