Sistema de seguimiento de manos en tiempo real para VR
La división de investigación de Facebook propone un nuevo enfoque para el seguimiento de las manos frente a la realidad virtual. Para ello ha mostrado un sistema de seguimiento manual en tiempo real que está destinado a experiencias de realidad virtual y aumentada.
Utilizando cuatro cámaras monocromáticas ojo de pez, este sistema genera movimiento de manos 3D preciso y de baja fluctuación a través de un gran volumen de trabajo para un conjunto diverso de usuarios, lo consiguen gracias a arquitecturas de redes neuronales para detectar las manos y estimar ubicaciones de puntos clave de mano.
La división de investigación afirma que diseñaron mecanismos escalables y semiautomáticos para recopilar un conjunto grande y diverso de datos de verdad sobre el terreno utilizando una combinación de anotación manual y seguimiento automatizado. También utilizaron un método de detección por seguimiento para aumentar la suavidad al tiempo que reducen el costo computacional, el sistema optimizado se ejecuta a 60 Hz en PC y 30 Hz en un procesador móvil.
Al proyecto lo han bautizado como MEgATrack, podemos ver una muestra de su uso en el video, y si quieres más información puedes ir a la web oficial del proyecto.
https://youtu.be/zO87Dj8COsA
