Experimentando con campos de luz

Paul Debevec es el investigador de Google VR, ha publicado un artículo interesante en su investigación experimentando con los campos de luz.

Siempre hemos creído en el poder de la realidad virtual para llevarte a lugares. Es por eso que creamos Expeditions, para transportar personas de todo el mundo a cientos de lugares increíbles, difíciles de alcanzar o imposibles de visitar. Es por eso que lanzamos Jump, que permite a los creadores profesionales filmar bellas escenas en video estereoscópico de 360 ​​VR, y es por eso que presentamos VR180, un nuevo formato para cualquier persona, incluso aquellos que no están familiarizados con la tecnología VR, para capturar momentos especiales dé la vida.

Pero para crear la sensación de presencia más realista, lo que mostramos en realidad virtual debe ser lo más cercano posible a lo que verías si estuvieras realmente allí. Cuando estás realmente en un lugar, el mundo reacciona hacia ti mientras mueves tu cabeza: la luz rebota en las superficies de diferentes maneras y ves las cosas desde diferentes perspectivas. Para ayudar a crear este sentido de presencia más realista en realidad virtual, hemos estado experimentando con campos de luz.

Los campos claros son un conjunto de algoritmos avanzados de captura, costura y representación. Se necesita mucho más trabajo, pero crean capturas que le dan una sensación de presencia de alta calidad produciendo paralaje en movimiento y texturas e iluminación extremadamente realistas. Para demostrar el potencial de esta tecnología, lanzamos Bienvenido a Light Fields, una aplicación gratuita disponible en Steam VR para auriculares HTC Vive, Oculus Rift y Windows Mixed Reality. Echemos un vistazo a cómo funciona.

Capturando y procesando un campo de luz
Con los campos claros, los objetos cercanos parecen estar cerca de usted; al mover la cabeza, parecen desplazarse mucho. Los objetos lejanos se desplazan menos y la luz se refleja en los objetos de forma diferente, por lo que obtienes una indicación clara de que estás en un espacio tridimensional. Y cuando se ve a través de un auricular VR que admite el seguimiento posiciónal, los campos de luz pueden permitir algunas experiencias de realidad virtual realmente sorprendentes basadas en imágenes capturadas en el mundo real.

Esto es posible porque un campo de luz registra todos los diferentes rayos de luz que entran en un volumen de espacio. Para grabarlos, modificamos una cámara GoPro Odyssey Jump, doblándola en un arco vertical de 16 cámaras montadas en una plataforma giratoria.

Archivo adjunto 226184

Izquierda: un video de lapso de tiempo de la grabación de un campo de luz esférico en la cubierta de vuelo del transbordador espacial Discovery.
Derecha: la representación del campo de luz nos permite sintetizar nuevas vistas de la escena en cualquier lugar dentro del volumen esférico al muestrear e interpolar los rayos de luz grabados por las cámaras en la plataforma.

La plataforma de la cámara tarda alrededor de un minuto en balancearse y registrar unos mil puntos de vista exteriores en una esfera de 70 cm. Esto nos da un volumen de rayos de luz de dos pies de diámetro ancho, que determina el tamaño del espacio de cabeza en el que los usuarios deben apoyarse para explorar las escenas una vez que se procesan. Para representar las vistas de los auriculares, se toman muestras de los rayos de la luz desde las posiciones de la cámara en la superficie de la esfera para construir vistas nuevas desde el interior de la esfera para que coincida con la forma en que el usuario mueve la cabeza. Están alineados y comprimidos en un archivo de conjunto de datos personalizado que se le con un software de representación especial que hemos implementado como un complemento para él motor de juegos de Unity.

Archivo adjunto 226186
Grabando el mundo con campos de luz
Elegimos algunos lugares especiales para probar nuestro equipo de cámara de grabación de campo ligero. Nos encantan los interiores barnizados de teca y caoba en Gamble House en Pasadena, los fragmentos de cerámica brillante y los espejos brillantes que, adornan la Mosaic Tile House en Venecia, y el vitral lleno de sol en la Iglesia de San Esteban en Granada Hills. Lo mejor de todo es que el Museo del Aire y el Espacio del Instituto Smithsonian y la Oficina de Digitalización 3D nos dieron acceso al Discovery espacial de la nASA, proporcionando la vista de un astronauta dentro de la plataforma de vuelo del orbitador que nunca ha estado abierta al público. Y cerramos con la grabación de una variedad de campos ligeros de personas, experimentando cómo se puede hacer que el contacto visual funcione en una experiencia de 6 grados de libertad.
Prueba: Bienvenido a Light Fields
El video de realidad virtual es una tecnología prometedora para explorar el mundo, y si bien todavía son un experimento, los campos de luz muestran un nuevo nivel de cuán convincentes pueden ser las experiencias de realidad virtual. Esperamos que disfrute de nuestra experiencia de Bienvenido a Light Fields, disponible ahora en Steam VR. Realice la visita guiada de siete minutos para obtener más información sobre la tecnología y las ubicaciones, y luego tómese su tiempo para explorar los espacios en la Galería. Esto es solo el comienzo, y aún queda mucho por hacer, pero estamos entusiasmados con este paso hacia una captura más realista de la realidad virtual.

Más información en Google AR y VR.