La última tecnología de inteligencia artificial de Meta mejora la inmersión en video de realidad virtual

Imagen: Meta

Meta muestra HyperReel, una nueva forma de almacenar y renderizar video 6-DoF. HyperReel podría usarse en aplicaciones AR y VR.

Durante años, los videos 3D de 180° o 360° han sido la culminación de muchos esfuerzos para producir los videos más inmersivos posibles para la realidad virtual. Mejores cámaras y resoluciones más altas están disponibles.

Pero aún no se ha dado un paso importante: videos inmersivos de seis grados de libertad (6-DoF)que permiten cambiar la posición de la cabeza en el espacio además de la dirección de la mirada.

Ya ha habido intentos tempranos de hacer que estos videos particularmente inmersivos sean adecuados para el consumo masivo, como la tecnología Lightfields de Google o experimentos con videos volumétricos como el video de Joshua Bell de Sony.

En los últimos tiempos, la investigación se ha centrado cada vez más en los métodos de «síntesis de vista». Estos son métodos de IA que pueden generar nuevos conocimientos en un entorno. Los campos de radiación neural (NeRF) son un ejemplo de dicha técnica. Aprenden representaciones en 3D de objetos o escenas completas de un video o muchas fotos.

El video 6-DoF debe ser rápido, de alta calidad y escaso.

A pesar de los muchos avances en la síntesis de vistas, ningún método proporciona representaciones de alta calidad que se representen simultáneamente de forma rápida y requieran poca memoria. Por ejemplo, incluso con los métodos actuales, sintetizar una imagen de un solo megapíxel puede llevar casi un minuto, mientras que las escenas dinámicas requieren rápidamente terabytes de memoria. Además, capturar los reflejos y la refracción es un gran desafío.

Investigadores de la Universidad Carnegie Mellon, Reality Labs Research, Meta y la Universidad de Maryland ahora están demostrando hiperreelun método eficiente en memoria que puede realizar una representación en tiempo real de alta resolución.

Para hacer esto, el equipo se basa en una red neuronal que aprende a tomar rayos como parámetros de entrada y salida, como el color, para un conjunto de primitivas geométricas y vectores de desplazamiento. El equipo confía en la predicción de estos primitivos geométricos en la escena, como planos o esferas, y calcula intersecciones entre rayos y primitivas geométricas, en lugar de los cientos de puntos a lo largo de la trayectoria del rayo que son comunes en los NeRF.

Además, el equipo utiliza un método eficiente en memoria para generar escenas dinámicas con una alta relación de compresión e interpolación entre fotogramas individuales.

Metas HyperReel alcanza entre 6,5 y 29 fotogramas por segundo

La calidad de las escenas dinámicas y estáticas que se muestran supera a la mayoría de los otros enfoques. El equipo logra entre 6,5 y 29 cuadros por segundo en una GPU Nvidia RTX 3090, según la escena y el tamaño del modelo. Sin embargo, los 29 fps actualmente solo son posibles con el modelo Tiny, que ofrece resoluciones significativamente más bajas.

Vídeo: Meta

Vídeo: Meta

A diferencia de NeRFPlayer, HyperReel no es adecuado para la transmisión. Según Meta, esta sería una solución fácil porque el tamaño del archivo es pequeño: NeRFPlayer requiere alrededor de 17 megabytes por cuadro, Immersive Light Field Video de Google 8,87 megabytes por cuadro e HyperReel solo 1,2 megabytes.

HyperReel aún no es adecuado para aplicaciones de realidad virtual en tiempo real, donde idealmente se deben representar al menos 72 fotogramas por segundo en estéreo. Sin embargo, dado que el método se implementa en PyTorch estándar, se podría lograr un aumento significativo de la velocidad en el futuro con un esfuerzo técnico adicional, dijo Meta.

Más información, ejemplos y código están disponibles en GitHub.

Nota: Los enlaces a las tiendas en línea en los artículos pueden ser los llamados enlaces de afiliados. Si compras a través de este enlace, MIXED recibe una comisión del proveedor. Para ti, el precio no cambia.