Conoce a la startup que ayudó a Microsoft a construir el mundo de Flight Simulator – TechCrunch


El nuevo simulador de vuelo de Microsoft es una maravilla tecnológica que establece un nuevo estándar para el género. Para crear un mundo que se sienta real y vivo, y que tenga miles de millones de edificios en los lugares correctos, Microsoft y Asobo Studios han confiado en el trabajo de varios socios.

Una de ellas es la pequeña startup austriaca Blackshark.ai de Graz. Con un equipo de solo 50 empleados, hemos recreado todas las ciudades del mundo utilizando inteligencia artificial y recursos informáticos masivos en la nube.

Antes de lanzar el nuevo simulador de vuelo, nos sentamos con Blackshark Co. – Fundador y CEO Michael Putz sobre la colaboración con Microsoft y la visión más amplia de la compañía.

Créditos de las fotos: Microsoft

Blackshark es en realidad un derivado del estudio de juegos Bongfish, el creador de World of Tanks: Frontline, Motocross Madness y la serie de juegos de snowboard Stoked. Como me dijo Putz, en realidad fue Stoked lo que hizo que la empresa se moviera hacia Blackshark.

"Uno de los primeros juegos que hicimos en 2007 fue un juego de snowboard llamado Stoked and S Stoked Bigger Edition. Desde los primeros juegos con una montaña completa de 360 ​​grados donde vuelas en un helicóptero y te bajas, puede aterrizar y hundirse en cualquier lugar ”, explicó. “La montaña en sí fue construida y descrita de forma procedimental, y la colocación de obstáculos de vegetación, otros practicantes de snowboard y animales pequeños también se llevó a cabo de forma procedimental. Luego nos adentramos más en el género de carreras, disparos y conducción, pero todavía teníamos esa idea de posición y descripción en el fondo de nuestras mentes. “

Bongfish volvió a esta idea cuando trabajaba en World of Tanks, simplemente por el tiempo que lleva hacer un mapa tan grande con cada piedra colocada a mano.

Basado en esta experiencia, Bongfish comenzó a construir un equipo interno de IA. Este equipo utilizó una serie de técnicas de aprendizaje automático para crear un sistema que pudiera aprender de cómo los diseñadores crean mapas y luego, en algún momento, crear sus propios mapas creados por la IA. De hecho, el equipo usó esto para algunos de sus proyectos antes de que Microsoft entrara en escena.

“Por casualidad conocí a alguien de Microsoft que buscaba un estudio para ayudarlos con el nuevo simulador de vuelo. La idea central del nuevo simulador de vuelo era utilizar Bing Maps como campo de juego, como mapa, como fondo ”, explicó Putz.

Los datos de fotogrametría de Bing Maps solo dieron como resultado réplicas exactas 1: 1 de 400 ciudades; estos datos no existen para la gran mayoría del planeta. Microsoft y Asobo Studios necesitaban un sistema para construir el resto.

Aquí es donde entra Blackshark. Para Flight Simulator, el estudio reconstruyó 1.500 millones de edificios a partir de imágenes de satélite en 2D.

Bueno, mientras Putz dice que conoció al equipo de Microsoft, hay algo más que eso. En ese momento, había un equipo de Bing Maps en Graz que desarrolló las primeras cámaras y versiones 3D de Bing Maps. Y mientras Google Maps ganó el mercado, Bing Maps venció a Google con sus mapas en 3D. Microsoft luego abrió un centro de investigación en Graz, y cuando cerró, Amazon y otros entraron para atraer talento local.

"Así que fue fácil para nosotros cubrir puestos como un doctorado en reconstrucción de techos", dijo Putz. "Ni siquiera sabía que existía, pero eso es exactamente lo que necesitábamos, y encontramos dos de ellos.

" Es fácil ver por qué reconstruir un edificio 3D a partir de un mapa 2D es difícil. No es fácil descubrir la estructura exacta de un edificio.

Créditos de las fotos: Blackshark.ai

"En el simulador de vuelo, básicamente miramos áreas, áreas 2D y luego determinamos las huellas de los edificios, lo que en realidad es una tarea de visión por computadora", dijo Putz. “Pero cuando un edificio se ve obstaculizado por la sombra de un árbol, en realidad necesitamos el aprendizaje automático porque entonces ya no está claro qué es parte del edificio y qué no lo es, porque la sombra se superpone, pero luego el aprendizaje automático completa el resto de la parte Edificio. Este es un ejemplo muy simple. “

Blackshark pudo confiar en algunos otros datos, incluidas fotos, datos de sensores y datos de mapas existentes, pero necesita determinar la altura del edificio y algunas de sus características basándose en muy poca información.

El siguiente problema obvio es encontrar la altura de un edificio. Con datos GIS, este problema es fácil de resolver. Sin embargo, en la mayoría de las regiones del mundo, estos datos simplemente no están presentes o no están disponibles. Para estas áreas, el equipo toma la imagen 2D y busca pistas como sombras en la imagen. Sin embargo, para determinar la altura de un edificio a partir de una sombra, necesita la hora del día y las imágenes de Bing Maps no tienen marca de tiempo. Para otros casos de uso en los que la empresa está trabajando, Blackshark tiene eso y eso facilita mucho las cosas. Y ahí es donde entra de nuevo el aprendizaje automático.

Crédito de la foto: Blackshark.ai

"El aprendizaje automático adopta un enfoque ligeramente diferente", señaló Putz. "También mira las sombras, creemos, porque es una caja negra, no sabemos realmente lo que está haciendo. Pero también cuando miras un techo plano, como un rascacielos en lugar de un centro comercial. Ambos tienen principalmente techos planos Techos, pero los muebles del techo en un rascacielos son diferentes a los de un centro comercial. Esto ayuda a la IA a aprender cuándo etiquetarlo correctamente ".

Cuando el sistema sabe que la altura promedio de un centro comercial en un área determinada suele ser tres Puede funcionar con él. [19659002] Una cosa sobre la que Blackshark es muy abierto es que su sistema comete errores, y cuando compras Flight Simulator encontrarás que hay errores obvios en la ubicación de algunos edificios. De hecho, Putz me dijo que cree que uno de los mayores desafíos del proyecto era sacar a los socios de desarrollo de la compañía y a Microsoft. convéncelos de que están utilizando este enfoque.

“Hablas de 1.500 millones de edificios. Ya no puede hacer preguntas y respuestas tradicionales sobre estos números. Y señalar con el dedo tradicional como una capa de halo o algo donde dices: "Este píxel no es bueno, arréglalo" no funciona realmente cuando estás evolucionando estadísticamente, como lo estás haciendo con la IA. Entonces, puede ser que el 20% de los edificios estén fuera de servicio, y ese es el caso en el simulador de vuelo en mi opinión, pero no hay otra forma de abordar este desafío ya que la subcontratación para modelar a mano 1.500 millones de edificios es solo el nivel logístico y presupuestario no es factible. “

Este sistema mejorará con el tiempo. Con Microsoft moviendo una gran cantidad de datos de Azure al juego, los usuarios seguramente verán cambios con el tiempo.

Créditos de las fotos: Blackshark.ai

Sin embargo, etiquetar es algo que el equipo debe hacer para entrenar al modelo, y esa es en realidad un área donde Blackshark ha hecho grandes avances, aunque Putz no diría demasiado al respecto porque es parte de la salsa secreta de la compañía y una de las principales razones por las que puede hacer todo esto con solo unas 50 personas.

"Las etiquetas de datos no eran una prioridad para nuestros socios", dijo. “Entonces usamos nuestro propio etiquetado en vivo para etiquetar todo el planeta por dos o tres personas. […] Esto le da al analista de datos una herramienta muy poderosa y una interfaz de usuario. Y si el analista de datos quiere reconocer un barco, le dice al algoritmo de aprendizaje qué es el barco y luego recibe inmediatamente una salida de los barcos reconocidos en una imagen de ejemplo. “

A partir de ahí, el analista puede entrenar el algoritmo para poder reconocer un determinado objeto como en este ejemplo un barco o un centro comercial en Flight Simulator aún mejor. Otras empresas de análisis geoespacial tienden a centrarse en nichos específicos, señaló Putz, mientras que las herramientas de la empresa son independientes del tipo de contenido que se analiza.

Crédito de la foto: Blackshark.ai

Y aquí está la visión más amplia de Blackshark entrando. Porque si bien la compañía ahora está ganando reconocimiento por su trabajo con Microsoft, Blackshark también está trabajando con otras compañías, por ejemplo, para reconstruir escenas de la ciudad para simulaciones de conducción autónoma.

"Nuestra visión más amplia es la digitalización casi en tiempo real. El gemelo de nuestro planeta, especialmente la superficie del planeta, abre un billón de casos de uso en los que la fotogrametría convencional como Google Earth o lo que Apple Maps no ayuda, ya que estos solo para fotografías basadas en estructuras geométricas simples. Para ello tenemos nuestro ciclo en el que extraemos información de datos aéreos, que pueden ser imágenes 2D, pero también recuentos de puntos 3D que ya están haciendo otro proyecto. Y luego visualizamos la semántica. “

Esta semántica, que describe el edificio con mucha precisión, tiene una gran ventaja sobre la fotogrametría: la información de la sombra y la luz se quema esencialmente en las imágenes, lo que dificulta volver a iluminar una escena de manera realista. Debido a que Blackshark sabe todo sobre el edificio que está construyendo, también puede colocar ventanas y luces en esos edificios, creando escenas nocturnas sorprendentemente realistas en Flight Simulator.

Las nubes de puntos, que no se utilizan en Flight Simulator, son otra área en la que Blackshark se está enfocando en este momento. Las nubes de puntos son muy difíciles de leer para los humanos, especialmente cuando te acercas mucho. Blackshark usa sus sistemas de inteligencia artificial para analizar nubes de puntos y averiguar cuántos pisos tiene un edificio.

“Toda la empresa se inició con la idea de que necesitamos tener una gran ventaja tecnológica para llegar allí y, en particular, para obtener de los videojuegos donde las grandes producciones como Assassin's Creed o GTA están ahora al máximo encontrado por miles de personas que trabajan en él. Esto es muy difícil de escalar, muy difícil de administrar en todos los continentes y da como resultado un producto que se entrega a tiempo. Para nosotros estaba claro que tendría que haber pasos más automatizados o semiautomatizados. “

Y aunque Blackshark se inició en los juegos, y mientras trabajaba en ello con Microsoft y Asobo Studios, en realidad no se trata de juegos, se trata de cosas como la conducción autónoma y el análisis geográfico. Putz señaló que otro gran ejemplo de esto es Unreal Engine, que comenzó como un motor de juego y ahora está en todas partes.

"Para mí, habiendo estado en la industria de los videojuegos durante mucho tiempo, es muy alentador verlo porque cuando se desarrollan juegos, se sabe lo innovadora que es la tecnología en comparación con otras industrias", dijo Putz. “Y cuando miras simuladores, simuladores militares o simuladores industriales, siempre se ven como una mierda en comparación con lo que tenemos en los juegos de conducción. Y es hora de que las tecnologías de juegos se expandan fuera de la pila de juegos y ayuden a todas estas otras industrias. Creo que Blackshark es uno de esos ejemplos para hacer esto posible. "

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *