El inicio permite el aprendizaje profundo sin hardware especial


Las GPU en su mayoría eran el hardware elegido para el aprendizaje profundo. Los chips fueron diseñados originalmente para representar gráficos rápidamente en aplicaciones como los videojuegos. A diferencia de las CPU con cuatro a ocho núcleos complejos para una variedad de cálculos, las GPU tienen cientos de núcleos simples que solo pueden realizar ciertas operaciones. Sin embargo, los núcleos pueden realizar sus operaciones simultáneamente y no en sucesión, lo que acorta el tiempo y no lleva mucho tiempo completar un cálculo intensivo.

No pasó mucho tiempo antes de que la comunidad de investigación de IA se diera cuenta de que esta paralelización masiva hizo que las GPU también fueran excelentes para el aprendizaje profundo. Al igual que la representación gráfica, el aprendizaje profundo implica cálculos matemáticos simples que se realizan cientos de miles de veces. En 2011, en colaboración con el fabricante de chips Nvidia, Google descubrió que un modelo de visión por computadora entrenado en 2,000 CPU para distinguir a los gatos de los humanos podría lograr el mismo rendimiento cuando se entrena en solo 12 GPU. Las GPU se han convertido en el chip de facto para la capacitación e inferencia de modelos: el proceso de computación que tiene lugar cuando se usa un modelo entrenado para las tareas para las que fue entrenado.

Sin embargo, las GPU tampoco son perfectas para el aprendizaje profundo. Por un lado, no pueden actuar como un chip independiente. Debido a que los tipos de operaciones que pueden realizar son limitados, deben estar conectados a las CPU para hacer todo lo demás. Las GPU también tienen una cantidad limitada de memoria caché, el área de almacenamiento de la fecha más cercana a los procesadores de un chip. Esto significa que la mayoría de los datos se almacenan fuera del chip y deben recuperarse cuando llega el momento de procesar. El flujo de datos de ida y vuelta es un cuello de botella para el cálculo y limita la velocidad con la que las GPU pueden ejecutar algoritmos de aprendizaje profundo.

  Oficina de Magia Neural.
Oficina de Magia Neural.

MAGIA NEURAL [19659007] En los últimos años, han surgido docenas de compañías para desarrollar chips de IA que resuelvan estos problemas. El problema es que cuanto más especializado es el hardware, más caro se vuelve.

Neural Magic tiene la intención de oponerse a esta tendencia. En lugar de jugar con el hardware, la compañía modificó el software. Los algoritmos de aprendizaje profundo se han rediseñado para funcionar de manera más eficiente en una CPU mediante el uso de la gran memoria disponible y los núcleos complejos de los chips. Si bien el enfoque pierde la velocidad lograda al paralelizar una GPU, se informa que está recuperando aproximadamente la misma cantidad de tiempo, ya que ya no es necesario transferir datos hacia y desde el chip. Los algoritmos se pueden ejecutar en CPU "a velocidad de GPU", pero a una fracción del costo. "Parece que encontraron una manera de usar la memoria de la CPU de una manera que la gente no tenía antes", dice Thompson.

Neural Magic cree que puede haber algunas razones por las que no, este enfoque se ha elegido antes. Primero, no es intuitivo. La idea de que el aprendizaje profundo requiere un hardware especial está tan arraigada que otros enfoques pueden pasarse por alto fácilmente. En segundo lugar, el uso de IA en la industria todavía es relativamente nuevo, y las empresas solo buscan formas más fáciles de usar algoritmos de aprendizaje profundo. Sin embargo, todavía no está claro si la demanda es lo suficientemente baja como para que despegue Neural Magic. La compañía ha probado beta su producto con alrededor de 10 compañías, solo parte de la industria más amplia de IA.

"No solo queremos mejorar las redes neuronales, sino también la informática en su conjunto".

Neil Thompson

Neural Magic actualmente ofrece su técnica para derivar tareas en el procesamiento de imágenes. Los clientes aún necesitarán entrenar sus modelos en hardware especial, pero luego pueden usar el software Neural Magic para convertir el modelo entrenado a un formato compatible con CPU. Un cliente, un importante fabricante de dispositivos de microscopía, actualmente está probando este enfoque para agregar la funcionalidad de IA al microscopio en el dispositivo, dice Shavit. Como los microscopios ya están equipados con una CPU, no requieren ningún hardware adicional. Por el contrario, el uso de un modelo de aprendizaje profundo basado en GPU requeriría que los dispositivos sean voluminosos y necesiten mucha energía.

Otro cliente quiere usar Neural Magic para procesar imágenes de cámaras de vigilancia. Esto le permitiría monitorear el tráfico dentro y fuera de un edificio utilizando computadoras que ya están disponibles en el sitio. De lo contrario, es posible que sea necesario enviar el metraje a la nube, lo que puede generar problemas de privacidad, o puede ser necesario comprar hardware especial para cada edificio que supervisa.

Según Shavit, la inferencia es solo el comienzo. Neural Magic planea expandir su oferta en el futuro para ayudar a las empresas a entrenar sus modelos de IA en CPU . "Creemos que las CPU serán la estructura real para ejecutar algoritmos de aprendizaje automático en 10 a 20 años", dice.

Thompson no está tan seguro. "La economía de la producción de chips realmente ha cambiado, y eso dará como resultado una especialización mucho mayor", dice. Si bien la tecnología Neural Magic hace que el hardware existente sea más potente, los avances fundamentales del hardware seguirán siendo la única forma de avanzar en la informática. "Eso suena como una muy buena manera de mejorar el rendimiento en redes neuronales", dice. "Pero no solo queremos mejorar las redes neuronales, también queremos mejorar la informática en general".

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *