Demasiados investigadores de IA consideran que los problemas reales son irrelevantes


Cualquier investigador que se haya centrado en aplicar el aprendizaje automático a problemas del mundo real probablemente haya recibido una respuesta como esta: "Los autores encuentran una solución a un problema original y muy motivador, pero es una aplicación, y eso La importancia parece estar limitada a la comunidad de aprendizaje automático. “

Estas palabras provienen directamente de una reseña que recibí sobre un artículo que presenté a la conferencia NeurIPS (Sistemas de procesamiento de información neuronal), uno de los principales lugares de aprendizaje automático. He visto el coro una y otra vez en reseñas de artículos en los que mis coautores y yo presentamos un método que está motivado por una aplicación, y he escuchado historias similares de muchos otros.

Eso me hace preguntar: Si la comunidad siente esto El objetivo de resolver problemas del mundo real de forma eficaz con el aprendizaje automático tiene una importancia limitada. Entonces, ¿qué estamos tratando de lograr?

El objetivo de la inteligencia artificial (pdf) es ampliar los límites de la inteligencia de las máquinas. En el aprendizaje automático, un nuevo desarrollo generalmente significa un nuevo algoritmo o procedimiento o, en el caso del aprendizaje profundo, una nueva arquitectura de red. Como han señalado otros, este hiperenfoque en la metodología novedosa conduce a una gran cantidad de publicaciones que informan mejoras menores o incrementales en los conjuntos de datos de referencia y que tienen ciencia defectuosa (pdf) a medida que los investigadores compiten por la cima del ranking.

En la actualidad, hay muchas publicaciones que describen nuevas aplicaciones que presentan conceptos novedosos y resultados poderosos. Pero incluso una referencia a la palabra "solicitud" parece estropear el artículo para los revisores. Como resultado, esta investigación está marginada en grandes conferencias. La única esperanza real de sus autores es que sus contribuciones sean aceptadas en talleres que rara vez reciben la misma atención de la comunidad.

Este es un problema porque el aprendizaje automático es muy prometedor para promover la salud, la agricultura, los descubrimientos científicos y más. La primera imagen de un agujero negro se creó mediante aprendizaje automático. Las predicciones más precisas de las estructuras de las proteínas, un paso importante en el descubrimiento de fármacos, se realizan mediante el aprendizaje automático. Si otros en el campo hubieran priorizado las aplicaciones del mundo real, ¿qué otros descubrimientos revolucionarios hubiéramos hecho hasta ahora?

Esta no es una divulgación nueva. Para citar un artículo clásico titulado "Machine Learning That Matters" (pdf) del científico informático de la NASA Kiri Wagstaff: "Gran parte de la investigación actual sobre el aprendizaje automático ha perdido su conexión con los problemas que afectan al mundo científico en general. y la sociedad importa ”. El mismo año que Wagstaff publicó su artículo, una red de convolución llamada AlexNet ganó un concurso de reconocimiento de imágenes de alto perfil que se centró en el popular conjunto de datos ImageNet, lo que provocó una explosión de interés en el aprendizaje profundo. Desafortunadamente, la interrupción que describió parece haber empeorado desde entonces.

Las preguntas equivocadas

La marginación de la investigación de aplicaciones tiene consecuencias reales. Los conjuntos de datos de referencia, como ImageNet o COCO, fueron la clave para un mayor desarrollo del aprendizaje automático. Permiten a los algoritmos entrenar y comparar los mismos datos con ellos. Sin embargo, estos conjuntos de datos contienen distorsiones que se pueden incorporar a los modelos resultantes.

Más de la mitad de las imágenes de ImageNet (pdf) proceden de Estados Unidos y Gran Bretaña, por ejemplo. Este desequilibrio lleva a los sistemas a clasificar las imágenes en categorías geográficamente diferentes (pdf). Los registros de rostros populares, como la base de datos de rostros de AT&T, contienen principalmente sujetos masculinos de piel clara, lo que da como resultado sistemas que tienen dificultades para reconocer rostros de piel oscura y mujeres.

Mientras los investigadores tratan de superarse unos a otros en los puntos de referencia inventados, cada novena persona en el mundo se muere de hambre.

Cuando los estudios de aplicaciones de aprendizaje automático del mundo real se excluyen de la corriente principal, es difícil para los investigadores ver los efectos de sus modelos sesgados, por lo que es mucho menos probable que funcionen para resolver estos problemas.

Una razón para minimizar la investigación de aplicaciones podría ser que otros en el aprendizaje automático creen que este trabajo consiste simplemente en aplicar métodos existentes. En realidad, sin embargo, adaptar las herramientas de aprendizaje automático a problemas específicos del mundo real requiere un trabajo algorítmico y de ingeniería significativo. Los investigadores de aprendizaje automático que no reconocen esto y esperan que las herramientas "listas para usar" funcionen a menudo crean modelos ineficaces. O evalúan el rendimiento de un modelo en comparación con métricas que no afectan su impacto en el mundo real o eligen el objetivo incorrecto en general.

Por ejemplo, la mayoría de los estudios que aplican el aprendizaje profundo al análisis de ecocardiograma intentan superar la capacidad de un médico para predecir enfermedades. Sin embargo, predecir la función cardíaca normal (pdf) ahorraría más tiempo a los cardiólogos al identificar a los pacientes que no necesitan su experiencia. Muchos estudios que aplican el aprendizaje automático a la viticultura tienen como objetivo optimizar el rendimiento de la uva (pdf), pero los productores de vino quieren "las cantidades adecuadas de azúcar y ácido, no solo muchas bayas grandes y acuosas", dice Drake Whitcraft de Whitcraft. Bodega en California.

Más daño que bien

Otra razón por la que la investigación de aplicaciones debería ser importante para el aprendizaje automático convencional es que los conjuntos de datos de referencia del sujeto están absolutamente fuera de contacto con la realidad.

Los nuevos modelos de aprendizaje automático se miden en grandes conjuntos de datos seleccionados que carecen de ruido y tienen categorías bien definidas y etiquetadas explícitamente (gato, perro, pájaro). El aprendizaje profundo se adapta bien a estos problemas, ya que supone un mundo en gran parte estable (pdf).

En el mundo real, sin embargo, estas categorías cambian constantemente con el tiempo o según el contexto geográfico y cultural. Desafortunadamente, la respuesta no fue desarrollar nuevos métodos para abordar las dificultades de los datos reales. Más bien, los investigadores de aplicaciones tenían la necesidad de crear sus propios conjuntos de datos de referencia.

El objetivo de este esfuerzo es esencialmente incorporar los problemas del mundo real al paradigma que utilizan otros investigadores de aprendizaje automático para medir el rendimiento. Sin embargo, los conjuntos de datos específicos del dominio probablemente no sean mejores que las versiones existentes para representar escenarios del mundo real. Los resultados podrían hacer más daño que bien. Las personas a las que el trabajo de estos investigadores pueda haber ayudado se desilusionarán con las tecnologías que funcionan mal cuando se trata de ellas.

Debido a las prioridades equivocadas del tema, las personas que intentan resolver los mayores desafíos del mundo se benefician menos de la promesa real de la IA. Mientras los investigadores intentan superarse entre sí en los puntos de referencia inventados, una de cada nueve personas en el mundo se muere de hambre. La tierra se está calentando y el nivel del mar está aumentando a un ritmo alarmante.

Como escribió una vez el neurocientífico y líder intelectual de IA Gary Marcus (pdf): “Las mayores contribuciones de la IA a la sociedad … podrían y deberían tener lugar en última instancia en áreas como el descubrimiento científico automatizado, entre otras cosas en la dirección de versiones mucho más sofisticadas de la medicina que las actuales posible. Pero para llegar allí, primero debemos asegurarnos de que todo el campo no se atasque en un mínimo local. “

Para que el mundo se beneficie del aprendizaje automático, la comunidad debe preguntarse nuevamente, como dijo una vez Wagstaff:" ¿Cuál es la función objetiva del campo? " Si la respuesta es tener un impacto positivo en el mundo, debemos cambiar nuestra forma de pensar sobre las aplicaciones.

Hannah Kerner es investigadora en la Universidad de Maryland en College Park. Investiga métodos de aprendizaje automático para aplicaciones de teledetección en vigilancia agrícola y seguridad alimentaria como parte del programa de cosecha de la NASA .

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *