AI Weekly: el momento de enseñanza de un pionero del aprendizaje profundo sobre el sesgo de AI


Perdí la noción de cuántas veces escuché a alguien decir recientemente que Timnit Gebru salva el mundo. Su codirectora de ética de IA en Google, Margaret Mitchell, dijo que fue informada hace unos días cuando Gebru dirigió algunos eventos en Google alrededor de la carrera. Su trabajo con Joy Buolamwini, que identificó sesgos de raza y género en el reconocimiento facial, es en parte por qué los legisladores en el Congreso quieren prohibir el uso de la tecnología por parte del gobierno federal. Este trabajo también jugó un papel importante cuando Amazon, IBM y Microsoft acordaron detener o finalizar la venta de reconocimiento facial a la policía.

A principios de esta semana, los organizadores de la conferencia Computer Vision and Pattern Recognition (CVPR) organizaron una de las conferencias de investigación de IA más grandes del mundo, dieron el paso inusual de nombrar su tutorial CVPR sobre cómo los prejuicios en IA excedieron con creces Los datos van más allá. "Se requiere consideración para todos nosotros".

Eso cambió la situación con el jefe de Facebook. El científico de IA Yann LeCun fue muy confuso esta semana.

El episodio completo entre dos de los investigadores de IA más conocidos del mundo comenzó con una conversación hace aproximadamente una semana con el lanzamiento de PULSE, un modelo de visión por computadora creado por investigadores de la Universidad de Duke que afirma que puede ser realista generar imágenes de alta resolución de personas a partir de una foto pixelada.

VB Transform 2020 en línea – 15.-17. Julio. Únase a los principales líderes de IA: regístrese para la transmisión en vivo gratuita.

El controvertido sistema combina redes opuestas generativas (GAN) con aprendizaje auto supervisado. El conjunto de datos de Flickr Face HQ, que fue compilado por un equipo de investigadores de Nvidia el año pasado, se utilizó para la capacitación. Se usó el mismo conjunto de datos para crear el modelo StyleGAN. Parecía funcionar bien para los blancos, pero un observador ingresó una foto fija del presidente Obama y PULSE produjo una foto de un blanco . Otras imágenes creadas le dieron al cabello rubio a Samuel L. Jackson, convirtieron a Muhammad Ali en un hombre blanco y asignaron rasgos blancos a las mujeres asiáticas.

En respuesta a un colega que usó la foto de Obama como ejemplo de los peligros la IA denota sesgo, LeCun afirmó que "Los sistemas de ML están sesgados cuando los datos están sesgados". El análisis de parte del conjunto de datos reveló muchas más mujeres y hombres blancos que mujeres negras, pero la gente rápidamente tuvo problemas para caracterizar que el sesgo se trata de datos. Luego, Gebru sugirió a LeCun que mirara su tutorial, que se repite como el mensaje central de que las distorsiones de IA no pueden reducirse solo a los datos, o que examine el trabajo de otros expertos que dicen lo mismo.

En su tutorial, Gebru dice que evaluar si un modelo de IA es justo o no debe tener en cuenta más que solo los datos, y le pidió a la comunidad de visión por computadora que “entienda cuán extendida es nuestra tecnología para marginar a muchos grupos de personas ".

" Creo que los llevaré a casa. El mensaje aquí es que la justicia no se trata solo de registros, y no se trata solo de matemáticas. La justicia también se trata de la sociedad, y como ingenieros y científicos no podemos evitar este hecho ”, dijo Gebru en el tutorial.

No hay escasez de recursos que expliquen por qué el sesgo es más que datos. Como Gebru enfatizó rápidamente, LeCun es presidente de la conferencia ICLR en la cual Ruha Benjamin declaró en un discurso de apertura a principios de este año que "La profundidad de la computadora sin profundidad histórica o sociológica es un aprendizaje superficial".

El debate continuó hasta Twitter el lunes cuando LeCun compartió un 17 hilo de tweet sobre el sesgo, diciendo que no quería decir que los sistemas de ML son solo de datos , pero en el caso de PULSE, el sesgo proviene de los datos. LeCun terminó el hilo con la sugerencia de que Gebru debería evitar emocionarse en su reacción, un comentario que muchos investigadores de IA interpretaron como sexista.

Muchos investigadores negros y mujeres de color en Twitter hablaron decepcionados y frustrados sobre la posición de LeCun. El estudiante graduado de la Universidad de Berkeley, Devin Guillory, quien publicó un artículo esta semana sobre cómo los investigadores de IA pueden luchar contra la negrura en la comunidad de IA, acusó a LeCun de "mujeres negras". Encendiendo gas y disparando toneladas de mujeres haciendo trabajo científico. "Otros destacados investigadores de IA hicieron acusaciones similares.

La iluminación con gas se define como un acto de manipulación psicológica para que alguien cuestione su salud mental. Los investigadores negros con iluminación de gas son particularmente crueles, ya que muchos investigadores describen a sus colegas, que no mencionan su trabajo como parte del fenómeno de eliminación.

Gebru no fue el único ejecutivo de Google AI que se enfrentó a LeCun esta semana, como sugirió el investigador de Google AI y presidente de CIFAR AI, Nicolas Le Roux LeCun fingió escuchar las críticas especialmente si proviene de una persona que representa a una comunidad marginada, y también alentó a LeCun a no involucrarse en una buena policía y otras tácticas relacionadas con el mantenimiento del equilibrio de poder. Jeff Dean, El jefe de Google AI también instó a las personas a reconocer que el sesgo va más allá de los datos. [1 9659002] En lugar de seguir el consejo de Le Roux, LeCun respondió a sus críticas el jueves con una publicación en Facebook que representa la opinión de un usuario anónimo de Twitter que hace campaña por los movimientos de justicia social Take the People La capacidad de participar en un discurso constructivo.

Más tarde en el día LeCun tuiteó que admiraba el trabajo de Gebru y esperaba que pudieran trabajar juntos para combatir el sesgo. El vicepresidente de Facebook de AI Jerome Pesenti también se disculpó por la escalada de la conversación, diciendo que es importante escuchar las experiencias de las personas que han experimentado injusticias raciales. En ningún momento de la serie de publicaciones parecía que LeCun estaba tratando de participar en la investigación de Gebru.

Todo esto está sucediendo en un momento en que Facebook está a unos días del comienzo de un creciente boicot económico debido a su disposición a beneficiarse del odio. El boicot tiene partidarios de la NAACP para la Patagonia. El jueves, Verizon acordó anunciarse en Facebook, y el viernes Unilever dejó de vender publicidad para Facebook, Instagram y Twitter. Poco después, el CEO Mark Zuckerberg anunció que Facebook ya no publicaría anuncios políticos alegando que las personas de una determinada raza, género u otro grupo estaban poniendo en peligro la seguridad o la supervivencia de las personas.

Los ex empleados negros de Facebook se quejaron de malos tratos. Ha habido controversia sobre la voluntad de Facebook de mantener una publicación de Trump que Twitter llamó violencia glorificante, y los observadores lo llamaron un silbido racista. Un informe del Wall Street Journal el mes pasado encontró que los gerentes de Facebook habían sido informados de que sus algoritmos de recomendación dividían a las personas y alimentaban el odio, pero no cambiaron las cosas en parte por miedo a las críticas conservadoras. Incluso los empleados de la Iniciativa Chan-Zuckerberg dijeron que tienen problemas de diversidad y que la organización sin fines de lucro necesita decidir en qué lado de la historia quieren estar y cambiar la forma en que manejan las razas.

Lo que falta notablemente en la evaluación de LeCun sobre el sesgo de IA y la IA La excusa de Pesenti el jueves es el trabajo de contratar y construir diferentes equipos. Los comentarios de LeCun llegan poco más de una semana después de que el CTO de Facebook, Mike Schroepfer, le dijera a VentureBeat que el sesgo de la IA generalmente es el resultado de datos sesgados. Continuó trabajando por la diversidad para aliviar el sesgo, pero no pudo proporcionar evidencia de las diferentes prácticas de contratación de FAIR. Facebook recopila e informa algunas estadísticas de diversidad públicamente, pero no mide la diversidad en Facebook AI Research, que LeCun fundó en 2013. Un portavoz de AI de Facebook le dijo a VentureBeat que todos los empleados deben asistir a capacitación para identificar prejuicios personales.

Es preocupante ver a alguien tan privilegiado como LeCun tratando de discutir cuestiones técnicas pero ignorando el trabajo de un colega negro en un momento en que los problemas de desigualdad racial desencadenaron protestas a escala histórica en todo el mundo. Estas protestas aún continúan.

Quizás Yann LeCun necesita mejores amigos. Tal vez debería alejarse del teclado, y tal vez, como argumentó LeCun, este primer tweet, debido a la brevedad común en Twitter, dejó fuera las distorsiones más allá de los datos. Sin embargo, se entiende que LeCun ha desarrollado FAIR, y un análisis el año pasado mostró que Facebook AI Research no tiene personas negras.

Esta historia aún no ha terminado. Los análisis y las opiniones sobre el intercambio entre Gebru y LeCun, en el que está involucrada la comunidad más amplia de inteligencia artificial, podrían filtrarse por un tiempo, y Pesenti promete que Facebook AI cambiará, pero algo sobre la serie de eventos y mensajes relacionados Parece ser un problema sistémico. Si FAIR valoraba la diversidad o Facebook tenía un grupo más diverso de empleados o hacía que escuchar a las comunidades marginadas fuera una prioridad, nada de esto podría haber sucedido. O no habría tomado casi una semana para que los gerentes de Facebook intervengan y se disculpen.

En un artículo publicado el mes pasado, días antes de la muerte de George Floyd, escribí que ahora hay una batalla por el alma del aprendizaje automático y esta parte de este trabajo implica la creación de equipos pluralistas.

Yann LeCun es hoy uno de los hombres más poderosos de la comunidad de IA. No sería un ganador del Premio Turing o un pionero de la red neuronal si no pudiera abordar problemas complicados, pero toda esta serie de debates mientras la gente exige la igualdad de derechos en las calles parece juvenil o infantil. Puede describir el episodio de Gebru-LeCun como triste e infeliz y una serie de otros adjetivos, pero me quedan dos cosas: 1) Los investigadores de IA, muchos de ellos negros o femeninos, no deberían tener que pasar tiempo tratando de obtener LeCun de lo establecido convencer a los hechos y 2) esta fue una oportunidad perdida para que un líder demuestre liderazgo.

En su disculpa a Gebru el jueves, Pesenti dijo que Facebook agradecería el cambio y la educación. No se ofrecieron detalles, pero esperamos que los cambios no incluyan palabras, sino medidas significativas.

Para informes de AI, envíe sugerencias de noticias a Khari Johnson y Kyle Wiggers y al editor de AI Seth Colaner, y asegúrese de suscribirse al boletín semanal de AI y marcar nuestro canal de AI.

Gracias por leer.

Khari Johnson.

Escritor senior de IA.

] Actualizado a las 11:45 a.m. para incluir la respuesta de Facebook AI a una pregunta sobre el entrenamiento de sesgo en Facebook.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *