Investigadores de IA dicen que los editores científicos ayudan a mantener algoritmos racistas


The News: Una carta abierta de una coalición creciente de investigadores de IA llama al editor científico Springer Nature para un documento de conferencia que se incluyó originalmente en su próximo libro Transactions on Computational Science & Computational Intelligence debiera ser. . El documento, "Un modelo de red neuronal profunda para predecir la delincuencia mediante el procesamiento de imágenes", presenta un sistema de reconocimiento facial que, según el comunicado de prensa original, puede predecir si alguien es un criminal. Fue desarrollado por investigadores de la Universidad de Harrisburg y debería presentarse en una próxima conferencia.

Las demandas: Citando el trabajo de destacados académicos negros de IA, la carta expone la base científica del documento y afirma el racismo de las tecnologías de predicción del crimen. También se enumeran tres demandas: (1) Springer Nature debe retirar su oferta para publicar el estudio; (2) hacer una declaración condenando el uso de estadísticas como el aprendizaje automático para predecir el crimen y reconociendo su papel como incentivo para dicha investigación; y (3) que todas las editoriales académicas se comprometan a no publicar trabajos similares en el futuro. La carta, que fue enviada a Springer Nature el lunes, fue escrita originalmente por cinco investigadores del MIT, el Instituto Politécnico Rensselaer, la Universidad McGill y el Instituto AI Now. En pocos días, recibió más de 600 firmas y se contó en la ética de la IA y en la comunidad académica, incluidas figuras destacadas como Meredith Whittaker, cofundadora del AI Now Institute, y Ethan Zuckerman, ex director del Centro de Medios Cívicos del MIT. Laboratorio de medios.

Por qué es importante: Si bien la carta destaca un artículo en particular, el objetivo de los autores es identificar un problema sistemático con la forma en que las publicaciones científicas alientan a los investigadores a mantener normas poco éticas. "Es por eso que las ciencias raciales siguen apareciendo", dijo Chelsea Barabas, científica del MIT y una de las coautoras de la carta. "Es porque los editores lo publican". "El verdadero significado de esta pieza de Springer es que no es única en absoluto", repitió Theodora Dryer, postdoc en AI Now y otro coautor. "Es un símbolo de un problema y una crítica que dura tanto".

Respuesta de Springer: En respuesta a la carta, Springer dijo que el documento ya no se publicaría. "El documento al que se refiere se presentó en una próxima conferencia para la cual Springer planeó publicar el proceso", dijo. "Después de un exhaustivo proceso de revisión por pares, el documento fue rechazado". La Universidad de Harrisburg también aceptó su comunicado de prensa y dijo: "La facultad está actualizando el documento para abordar las preocupaciones planteadas". Los firmantes de la carta dijeron que continuarán presionando para que se cumplan su segunda y tercera solicitud. Springer no respondió a la solicitud independiente de comentarios de MIT Technology Review. La Universidad de Harrisburg y el coautor del documento también se negaron a comentar o solicitar una copia del documento original.

El panorama general: Desde la muerte de George Floyd, se ha desencadenado un movimiento internacional por la justicia racial. La industria de la IA y la industria de la tecnología en general han luchado con el papel que han desempeñado en el fortalecimiento del racismo estructural. Por ejemplo, en la semana del 8 de junio, IBM, Microsoft y Amazon anunciaron el final o la suspensión parcial de sus productos de reconocimiento facial. La medida fue el resultado de dos años de defensa de investigadores y activistas para demostrar un vínculo entre estas tecnologías y la fuerza policial de las comunidades minoritarias. La carta abierta es el último avance en este movimiento creciente para cambiar las normas de la comunidad a un nivel más alto de responsabilidad ética.

"Realmente queríamos contribuir a este movimiento en crecimiento", dijo Sonja Solomun, directora de investigación del Centro de Medios, Tecnología y Democracia de la Universidad McGill. "Especialmente cuando miramos por nuestras ventanas y vemos lo que está sucediendo en los Estados Unidos y en todo el mundo, hay mucho en juego".

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *