Una IA vio una foto recortada de AOC. Los completó automáticamente en bikini.


Se sabe que los algoritmos de generación de voz incorporan ideas racistas y sexistas. Están capacitados en el lenguaje de Internet, incluidos los rincones oscuros de Reddit y Twitter, que pueden incluir discursos de odio y desinformación. Cualesquiera que sean las ideas dañinas que estén presentes en estos foros, se normalizan como parte de su aprendizaje.

Los investigadores ahora han demostrado que esto también se puede aplicar a los algoritmos de imágenes. Déle una foto de un hombre cortado justo debajo de su cuello y el 43% de las veces usará un traje automáticamente. Alimente lo mismo con una foto recortada de una mujer, incluso una mujer famosa como la Representante de los Estados Unidos, Alexandria Ocasio-Cortez, y el 53% de las veces, automáticamente las completará con una blusa escotada o un bikini. Esto tiene implicaciones no solo para la generación de imágenes, sino para todas las aplicaciones de visión por computadora, incluidos los algoritmos basados ​​en video para la puntuación de candidatos, el reconocimiento facial y la vigilancia.

Ryan Steed, estudiante de doctorado en la Universidad Carnegie Mellon, y Aylin Caliskan, profesora asistente en la Universidad George Washington, estudiaron dos algoritmos: OpenAIs iGPT (una versión de GPT-2 que se entrena en píxeles en lugar de palabras) y SimCLR de Google. Si bien cada algoritmo se acerca al aprendizaje de imágenes de manera diferente, tienen un rasgo importante en común: ambos utilizan el aprendizaje sin supervisión, lo que significa que no necesitan que las personas etiqueten las imágenes.

Esta es una innovación relativamente nueva a partir de 2020. Hasta ahora, se han utilizado principalmente algoritmos de visión por computadora anteriores supervisado Aprender alimentando con imágenes etiquetadas manualmente: fotos de gatos etiquetadas como “gato” y fotos de bebés etiquetadas como “bebé”. Sin embargo, la investigadora Kate Crawford y el artista Trevor Paglen descubrieron en 2019 que estas etiquetas hechas por humanos en ImageNet, el conjunto de datos de imágenes más básico para entrenar modelos de visión por computadora, a veces contienen lenguaje perturbador, como «puta» para las mujeres e insultos racistas a las minorías.

El último artículo revela una fuente de toxicidad aún más profunda. Incluso sin estos términos humanos, las propias imágenes codifican patrones no deseados. El problema es similar a lo que ya ha descubierto la comunidad del procesamiento del lenguaje natural (PNL). Los enormes conjuntos de datos que se han compilado para estos algoritmos ávidos de datos capturan todo lo que hay en Internet. E Internet tiene una representación excesiva de mujeres con poca ropa y otros estereotipos a menudo dañinos.

Para realizar su estudio, Steed y Caliskan adaptaron inteligentemente una técnica que Caliskan utilizó anteriormente para estudiar el sesgo en modelos de PNL no supervisados. Estos modelos aprenden a manipular y generar lenguaje mediante la incorporación de palabras, una representación matemática del lenguaje que combina palabras de uso común y separa palabras de uso común. En un artículo publicado en 2017, publicado en CienciasCaliskan midió las distancias entre los distintos pares de palabras que los psicólogos utilizaron para medir el sesgo humano en la prueba de asociación implícita (IAT). Descubrió que estas distancias representaban los resultados del IAT casi a la perfección. Las parejas de palabras estereotipadas como hombre y carrera o mujer y familia estaban muy juntas, mientras que las parejas opuestas como hombre y familia o mujer y carrera estaban muy separadas.

iGPT también se basa en incrustaciones: agrupa o separa píxeles según la frecuencia con la que aparecen simultáneamente en sus imágenes de entrenamiento. Estas incrustaciones de píxeles se pueden usar para comparar qué tan cerca o lejos están dos imágenes en el espacio matemático.

En su estudio, Steed y Caliskan nuevamente encontraron que estas distancias reflejaban los resultados de IAT. Las fotos de hombres, corbatas y trajes aparecen juntas, mientras que las fotos de mujeres están más separadas. Los investigadores lograron los mismos resultados con SimCLR, aunque utilizaron un método diferente para derivar incrustaciones de imágenes.

Estos resultados tienen un impacto en las imágenes. Otros algoritmos de imágenes, como las redes generativas de confrontación, han llevado a una explosión de pornografía falsa dirigida casi exclusivamente a mujeres. IGPT, en particular, ofrece a las personas otra forma de crear fotos sexualizadas de mujeres.

Sin embargo, los posibles efectos posteriores son mucho mayores. En PNL, los modelos no supervisados ​​se han convertido en la columna vertebral de todo tipo de aplicaciones. Los investigadores comienzan con un modelo desatendido existente, como BERT o GPT-2, y utilizan conjuntos de datos personalizados para «optimizarlo» para un propósito específico. Este enfoque semi-supervisado, una combinación de aprendizaje supervisado y no supervisado, se ha convertido en el estándar de facto.

Asimismo, el campo de procesamiento de imágenes está comenzando a reconocer la misma tendencia. Steed y Caliskan están preocupados por lo que podrían significar estas distorsiones integradas cuando los algoritmos se utilizan para aplicaciones sensibles como la vigilancia o el reclutamiento, donde los modelos ya están analizando grabaciones de video de candidatos para decidir si son adecuados para el trabajo. «Estas son aplicaciones muy peligrosas que tomarán decisiones de seguimiento», dice Caliskan.

Deborah Raji, miembro de Mozilla y coautora de un influyente estudio que expone el prejuicio en el reconocimiento facial, dice que el estudio debería servir como una llamada de atención al campo de la visión por computadora. “Durante mucho tiempo, las críticas a los prejuicios se referían principalmente a cómo etiquetamos nuestras imágenes”, dice. Este artículo ahora dice: “La composición real del conjunto de datos conduce a estas distorsiones. Necesitamos ser responsables de cómo seleccionamos estos conjuntos de datos y recopilamos esta información. «

Steed y Caliskan están exigiendo más transparencia a las empresas que desarrollan estos modelos para que puedan ser utilizados como código abierto y la comunidad académica continúe su investigación. También alientan a otros investigadores a realizar pruebas adicionales antes de usar un modelo de visión, como: B. utilizando los métodos que desarrollaron para este artículo. Por último, esperan que el campo desarrolle formas más responsables de recopilar y documentar el contenido de los conjuntos de datos de formación.

El objetivo final, según Caliskan, es obtener una mayor conciencia y control al utilizar la visión por computadora. «Tenemos que tener mucho cuidado con la forma en que los usamos», dice, «pero al mismo tiempo, una vez que tenemos estos métodos, podemos intentar usarlos para el bien social».

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *