Los investigadores encuentran evidencia de distorsión en los registros de expresiones faciales

Los investigadores afirman que los conjuntos de datos que a menudo se usan para entrenar a los sistemas de IA para reconocer expresiones como felicidad, enojo y sorpresa están sesgados en contra de ciertos grupos demográficos. En un estudio de preimpresión publicado en Arxiv.org, los coautores de la Universidad de Cambridge y la Universidad Técnica de Medio Oriente encuentran evidencia de una compensación en dos compañías de código abierto: la Base de datos de rostros afectivos del mundo real (RAF-DB) y CelebA.

Los algoritmos de aprendizaje automático están parcialmente sesgados porque proporcionan ejemplos de capacitación que optimizan sus objetivos frente a los grupos mayoritarios. A menos que se modifiquen expresamente, funcionan peor para los grupos minoritarios – d. H. Para personas representadas por menos muestras. En áreas como la clasificación de la expresión facial, es difícil compensar las desviaciones porque los conjuntos de entrenamiento rara vez contienen información sobre atributos como la raza, el género y la edad. Pero incluso aquellos que proporcionan atributos generalmente están distribuidos de manera desigual.

RAF-DB contiene decenas de miles de imágenes de Internet con expresiones faciales y anotaciones de atributos, mientras que CelebA tiene más de 202,599 imágenes de 10,177 personas con 40 tipos de anotaciones de atributos. Para determinar en qué medida hubo distorsión en ambos casos, los investigadores escanearon un subconjunto aleatorio y alinearon y recortaron las imágenes para que las caras fueran consistentes en términos de orientación. Luego utilizaron clasificadores para medir la precisión (la fracción de las predicciones que el modelo recibió correctamente) y la equidad (si el clasificador hizo justicia a atributos como el género, la edad y el origen étnico). La idea era que los clasificadores deberían ofrecer resultados similares en diferentes grupos demográficos.

En el subconjunto de imágenes de RAF-DB, los investigadores informan que la gran mayoría de los sujetos, 77.4%, eran caucásicos, mientras que 15.5% eran asiáticos y solo 7.1% eran afroamericanos. El subgrupo también mostró una desviación específica de género con 56.3% mujeres y 43.7% sujetos masculinos. No es sorprendente que la precisión fuera baja para algunos grupos minoritarios (59.1% para mujeres asiáticas y 61.6% para mujeres afroamericanas) y alta para mayorías (65.3% para hombres caucásicos). Con respecto a la métrica de equidad, los investigadores encontraron que era baja para la raza (88.1%) pero alta en general para el sexo (97.3%).

En el subgrupo CelebA, los investigadores entrenaron a un clasificador más simple para distinguir entre dos clases de personas: sonriendo y no sonriendo. Encuentran que el conjunto de datos mostró una compensación significativa con solo el 38.6% de los hombres no sonrientes en comparación con el 61.4% de las mujeres no sonrientes. El clasificador fue 93.7% preciso para las mujeres más jóvenes, pero menos preciso para los hombres mayores (90.7%) y las mujeres (92.1%), lo que no es estadísticamente significativo según los investigadores, pero es una indicación de uno malo La distribución es. [19659002] “Hasta la fecha, existe una gran variedad y cantidad de registros de datos para tareas de reconocimiento de expresiones faciales. Sin embargo, prácticamente ninguno de estos conjuntos de datos se registró teniendo en cuenta el hecho de que contiene imágenes y videos que se distribuyen uniformemente entre la población humana en términos de atributos sensibles como el género, la edad y el origen étnico ", escribieron los coautores.

La tendencia obvia Los registros de expresiones faciales enfatizan la necesidad de regulación, argumentan muchos. Al menos una startup de IA especializada en detección de afectos, Emteq, ha exigido leyes para evitar el mal uso de la tecnología. Un estudio encargado por la Asociación de Ciencias Psicológicas encontró que es difícil deducir cómo se siente alguien de lo que dice porque las emociones se expresan de diferentes maneras. Y el AI Now Institute, un instituto de investigación de la Universidad de Nueva York que estudia el impacto de la IA en la sociedad, advirtió en un informe de 2019 que los clasificadores de expresiones faciales se usan de forma poco ética para tomar decisiones de contratación y establecer los precios de los seguros.

"Al mismo tiempo que se introducen estas tecnologías, numerosos estudios muestran que … no hay evidencia sustancial de que las personas tengan esta relación constante entre la emoción que sientes y la apariencia de tu rostro. ", dijo Kate Crawford, cofundadora de AI Now BBC en una entrevista reciente.