El estudio sugiere que la elección del modelo de IA podría generar sesgos


Asiste a la GamesBeat Summit 2021 del 28 al 29 de abril. Regístrese hoy para obtener un pase VIP o gratis.


Los últimos años han dejado en claro que la inteligencia artificial y el aprendizaje automático no son una panacea cuando se trata de resultados justos. La aplicación de soluciones algorítmicas a los problemas sociales puede aumentar los prejuicios contra los pueblos marginados. Las poblaciones de submuestreo siempre dan como resultado una precisión de predicción deficiente. Una distorsión de la IA no solo es el resultado de los conjuntos de datos. La formulación del problema o la forma en que los investigadores adaptan las tareas a las técnicas de IA pueden ayudar. Esto también se aplica a otros pasos dirigidos por humanos a lo largo del proceso de entrega de IA.

Con ese fin, un nuevo estudio, en coautoría de investigadores de la Universidad de Cornell y Brown, examina los problemas con la selección de modelos, el proceso mediante el cual los ingenieros seleccionan modelos de aprendizaje automático para implementarlos después del entrenamiento y la validación. Descubrieron que la selección de modelos es otra forma de introducir sesgos, ya que las métricas utilizadas para diferenciar entre modelos deben interpretarse y evaluarse.

En el aprendizaje automático, un modelo generalmente se entrena en un conjunto de datos y se evalúa para una métrica (por ejemplo, precisión) en un conjunto de datos de prueba. El proceso de aprendizaje se puede repetir para mejorar el rendimiento. Reentrenamiento hasta que varios produzcan un modelo satisfactorio se conoce como el «grado de libertad del investigador».

Si bien los investigadores informan el rendimiento promedio para una pequeña cantidad de modelos, a menudo publican resultados utilizando un conjunto específico de variables que pueden oscurecer el rendimiento real de un modelo. Esto presenta un desafío, ya que otras propiedades del modelo pueden cambiar durante el entrenamiento. Las diferencias aparentemente pequeñas en la precisión entre grupos pueden expandirse a grupos grandes, lo que afecta la equidad para ciertos datos demográficos.

Los coautores destacan un estudio de caso en el que se pidió a los sujetos que eligieran un modelo «justo» para detectar el cáncer de piel en función de las métricas que identificaron. La mayoría de los sujetos seleccionaron un modelo con la mayor precisión, aunque mostró las mayores diferencias entre hombres y mujeres. Esto es problemático a primera vista, dicen los investigadores, porque la métrica de precisión no proporciona un desglose de falsos positivos (diagnóstico de cáncer faltante) y falsos negativos (cánceres mal diagnosticados cuando en realidad están ausentes). La inclusión de estas métricas podría haber llevado a los sujetos a tomar diferentes decisiones sobre qué modelo es el «mejor».

«El gran punto es que la información contextual es muy importante para la selección del modelo, especialmente con respecto a qué métricas elegimos para informar la decisión de selección», escribieron los coautores del estudio. «Además, la variabilidad en el desempeño de las subpoblaciones, donde las subpoblaciones se dividen según los atributos protegidos, puede ser una parte crítica de este contexto, que a su vez tiene implicaciones para la equidad».

Más allá de la selección de modelos y la formulación de problemas, la investigación comienza a arrojar luz sobre las diversas formas en que los humanos pueden contribuir al sesgo de los modelos. Por ejemplo, los investigadores del MIT encontraron poco más de 2.900 errores resultantes de errores de etiquetado en ImageNet, una base de datos de imágenes utilizada para entrenar innumerables algoritmos de visión por computadora. Otro estudio de Columbia concluyó que las predicciones algorítmicas sesgadas son causadas principalmente por datos desequilibrados, pero que la demografía de la ingeniería también juega un papel, y los modelos hechos por equipos menos diversos generalmente tienen un peor desempeño.

En trabajos futuros, Cornell y Brown University quieren examinar si pueden mejorar el problema de la variabilidad del rendimiento a través de métodos «AutoML» que separan el proceso de selección del modelo de la elección humana. Sin embargo, la investigación sugiere que pueden ser necesarios nuevos enfoques para mitigar cualquier fuente de distorsión provocada por el hombre.

VentureBeat

La misión de VentureBeat es ser una plaza de la ciudad digital para que los responsables de la toma de decisiones tecnológicas obtengan conocimientos sobre la tecnología y las transacciones transformadoras. Nuestro sitio web proporciona información importante sobre tecnologías y estrategias de datos para ayudarlo a administrar su negocio. Te invitamos a convertirte en miembro de nuestra comunidad y acceder a:

  • información actual sobre los temas de su interés
  • nuestros boletines
  • contenido privado de líderes de opinión y acceso con descuento a nuestros valiosos eventos, como Transformar 2021: Aprende más
  • Funciones de red y más

conviértete en miembro

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *