Los investigadores encuentran la discriminación racial en los algoritmos de precios dinámicos utilizados por Uber, Lyft y otros.


Un estudio de preimpresión publicado por investigadores de la Universidad George Washington proporciona evidencia de prejuicio social en los algoritmos que las startups como Uber, Lyft y Via utilizan para calificar las tarifas. En un análisis de equidad a gran escala de muestras de granizo de la región de Chicago, que se creó junto con datos de la Encuesta sobre la Comunidad Estadounidense (ACS) de la Oficina del Censo de los EE. UU., Las métricas de decenas de millones de viajes muestran el origen étnico, la edad, los precios de las propiedades y Influencia de la educación en los modelos tarifarios dinámicos utilizados por las aplicaciones de granizo.

La idea de que el precio algorítmico dinámico, aunque sea involuntariamente, afecta desproporcionadamente ciertas características demográficas no es nuevo. En 2015, se descubrió que un modelo utilizado por Princeton Review cobraba a los estadounidenses de origen asiático el doble de veces, independientemente de los ingresos, por los precios de preparación de exámenes que otros clientes. A medida que aumenta el uso de precios dinámicos algorítmicos en otras áreas, los autores de este estudio argumentan que es crítico que se identifiquen y consideren las consecuencias no deseadas, como las diferencias raciales.

"Cuando el aprendizaje automático se aplica a los datos sociales, los algoritmos lo son. Conozca las regularidades estadísticas de las injusticias históricas y los prejuicios sociales contenidos en estos conjuntos de datos", dijeron el profesor asistente Aylin Caliskan y Ph.D. El candidato Akshat Pandey envió un correo electrónico a VentureBeat. "Con el punto de partida de que los modelos de aprendizaje automático que fueron entrenados en datos sociales contenían sesgos, queríamos investigar si … [the] el conjunto de datos de granizo algorítmico tenía sesgos sociales".

Caliskan y Pandey decidieron analizar Datos de la ciudad de Chicago debido a una ley reciente que exige que las aplicaciones de granizo revelen los precios de las tarifas. La base de datos de la ciudad incluye no solo aranceles, sino también puntos de recogida y entrega aproximados, que los investigadores correlacionaron con datos de ACS, una encuesta anual que recopila estadísticas demográficas sobre ciudadanos estadounidenses.

VB Transform 2020 en línea – 15.-17. Julio. Únase a los principales líderes de IA: regístrese para la transmisión en vivo gratuita.

El Chicago Ride-Hail Corpus contiene datos de más de 100 millones de viajes entre noviembre de 2018 y diciembre de 2019, así como datos de taxis de más de 19 millones de viajes. Además de la información sobre el tiempo (redondeado a los 15 minutos más cercanos) y las tarifas (redondeado a los $ 2.50 más cercanos) para cada viaje, incluye la ubicación en forma de áreas censales existentes o subdivisiones de un distrito determinado por la Oficina del Censo alrededor de 1,200 a 8,000 personas.

Al filtrar muestras con datos faltantes y viajes compartidos, se calcularon datos de aproximadamente 68 millones de viajes Uber, Lyft y Via. (Si bien el corpus no distingue entre proveedores de buques de granizo, las estimaciones anteriores suponen que las cuotas de mercado de Uber, Lyft y Via en Chicago son del 72%, 27% y 1%, respectivamente.) Uso del sesgo de tamaño de efecto iterativo (IESB ), Un método estadístico propuesto por Caliskan y Pandey para cuantificar el sesgo. Calcularon un puntaje de sesgo de millas por milla por etnia, edad, nivel de educación, estado de ciudadanía y precio promedio de la vivienda en Chicago.

  Sesgo de transporte de granizo

Arriba: Datos de granizo de la ciudad de Chicago. Los colores en cada tabla indican el precio promedio por milla para cada área del censo.

Los coautores informan un aumento en los precios de granizo cuando los conductores en vecindarios con un bajo porcentaje de (1) personas fueron recogidos o abandonados a la edad de 40 años, (2) personas con educación secundaria o menos y ( 3) Casas cuyo precio está por debajo de la mediana de Chicago. En cualquier caso, descubrieron que las tasas de peaje en los vecindarios de Chicago con un alto número de poblaciones no blancas tienden a ser más altas.

"Nuestros resultados sugieren que el uso de precios dinámicos puede conducir a distorsiones basadas en la demografía de los barrios donde los granizos son más populares", dijeron Caliskan y Pandey. "Cuando los barrios con más jóvenes usan viajes de granizo con mayor frecuencia, cuesta más ser recogido o dejado en esos barrios, como en nuestros resultados para la ciudad de Chicago".

Si bien el análisis solo cubrió datos de Chicago Ride, Caliskan y Pandey dieron la bienvenida Viaje y no descarte que la tendencia pueda ser generalizada. Se refieren a un informe anterior de la Oficina Nacional de Investigación Económica, publicado en octubre de 2016, que encontró en las ciudades de Boston y Seattle que los conductores masculinos con nombres afroamericanos cancelan los viajes tres veces más a menudo y esperan hasta un 35% más. Otro estudio realizado por investigadores de la Northeastern University encontró que los usuarios que están a solo unos metros de distancia pueden recibir tarifas dramáticamente diferentes.

Cuando Uber fue contactado para hacer comentarios, no toleró ninguna forma de discriminación en su plataforma, ya sea a través de algoritmos o decisiones tomadas por sus conductores. "Recomendamos estudios que traten de comprender mejor el impacto de los precios dinámicos para servir a las comunidades de manera más justa", dijo un portavoz a VentureBeat por correo electrónico. "Es importante no equiparar la correlación con la causalidad, y puede haber una serie de factores relevantes que no se han considerado en este análisis, como: B. Correlaciones con el uso del suelo / patrones de vecindario, propósitos de viaje, hora del día y otros impactos. Esperamos los resultados finales. “

Via declinó hacer una declaración, y Lyft no había respondido al momento de la impresión.

Los investigadores tienen cuidado de no saber realmente cómo funcionan los algoritmos de fijación de precios de Uber, Lyft. Via, porque son propietarios. Por lo tanto, proponer correcciones o determinar el daño que podrían causar es un desafío. "Es difícil decir cuán extendido es este tipo de sesgo porque otros casos necesitan ser investigados caso por caso", continuaron Caliskan y Pandey. "Sin embargo, en general, cuando un algoritmo está sesgado, además de mantener el sesgo, los sesgos aumentan con el tiempo y esto podría perjudicar aún más a ciertas poblaciones".

De hecho, hay numerosos ejemplos de esto en IA y aprendizaje automático. Un informe reciente sugiere que los sistemas automáticos de reconocimiento de voz desarrollados por Apple, Amazon, Google, IBM y Microsoft reconocen las voces negras con mucha menos precisión que las blancas. Un estudio realizado por los Institutos Nacionales de Estándares y Tecnología de EE. UU. Descubrió que muchos algoritmos de reconocimiento facial identificaron por error caras afroamericanas y asiáticas de 10 a 100 veces más a menudo que las caras caucásicas. Según los investigadores, también hay prejuicios específicos de género en corpus populares con los que se entrenan los modelos de lenguaje AI. Y los estudios muestran que incluso los algoritmos de recomendación de productos de comercio electrónico contra ciertos grupos pueden verse comprometidos si no se coordinan cuidadosamente.

Los controladores de uso compartido están sujetos a los caprichos de algoritmos potencialmente sesgados. Un estudio publicado en la revista Nature muestra que pequeños cambios en un entorno urbano simulado causan "grandes desviaciones" en la distribución del ingreso del conductor, lo que conduce a un resultado impredecible que resulta en pagos muy diferentes para los conductores con idéntico rendimiento. repartido. [19659002] Una solución obvia es el código abierto de los algoritmos o la incorporación de restricciones de equidad, dijeron Caliskan y Pandey. Además, un estudio de 2018 sobre la distorsión en la fijación de precios para viajes compartidos dinámicos sugiere que el incentivo financiero de mayores "aumentos de precios" puede reducir el alcance de la distorsión. "Ha habido casos de sesgos causados ​​por los precios dinámicos algorítmicos, y las aplicaciones de granizo ahora son posiblemente una de las aplicaciones más grandes para los consumidores que usan precios dinámicos", dijeron. “En la superficie, los precios dinámicos se refieren a la oferta y la demanda, pero debido a la forma en que las ciudades a menudo están separadas por edad, raza o ingresos, esto puede conducir a distorsiones que se dividen inadvertidamente por el desarrollo demográfico del vecindario. "

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *