Los puntos de referencia del NIST muestran que la tecnología de reconocimiento facial todavía tiene dificultades para identificar caras negras


Cada pocos meses, el Instituto Nacional de Estándares y Tecnología de EE. UU. (NIST) publica los resultados de las pruebas comparativas que realiza sobre los algoritmos de reconocimiento facial presentados por empresas, universidades y laboratorios independientes. Parte de estas pruebas se centra en el rendimiento demográfico, es decir, la frecuencia con la que los algoritmos identifican erróneamente a un hombre negro como un hombre blanco, una mujer negra como un hombre negro, etc. Las partes interesadas se apresuran a decir que los algoritmos mejoran constantemente cuando se trata de sesgos, pero un análisis de VentureBeat revela una historia diferente. De hecho, nuestros resultados arrojan dudas sobre la idea de que los algoritmos de reconocimiento facial puedan reconocer mejor a las personas de color.

Esto no es sorprendente ya que numerosos estudios han demostrado que los algoritmos de reconocimiento facial son propensos a la distorsión. Sin embargo, el último dato llega cuando algunos proveedores buscan expandir su participación de mercado para llenar el vacío que Amazon, IBM, Microsoft y otros han dejado con moratorias autoimpuestas en las ventas de reconocimiento facial. En Detroit, el subcontratista de la ciudad, Rank One Computing, comenzó el reconocimiento facial para la policía local este verano a pesar de las objeciones de los defensores de la privacidad y los manifestantes. En noviembre pasado, TrueFace, con sede en Los Ángeles, se adjudicó el contrato para implementar tecnología de visión por computadora en las bases de la Fuerza Aérea de EE. UU. Y la lista continúa.

Tendencias en toda la industria

El NIST utiliza un conjunto de investigaciones recopiladas durante 17 años para buscar errores demográficos en los algoritmos de reconocimiento facial. Específicamente, mide las tasas a las que:

  • Los hombres blancos son identificados erróneamente como hombres negros
  • Los hombres blancos son identificados erróneamente como varios hombres blancos
  • Los hombres negros son identificados erróneamente como hombres blancos
  • Los hombres negros son identificados como diferentes negros identificaron erróneamente a los hombres
  • las mujeres blancas se identificaron erróneamente como mujeres negras
  • las mujeres blancas se identificaron erróneamente como diferentes mujeres blancas
  • las mujeres negras se identificaron erróneamente como mujeres blancas
  • las mujeres negras se identificaron erróneamente como mujeres negras diferentes identificado

El NIST determina la tasa de error para cada categoría, también conocida como Tasa de coincidencia falsa (FMR), registrando la cantidad de veces que un algoritmo devuelve una cara incorrecta para 10,000 fotos policiales. Un FMR de 0,0001 implica una identidad falsa por 1000, mientras que un FMR de 0,1 implica un error por 10.

Para tener una idea de si los FMR han disminuido o aumentado en los últimos años, registramos los FMR de los algoritmos de organizaciones con despliegues comerciales medidos por NIST: dos algoritmos por organización. La comparación del rendimiento de los dos algoritmos dio una idea de un sesgo temporal.

Los puntos de referencia del NIST no tienen en cuenta los ajustes que hacen los proveedores antes de que se implementen los algoritmos, y es posible que algunos proveedores nunca pongan los algoritmos a disposición comercial. Dado que los algoritmos enviados a NIST a menudo se optimizan para la mejor precisión general, tampoco son necesariamente representativos del comportamiento de los sistemas de reconocimiento facial en la naturaleza. Como señaló el AI Now Institute en su informe más reciente: Si bien los estándares actuales, como los puntos de referencia del NIST, “representan un paso en la dirección correcta, sería prematuro confiar en ellos para evaluar el desempeño … [because there] no es actualmente una práctica estándar para documentar y comunicar las historias y los límites de los conjuntos de datos de evaluación comparativa … y, por lo tanto, no hay posibilidad de determinar su aplicabilidad a un sistema específico o su idoneidad para un contexto específico. “

Aún así, los puntos de referencia del NIST son posiblemente lo más cerca que esté la industria de una medida objetiva del sesgo de reconocimiento facial.

Computación Rank One

Rank One, cuyo software de reconocimiento facial es utilizado actualmente por el Departamento de Policía de Detroit (DPD), mejoró en todas las categorías demográficas desde noviembre de 2019 hasta julio de 2020, particularmente en términos del número de mujeres negras que se identificó erróneamente. Sin embargo, los FMR del último algoritmo siguen siendo altos. NIST informa que el software de Rank One identifica erróneamente a los hombres negros entre 1 y 2 veces en 1,000 y a las mujeres negras entre 2 y 3 veces en 1,000. Esa tasa de error podría traducirse en números considerables si se considera que aproximadamente 3.4 millones de los más de 4 millones de residentes de Detroit son negros (según el censo de 2018).

Arriba: Tasas de FMR medidas por NIST. Cuanto más alto, peor.

Quizás el algoritmo de Rank One estuvo predeciblemente involucrado en un arresto ilegal que algunas publicaciones identificaron incorrectamente como el primero de su tipo en los Estados Unidos (después de una tormenta de críticas, Rank One dijo que agregaría "agentes legales"). Para prevenir el abuso, el DPD prometió limitar el reconocimiento facial a los delitos violentos y las invasiones domésticas). En caso de arresto, el DPD violó sus propias reglas de procedimiento, que restringen el uso del sistema de generación de contactos. Pero hay evidencia de sesgo en los informes de transparencia de DPD, que muestran que casi todas (96 de 98) las fotos que los oficiales de policía de Detroit han revisado a través del software de Rank One hasta la fecha son de sospechosos negros.

El contrato de tres años de tecnología de reconocimiento facial de Detroit por $ 1 millón con DataWorks Plus, un revendedor del algoritmo Rank One, expiró el 24 de julio. Sin embargo, DataWorks acordó el año pasado extender su contrato de servicio hasta el 30 de septiembre. Además, nada impide que el departamento de TI de la ciudad mantenga el software de servicio a largo plazo.

TrueFace

La tecnología TrueFace, que operará sistemas de identificación de armas y reconocimiento facial en una base de la fuerza aérea de los Estados Unidos a principios del próximo año, se deterioró en la identificación de mujeres negras desde octubre de 2019 hasta julio de 2020. La versión del algoritmo tiene un FMR entre 0.015 y 0.020 para la identificación errónea de mujeres negras en comparación con el FMR de la versión anterior entre 0.010 y 0.015. Las estadísticas del Centro de Recursos Humanos de la Fuerza Aérea de EE. UU. Muestran que, en enero de 2020, se contrató a más de 49,200 miembros del servicio negro.

Arriba: tasas de FMR, medidas según NIST. Cuanto más alto, peor.

RealNetworks y AnyVision

Igualmente inquietantes son los resultados de los algoritmos de RealNetworks y AnyVision, un supuesto proveedor de puntos de control para el ejército israelí en Cisjordania.

AnyVision, que recientemente recaudó $ 43 millones de fuentes no reveladas, los inversionistas dijeron a Wired que su software de reconocimiento facial ha sido probado en cientos de lugares alrededor del mundo, incluyendo escuelas en el condado de Putnam, Oklahoma y Texas City, Texas. RealNetworks proporciona reconocimiento facial para drones militares y cámaras corporales a través de una subsidiaria llamada SAFR. Tras los tiroteos en Parkland, Florida en 2018, SAFR hizo que su tecnología de reconocimiento facial fuera gratuita para las escuelas de EE. UU. Y Canadá.

Si bien los algoritmos de AnyVision y RealNetworks identifican incorrectamente a menos mujeres negras que antes, les va peor con los hombres negros. Con respecto a otros datos demográficos, muestran poca o ninguna mejora cuando se comparan con la RMF.

Arriba: tasas de FMR medidas por NIST. Cuanto más alto, peor.

Arriba: tasas de FMR, medidas con NIST. Cuanto más alto, peor.

NtechLab

El algoritmo NtechLab muestra una regresión comparable del FMR. La compañía, más conocida por una aplicación que permitía a los usuarios hacer coincidir imágenes de rostros de personas con una red social rusa, recientemente ganó un contrato de $ 3,2 millones para implementar sus herramientas de reconocimiento facial en Moscú. NtechLab también tiene contratos en San Petersburgo y Jurmala, Letonia.

Arriba: Tasas de RMF medidas por NIST. Cuanto más alto, peor.

Si bien el último algoritmo de la compañía produjo una reducción en la FMR para hombres y mujeres blancos, lo hace peor para los hombres negros que su predecesor. La RMF en esta categoría está más cerca de 0,005, en comparación con poco más de 0,0025 en junio de 2019.

Gorilla Technologies

Otro competidor es Gorilla Technologies, que afirma tener tecnología de reconocimiento facial instalada en las cárceles taiwanesas. Los datos del NIST muestran que el algoritmo de la compañía para identificar a mujeres y hombres negros se ha deteriorado considerablemente. La última versión del algoritmo Gorilla tiene un FMR entre 0,004 y 0,005 para la identificación errónea de mujeres negras y un valor entre 0,001 y 0,002 para la identificación errónea de mujeres blancas.

Arriba: Tasas de FMR medidas por NIST. Cuanto más alto, peor.

Aplicaciones peligrosas

Estos son solo algunos ejemplos de algoritmos de reconocimiento facial, cuyas distorsiones se han exacerbado con el tiempo, al menos según los datos del NIST. La tendencia apunta al problema irresoluble de reducir el sesgo en los sistemas de inteligencia artificial, especialmente los sistemas de visión por computadora. Un problema con el reconocimiento facial es que los registros utilizados para entrenar algoritmos son blancos y masculinos. IBM descubrió que el 81% de las personas de las tres colecciones de imágenes faciales más citadas en estudios académicos tienen la piel más clara. Los científicos han descubierto que las tecnologías y técnicas fotográficas también pueden favorecer la piel más clara, desde películas sepia hasta cámaras digitales de bajo contraste.

Los algoritmos también se utilizan con frecuencia en el campo, lo que tiende a reforzar sus prejuicios subyacentes. Un informe del Centro Legal de Privacidad y Tecnología de Georgetown detalla cómo la policía alimenta datos defectuosos con software de reconocimiento facial, incluidos bocetos compuestos e imágenes de celebridades que comparten características físicas con sospechosos. Según los informes, el Departamento de Policía de Nueva York y otros están editando fotos con efectos de desenfoque y modeladores 3D para hacerlas más adecuadas para búsquedas de rostros algorítmicos.

Independientemente de las razones del sesgo, un número creciente de ciudades y estados han expresado su preocupación por la tecnología de reconocimiento facial, especialmente en ausencia de directrices federales. Oakland y San Francisco en California; Portland, Oregon; y Somerville, Massachusetts se encuentran entre las áreas metropolitanas donde las fuerzas del orden público tienen prohibido utilizar el reconocimiento facial. En Illinois, las empresas deben obtener el consentimiento antes de poder recopilar información biométrica, incluidas imágenes faciales. Y en Massachusetts, los legisladores están considerando una moratoria sobre el uso de un sistema de vigilancia biométrica por parte del gobierno estatal.

El Congreso también ha presentado un proyecto de ley, la Ley de reconocimiento facial y reconocimiento de tecnología biométrica de 2020, que restringiría severamente el uso federal de sistemas de reconocimiento facial por parte de funcionarios gubernamentales. La introducción del proyecto de ley sigue a la consideración de la Comisión Europea para obtener una moratoria de cinco años sobre el reconocimiento facial en lugares públicos.

“El reconocimiento facial es una forma de vigilancia especialmente peligrosa. Esta no es solo una tecnología orwelliana del futuro, actualmente está siendo utilizada por agencias de aplicación de la ley en todo el país y actualmente está dañando comunidades ", dijo Evan Greer, director asociado de Fight for the Future, a principios de este año en un comunicado sobre la legislación de la propuesta. “El reconocimiento facial es la tecnología perfecta para la tiranía. Automatiza la actuación policial discriminatoria … en nuestro sistema de justicia penal profundamente racista. Esta legislación prohíbe efectivamente el uso del reconocimiento facial por parte de las fuerzas del orden en los Estados Unidos. Eso es exactamente lo que necesitamos ahora. Damos nuestra total aprobación a esta factura. "

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *