Brian Brackeen Colaborador
Más publicaciones de este colaborador El software de reconocimiento facial no está listo para ser utilizado por las fuerzas del orden
En un artÃculo reciente de MIT Technology Review, la autora Virginia Eubanks analiza su libro Automating Inequality. En él, ella argumenta que los pobres son el campo de prueba para la nueva tecnologÃa que aumenta la desigualdad, destacando que cuando se utilizan algoritmos en el proceso de determinar la elegibilidad para / asignación de servicios sociales, crea dificultades para que las personas obtengan servicios, al tiempo que los obliga para hacer frente a un proceso invasivo de recopilación de datos personales.
He hablado mucho sobre los peligros asociados con el uso gubernamental del reconocimiento facial en la aplicación de la ley, sin embargo, este artÃculo me abrió los ojos a la práctica injusta y potencialmente mortal de rechazar o reducir los servicios de apoyo a los ciudadanos que realmente pueden necesitarlos, a través de determinaciones basadas en datos algorÃtmicos.
Hasta cierto punto, estamos acostumbrados a que las empresas tomen decisiones arbitrarias sobre nuestras vidas: hipotecas, solicitudes de tarjetas de crédito, préstamos para automóviles, etc. Sin embargo, estas decisiones se basan casi por completo en factores de determinación sencillos, como puntaje crediticio, empleo e ingresos. En el caso de la determinación algorÃtmica en los servicios sociales, existe un sesgo en forma de vigilancia directa en combinación con el intercambio de información personal obligatorio impuesto a los destinatarios.
Eubanks da como ejemplo la Oficina de Niños, Jóvenes y Familias del Condado de Pittsburgh que usa la Herramienta de Evaluación Familiar Allegheny (AFST) para evaluar el riesgo de abuso y negligencia infantil a través de modelos estadÃsticos. El uso de la herramienta conduce a una selección desproporcionada de familias pobres porque los datos que se alimentan a los algoritmos en la herramienta a menudo provienen de las escuelas públicas, la autoridad de vivienda local, los servicios de desempleo, los servicios de libertad condicional juvenil y la policÃa del condado, por nombrar solo algunos: básicamente, los datos de los ciudadanos de bajos ingresos que suelen utilizar estos servicios / interactuar con ellos de forma habitual. Por el contrario, los datos de servicios privados como escuelas privadas, niñeras y servicios privados de salud mental y tratamiento de drogas no están disponibles.
Las herramientas de determinación como AFST equiparan la pobreza con signos de riesgo de abuso, que es un clasismo descarado y una consecuencia de la deshumanización de los datos. El uso irresponsable de la IA en esta capacidad, al igual que su uso en la aplicación de la ley y la vigilancia gubernamental, tiene el potencial real de arruinar vidas.
Taylor Owen, en su artÃculo de 2015 titulado La violencia de los algoritmos, describió una demostración que presenció por parte de la compañÃa de software de análisis de inteligencia Palantir, e hizo dos puntos importantes en respuesta: el primero es que, a menudo, estos sistemas están escritos por humanos, basados ​​en datos etiquetados y ingresados ​​por humanos y, como resultado, están “llenos de prejuicios y errores humanos”. Luego sugiere que estos sistemas se utilizan cada vez más para la violencia.
“Lo que estamos en el proceso de construcción es una vasta representación tridimensional del mundo en tiempo real. Un registro permanente de nosotros … pero ¿de dónde viene el significado de todos estos datos? preguntó, estableciendo un problema inherente en la inteligencia artificial y los conjuntos de datos.
Los datos históricos son útiles solo cuando se les da un contexto significativo, que muchos de estos conjuntos de datos no se dan. Cuando se trata de datos financieros como préstamos y tarjetas de crédito, las determinaciones, como mencioné anteriormente, se basan en números. Si bien seguramente se cometen errores y equivocaciones durante estos procesos, ser considerado indigno de crédito probablemente no llevará a la policÃa a su puerta.
Sin embargo, un sistema construido para predecir la desviación, que utiliza los datos de arrestos como factor principal de determinación, no solo puede conducir a la participación de la policÃa, sino que está destinado a hacerlo.
Imagen cortesÃa de Getty Images
Cuando recordamos las polÃticas históricas modernas que eran perfectamente legales en su intención de apuntar a grupos minoritarios, sin duda viene a la mente Jim Crow. Y tampoco olvidemos que estas leyes no fueron declaradas inconstitucionales hasta 1967, a pesar de la Ley de Derechos Civiles de 1965.
En este contexto, puede ver claramente que, según la Constitución, los negros solo han sido considerados estadounidenses de pleno derecho durante 51 años. Los prejuicios algorÃtmicos actuales, ya sean intencionales o inherentes, están creando un sistema en el que los pobres y las minorÃas son aún más criminalizados y marginados.
Claramente, existe el problema ético en torno a la responsabilidad que tenemos como sociedad de hacer todo lo que esté a nuestro alcance para evitar ayudar a los gobiernos a mejorar en la matanza de personas, pero la mayor parte de esta responsabilidad recae en aquellos de nosotros que realmente estamos entrenando. los algoritmos – y claramente, no deberÃamos estar poniendo sistemas que son incapaces de matices y conciencia en la posición de informar a la autoridad.
En su trabajo, Eubanks ha sugerido algo parecido a un juramento hipocrático para aquellos de nosotros que trabajamos con algoritmos: la intención de no hacer daño, evitar los prejuicios, asegurarse de que los sistemas no se conviertan en opresores duros y frÃos.
Con este fin, Joy Buolamwini del MIT, fundadora y lÃder de la Algorithmic Justice League, se ha comprometido a utilizar la tecnologÃa de análisis facial de manera responsable.
El compromiso incluye compromisos como mostrar valor por la vida y la dignidad humanas, que incluye negarse a participar en el desarrollo de armas letales autónomas y no equipar a las fuerzas del orden con productos y servicios de análisis facial para objetivos individuales injustificados.
Este compromiso es un primer paso importante en la dirección de la autorregulación, que veo como el comienzo de un proceso regulador de base más amplio en torno al uso del reconocimiento facial.
