La Liga de Justicia Algorítmica ( AJL ) es una organización sin fines de lucro de defensa digital con sede en Cambridge, Massachusetts . Fundada en 2016 por la científica informática Joy Buolamwini , la AJL utiliza la investigación, el arte y la promoción de políticas para aumentar la conciencia social sobre el uso de la inteligencia artificial (IA) en la sociedad y los daños y sesgos que la IA puede plantear a la sociedad. [1] La AJL ha participado en una variedad de seminarios abiertos en línea, apariciones en los medios e iniciativas de defensa tecnológica para comunicar información sobre el sesgo en los sistemas de IA y promover la acción de la industria y el gobierno para mitigar la creación y el despliegue de sistemas de IA sesgados. En 2021, Fast Company nombró a AJL como una de las 10 empresas de IA más innovadoras del mundo. [2] [3]
Buolamwini fundó la Liga de Justicia Algorítmica en 2016 como estudiante de posgrado en el Media Lab del MIT . Mientras experimentaba con software de detección facial en su investigación, descubrió que el software no podía detectar su rostro "altamente melanizado" hasta que se pusiera una máscara blanca. [4] Después de este incidente, Buolamwini se inspiró para fundar AJL para llamar la atención pública sobre la existencia de sesgo en la inteligencia artificial y la amenaza que puede representar para los derechos civiles. [4] Las primeras campañas de AJL se centraron principalmente en el sesgo en el software de reconocimiento facial ; las campañas recientes han abordado de manera más amplia cuestiones de equidad y responsabilidad en la IA, incluido el sesgo algorítmico , la toma de decisiones algorítmica , la gobernanza algorítmica y la auditoría algorítmica .
Además, existe una comunidad de otras organizaciones que trabajan hacia objetivos similares, entre las que se incluyen Data and Society, Data for Black Lives , el Distributed Artificial Intelligence Research Institute (DAIR) y Fight for the Future . [5] [6] [7]
El fundador de AJL, Buolamwini, colaboró con el especialista en ética de la IA Timnit Gebru para publicar un estudio de 2018 sobre el sesgo racial y de género en los algoritmos de reconocimiento facial utilizados por los sistemas comerciales de Microsoft , IBM y Face++ . Su investigación, titulada "Gender Shades", determinó que los modelos de aprendizaje automático publicados por IBM y Microsoft eran menos precisos al analizar rostros de piel oscura y femeninos en comparación con el rendimiento en rostros de piel clara y masculinos. [8] [9] [10] El documento "Gender Shades" estuvo acompañado por el lanzamiento de Safe Face Pledge, una iniciativa diseñada con el Centro de Privacidad y Tecnología de Georgetown que instó a las organizaciones tecnológicas y a los gobiernos a prohibir el uso letal de las tecnologías de reconocimiento facial. [11] El proyecto Gender Shades y la posterior defensa realizada por AJL y grupos similares llevaron a varias empresas tecnológicas, incluidas Amazon e IBM, a abordar los sesgos en el desarrollo de sus algoritmos e incluso a prohibir temporalmente el uso de sus productos por parte de la policía en 2020. [12] [13]
Buolamwini y AJL aparecieron en el documental de Netflix de 2020 Coded Bias , que se estrenó en el Festival de Cine de Sundance . [2] [14] [15] Este documental se centró en los esfuerzos de investigación y defensa de AJL para difundir la conciencia sobre el sesgo algorítmico en los sistemas de reconocimiento facial. [4] [15]
En mayo de 2020, una colaboración de investigación en la que participó AJL publicó un informe técnico en el que se pedía la creación de una nueva oficina del gobierno federal de los Estados Unidos para regular el desarrollo y la implementación de tecnologías de reconocimiento facial. [16] El informe técnico proponía que la creación de una nueva oficina del gobierno federal para esta área ayudaría a reducir los riesgos de vigilancia masiva y sesgo que plantean las tecnologías de reconocimiento facial hacia las poblaciones vulnerables. [17]
La AJL ha llevado a cabo iniciativas para aumentar la conciencia pública sobre el sesgo algorítmico y las desigualdades en el desempeño de los sistemas de IA para el modelado del habla y el lenguaje en poblaciones de distintos géneros y razas. El trabajo de la AJL en este espacio se centra en destacar las disparidades de género y raza en el desempeño de los sistemas comerciales de reconocimiento de voz y procesamiento del lenguaje natural , que han demostrado tener un desempeño inferior al esperado en el caso de las minorías raciales y han reforzado los estereotipos de género. [18] [19] [20]
En marzo de 2020, AJL lanzó una pieza artística de palabra hablada, titulada Voicing Erasure, que aumentó la conciencia pública sobre el sesgo racial en los sistemas de reconocimiento automático de voz (ASR). [21] [22] La pieza fue interpretada por numerosas investigadoras y no binarias en el campo, incluidas Ruha Benjamin , Sasha Costanza-Chock , Safiya Noble y Kimberlé Crenshaw . [22] [21] AJL basó su desarrollo de "Voicing Erasure" en un artículo de PNAS de 2020, titulado "Disparidades raciales en el reconocimiento automático de voz" que identificó disparidades raciales en el rendimiento de cinco sistemas ASR comerciales. [20]
En 2019, Buolamwini representó a AJL en una audiencia del Comité de Ciencia, Espacio y Tecnología de la Cámara de Representantes de Estados Unidos para discutir las aplicaciones de las tecnologías de reconocimiento facial a nivel comercial y gubernamental. [23] [24] Buolamwini fue testigo en la audiencia y habló sobre el bajo rendimiento de las tecnologías de reconocimiento facial para identificar a personas con piel más oscura y rasgos femeninos y respaldó su posición con una investigación del proyecto AJL "Gender Shades". [24] [25] [26]
En enero de 2022, la AJL colaboró con Fight for the Future y el Electronic Privacy Information Center para publicar una petición en línea llamada DumpID.me, en la que se pedía al IRS que detuviera el uso de ID.me , una tecnología de reconocimiento facial que utilizaban en los usuarios cuando iniciaban sesión. [7] La AJL y otras organizaciones enviaron cartas a los legisladores y les pidieron que alentaran al IRS a detener el programa. En febrero de 2022, el IRS acordó detener el programa y dejar de utilizar la tecnología de reconocimiento facial. [27] Ahora, la AJL ha reorientado sus esfuerzos para convencer a otras agencias gubernamentales de que dejen de utilizar la tecnología de reconocimiento facial; a partir de marzo de 2022, la petición DumpID.me ha cambiado para detener el uso de ID.me en todas las agencias gubernamentales. [28]
En septiembre de 2021, Olay colaboró con AJL y O'Neil Risk Consulting & Algorithmic Auditing (ORCAA) para llevar a cabo la campaña Decode the Bias, que incluyó una auditoría que exploró si el sistema Olay Skin Advisor (OSA) incluía sesgos contra las mujeres de color. [29] AJL decidió colaborar con Olay debido al compromiso de Olay de obtener el consentimiento de los clientes para que sus selfies y datos de piel se utilizaran en esta auditoría. [30] La auditoría de AJL y ORCAA reveló que el sistema OSA contenía sesgos en su desempeño según el color de piel y la edad de los participantes. [30] El sistema OSA demostró una mayor precisión para los participantes con tonos de piel más claros, según las escalas de clasificación de la piel del ángulo de tipología individual y de tipo de piel de Fitzpatrick . El sistema OSA también demostró una mayor precisión para los participantes de entre 30 y 39 años. [31] Desde entonces, Olay ha tomado medidas para auditar internamente y mitigar el sesgo del sistema OSA. [30] Olay también ha financiado a 1.000 niñas para que asistan al campamento Black Girls Code , para alentar a las niñas afroamericanas a seguir carreras STEM. [30]
En julio de 2020, AJL lanzó el Proyecto de Informes Comunitarios de Daños a Sistemas Algorítmicos (CRASH). [32] Este proyecto comenzó en 2019 cuando Buolamwini y la investigadora de seguridad digital Camille François se conocieron en el Programa de Residencia del Centro Bellagio, organizado por la Fundación Rockefeller . Desde entonces, el proyecto también ha sido codirigido por la profesora del MIT y directora de investigación de AJL, Sasha Costanza-Chock . El proyecto CRASH se centró en crear el marco para el desarrollo de programas de recompensas por errores (BBP) que incentivarían a las personas a descubrir y denunciar casos de sesgo algorítmico en tecnologías de IA. [32] [33] Después de realizar entrevistas con participantes de BBP y un estudio de caso del programa BBP de Twitter, [34] los investigadores de AJL desarrollaron y propusieron un marco conceptual para diseñar programas BBP que compensen y alienten a las personas a localizar y revelar la existencia de sesgo en los sistemas de IA. [35] AJL pretende que el marco CRASH brinde a las personas la capacidad de informar sobre los daños algorítmicos y estimular el cambio en las tecnologías de IA implementadas por las empresas, especialmente a las personas que tradicionalmente han sido excluidas del diseño de estas tecnologías de IA [20, informe de DataSociety]. [36] [37]
Las iniciativas de AJL han sido financiadas por la Fundación Ford , la Fundación MacArthur , la Fundación Alfred P. Sloan , la Fundación Rockefeller , la Fundación Mozilla y donantes privados individuales. [36] [38] Fast Company reconoció a AJL como una de las 10 empresas de IA más innovadoras en 2021. [2] Además, lugares como la revista Time , The New York Times , NPR y CNN han presentado el trabajo de Buolamwini con AJL en varias entrevistas y artículos. [7] [24] [39]
{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace ){{cite news}}: CS1 maint: nombres numéricos: lista de autores ( enlace ){{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace ){{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace ){{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )