stringtranslate.com

Sesgo algorítmico

Diagrama de flujo que muestra las decisiones tomadas por un motor de recomendaciones , c.  2001 [1]

El sesgo algorítmico describe errores sistemáticos y repetibles en un sistema informático que crean resultados "injustos", como "privilegiar" una categoría sobre otra de maneras diferentes a la función prevista del algoritmo.

El sesgo puede surgir de muchos factores, incluidos, entre otros, el diseño del algoritmo o el uso no intencionado o imprevisto o las decisiones relacionadas con la forma en que se codifican, recopilan, seleccionan o utilizan los datos para entrenar el algoritmo. Por ejemplo, se ha observado sesgo algorítmico en los resultados de los motores de búsqueda y en las plataformas de redes sociales . Este sesgo puede tener efectos que van desde violaciones involuntarias de la privacidad hasta el refuerzo de sesgos sociales de raza, género, sexualidad y etnia. El estudio del sesgo algorítmico se centra principalmente en los algoritmos que reflejan una discriminación "sistemática e injusta". [2] Este sesgo solo se ha abordado recientemente en marcos jurídicos, como el Reglamento General de Protección de Datos de la Unión Europea (propuesto en 2018) y la Ley de Inteligencia Artificial (propuesta en 2021, aprobada en 2024).

A medida que los algoritmos amplían su capacidad para organizar la sociedad, la política, las instituciones y el comportamiento, los sociólogos se han preocupado por las formas en que los resultados imprevistos y la manipulación de los datos pueden afectar al mundo físico. Debido a que los algoritmos suelen considerarse neutrales e imparciales, pueden proyectar de manera inexacta una autoridad mayor que la de la experiencia humana (en parte debido al fenómeno psicológico del sesgo de automatización ) y, en algunos casos, la confianza en los algoritmos puede desplazar la responsabilidad humana por sus resultados. El sesgo puede entrar en los sistemas algorítmicos como resultado de expectativas culturales, sociales o institucionales preexistentes; por cómo se eligen las características y las etiquetas; debido a las limitaciones técnicas de su diseño; o por ser utilizados en contextos imprevistos o por audiencias que no se consideraron en el diseño inicial del software. [3]

El sesgo algorítmico se ha citado en casos que abarcan desde los resultados electorales hasta la difusión de discursos de odio en línea . También ha surgido en la justicia penal, la atención médica y la contratación, agravando los sesgos raciales, socioeconómicos y de género existentes. La relativa incapacidad de la tecnología de reconocimiento facial para identificar con precisión los rostros de piel más oscura se ha relacionado con múltiples arrestos injustificados de hombres negros, un problema que surge de conjuntos de datos desequilibrados. Los problemas para comprender, investigar y descubrir el sesgo algorítmico persisten debido a la naturaleza patentada de los algoritmos, que generalmente se tratan como secretos comerciales. Incluso cuando se brinda total transparencia, la complejidad de ciertos algoritmos plantea una barrera para comprender su funcionamiento. Además, los algoritmos pueden cambiar o responder a la entrada o salida de formas que no se pueden anticipar o reproducir fácilmente para su análisis. En muchos casos, incluso dentro de un solo sitio web o aplicación, no hay un solo "algoritmo" para examinar, sino una red de muchos programas e ingresos de datos interrelacionados, incluso entre usuarios del mismo servicio.

Definiciones

Diagrama de 1969 que muestra cómo un programa informático simple toma decisiones, ilustrando un algoritmo muy simple.

Los algoritmos son difíciles de definir , [4] pero pueden entenderse en general como listas de instrucciones que determinan cómo los programas leen, recopilan, procesan y analizan datos para generar resultados. [5] : 13  Para una introducción técnica rigurosa, consulte Algoritmos . Los avances en el hardware de las computadoras han llevado a una mayor capacidad para procesar, almacenar y transmitir datos. Esto a su vez ha impulsado el diseño y la adopción de tecnologías como el aprendizaje automático y la inteligencia artificial . [6] : 14–15  Al analizar y procesar datos, los algoritmos son la columna vertebral de los motores de búsqueda, [7] sitios web de redes sociales, [8] motores de recomendación, [9] venta minorista en línea, [10] publicidad en línea, [11] y más. [12]

Los científicos sociales contemporáneos se preocupan por los procesos algorítmicos integrados en aplicaciones de hardware y software debido a su impacto político y social, y cuestionan los supuestos subyacentes de la neutralidad de un algoritmo. [13] : 2  [14] : 563  [15] : 294  [16] El término sesgo algorítmico describe errores sistemáticos y repetibles que crean resultados injustos, como privilegiar a un grupo arbitrario de usuarios sobre otros. Por ejemplo, un algoritmo de puntuación crediticia puede negar un préstamo sin ser injusto, si sopesa constantemente criterios financieros relevantes. Si el algoritmo recomienda préstamos a un grupo de usuarios, pero niega préstamos a otro conjunto de usuarios casi idénticos basándose en criterios no relacionados, y si este comportamiento puede repetirse en múltiples ocurrencias, un algoritmo puede describirse como sesgado . [17] : 332  Este sesgo puede ser intencional o no intencional (por ejemplo, puede provenir de datos sesgados obtenidos de un trabajador que anteriormente hizo el trabajo que el algoritmo va a hacer a partir de ahora).

Métodos

El sesgo puede introducirse en un algoritmo de varias maneras. Durante el ensamblaje de un conjunto de datos, los datos pueden recopilarse, digitalizarse, adaptarse e ingresarse en una base de datos de acuerdo con criterios de catalogación diseñados por humanos. [18] : 3  A continuación, los programadores asignan prioridades o jerarquías para la forma en que un programa evalúa y clasifica esos datos. Esto requiere decisiones humanas sobre cómo se categorizan los datos y qué datos se incluyen o descartan. [18] : 4  Algunos algoritmos recopilan sus propios datos según criterios seleccionados por humanos, que también pueden reflejar el sesgo de los diseñadores humanos. [18] : 8  Otros algoritmos pueden reforzar estereotipos y preferencias a medida que procesan y muestran datos "relevantes" para usuarios humanos, por ejemplo, seleccionando información según elecciones anteriores de un usuario o grupo de usuarios similar. [18] : 6 

Más allá de la recopilación y el procesamiento de datos, el sesgo puede surgir como resultado del diseño. [19] Por ejemplo, los algoritmos que determinan la asignación de recursos o el escrutinio (como la determinación de las colocaciones escolares) pueden discriminar inadvertidamente una categoría al determinar el riesgo en función de usuarios similares (como en las puntuaciones de crédito). [20] : 36  Mientras tanto, los motores de recomendación que funcionan asociando a los usuarios con usuarios similares, o que hacen uso de rasgos de marketing inferidos, pueden basarse en asociaciones inexactas que reflejan estereotipos étnicos, de género, socioeconómicos o raciales amplios. Otro ejemplo proviene de la determinación de criterios para lo que se incluye y excluye de los resultados. Estos criterios podrían presentar resultados inesperados para los resultados de búsqueda, como con el software de recomendación de vuelos que omite los vuelos que no siguen las rutas de vuelo de la aerolínea patrocinadora. [19] Los algoritmos también pueden mostrar un sesgo de incertidumbre , ofreciendo evaluaciones más confiables cuando hay conjuntos de datos más grandes disponibles. Esto puede sesgar los procesos algorítmicos hacia resultados que se correspondan más estrechamente con muestras más grandes, lo que puede hacer caso omiso de datos de poblaciones subrepresentadas. [21] : 4 

Historia

Críticas tempranas

Esta tarjeta se utilizaba para cargar software en una computadora central antigua. Cada byte (la letra "A", por ejemplo) se introduce perforando agujeros. Aunque las computadoras contemporáneas son más complejas, reflejan este proceso de toma de decisiones humanas al recopilar y procesar datos. [22] : 70  [23] : 16 

Los primeros programas informáticos se diseñaron para imitar el razonamiento y las deducciones humanas, y se consideraba que funcionaban cuando reproducían con éxito y de manera consistente esa lógica humana. En su libro de 1976 Computer Power and Human Reason , el pionero de la inteligencia artificial Joseph Weizenbaum sugirió que el sesgo podía surgir tanto de los datos utilizados en un programa como de la forma en que se codifica un programa. [22] : 149 

Weizenbaum escribió que los programas son una secuencia de reglas creadas por humanos para que las siga una computadora. Al seguir esas reglas de manera consistente, esos programas "encarnan la ley", [22] : 40  es decir, imponen una forma específica de resolver problemas. Las reglas que sigue una computadora se basan en las suposiciones de un programador de computadoras sobre cómo se podrían resolver esos problemas. Eso significa que el código podría incorporar la imaginación del programador sobre cómo funciona el mundo, incluidos sus sesgos y expectativas. [22] : 109  Si bien un programa de computadora puede incorporar sesgos de esta manera, Weizenbaum también señaló que cualquier dato que se ingrese a una máquina refleja además "procesos de toma de decisiones humanas" a medida que se seleccionan los datos. [22] : 70, 105 

Por último, señaló que las máquinas también podrían transferir información útil con consecuencias no deseadas si los usuarios no tienen claro cómo interpretar los resultados. [22] : 65  Weizenbaum advirtió contra confiar en decisiones tomadas por programas informáticos que un usuario no entiende, comparando esa confianza con un turista que puede encontrar su camino a una habitación de hotel únicamente girando a la izquierda o a la derecha al lanzar una moneda. Fundamentalmente, el turista no tiene ninguna base para comprender cómo o por qué llegó a su destino, y una llegada exitosa no significa que el proceso sea preciso o confiable. [22] : 226 

Un ejemplo temprano de sesgo algorítmico fue que entre 1982 y 1986 se denegara el ingreso a la Facultad de Medicina del Hospital St. George a 60 mujeres y minorías étnicas por año, debido a la implementación de un nuevo sistema de evaluación guiado por computadora que denegaba el ingreso a mujeres y hombres con "nombres que sonaran extranjeros" según las tendencias históricas en las admisiones. [24] Si bien muchas escuelas en ese momento empleaban sesgos similares en su proceso de selección, St. George se destacó por automatizar dicho sesgo mediante el uso de un algoritmo, ganando así la atención de la gente a una escala mucho más amplia.

En los últimos años, cuando más algoritmos comenzaron a utilizar métodos de aprendizaje automático en datos del mundo real, el sesgo algorítmico se puede encontrar con mayor frecuencia debido al sesgo existente en los datos.

Críticas y respuestas contemporáneas

Aunque los algoritmos bien diseñados determinan frecuentemente resultados que son igualmente (o más) equitativos que las decisiones de los seres humanos, todavía ocurren casos de sesgo, y son difíciles de predecir y analizar. [25] La complejidad de analizar el sesgo algorítmico ha crecido junto con la complejidad de los programas y su diseño. Las decisiones tomadas por un diseñador, o equipo de diseñadores, pueden quedar ocultas entre los muchos fragmentos de código creados para un solo programa; con el tiempo, estas decisiones y su impacto colectivo en el resultado del programa pueden olvidarse. [26] : 115  En teoría, estos sesgos pueden crear nuevos patrones de comportamiento, o "guiones", en relación con tecnologías específicas a medida que el código interactúa con otros elementos de la sociedad. [27] Los sesgos también pueden afectar la forma en que la sociedad se configura a sí misma en torno a los puntos de datos que requieren los algoritmos. Por ejemplo, si los datos muestran una gran cantidad de arrestos en un área en particular, un algoritmo puede asignar más patrullas policiales a esa área, lo que podría conducir a más arrestos. [28] : 180 

Las decisiones de los programas algorítmicos pueden considerarse más autoritarias que las decisiones de los seres humanos a los que se supone que deben ayudar, [29] : 15  un proceso descrito por el autor Clay Shirky como "autoridad algorítmica". [30] Shirky utiliza el término para describir "la decisión de considerar autoritario un proceso no gestionado de extracción de valor de fuentes diversas y no fiables", como los resultados de una búsqueda. [30] Esta neutralidad también puede verse tergiversada por el lenguaje utilizado por los expertos y los medios de comunicación cuando se presentan los resultados al público. Por ejemplo, una lista de noticias seleccionadas y presentadas como "de tendencia" o "populares" puede crearse basándose en criterios significativamente más amplios que su popularidad. [18] : 14 

Debido a su conveniencia y autoridad, se ha teorizado que los algoritmos son un medio para delegar responsabilidades a los humanos. [29] : 16  [31] : 6  Esto puede tener el efecto de reducir las opciones alternativas, los compromisos o la flexibilidad. [29] : 16  El sociólogo Scott Lash ha criticado los algoritmos como una nueva forma de "poder generativo", en el sentido de que son un medio virtual para generar fines reales. Donde antes el comportamiento humano generaba datos que se debían recopilar y estudiar, los algoritmos poderosos podrían moldear y definir cada vez más los comportamientos humanos. [32] : 71 

Las preocupaciones sobre el impacto de los algoritmos en la sociedad han llevado a la creación de grupos de trabajo en organizaciones como Google y Microsoft , que han co-creado un grupo de trabajo llamado Fairness, Accountability, and Transparency in Machine Learning. [33] : 115  Las ideas de Google han incluido grupos comunitarios que patrullan los resultados de los algoritmos y votan para controlar o restringir los resultados que consideran que tienen consecuencias negativas. [33] : 117  En los últimos años, el estudio de la Fairness, Accountability, and Transparency (FAT) de los algoritmos ha surgido como su propia área de investigación interdisciplinaria con una conferencia anual llamada FAccT. [34] Los críticos han sugerido que las iniciativas FAT no pueden servir eficazmente como organismos de control independientes cuando muchas son financiadas por corporaciones que construyen los sistemas que se estudian. [35]

Tipos

Preexistente

Los sesgos preexistentes en un algoritmo son consecuencia de ideologías sociales e institucionales subyacentes . Estas ideas pueden influir o crear sesgos personales en los diseñadores o programadores individuales. Estos prejuicios pueden ser explícitos y conscientes, o implícitos e inconscientes. [17] : 334  [15] : 294  Los datos de entrada mal seleccionados, o simplemente los datos de una fuente sesgada, influirán en los resultados creados por las máquinas. [23] : 17  Codificar sesgos preexistentes en software puede preservar sesgos sociales e institucionales y, sin corrección, podría replicarse en todos los usos futuros de ese algoritmo. [26] : 116  [31] : 8 

Un ejemplo de esta forma de sesgo es el Programa de la Ley de Nacionalidad Británica, diseñado para automatizar la evaluación de los nuevos ciudadanos británicos después de la Ley de Nacionalidad Británica de 1981. [17] : 341  El programa reflejó con precisión los principios de la ley, que establecía que "un hombre es el padre sólo de sus hijos legítimos, mientras que una mujer es la madre de todos sus hijos, legítimos o no". [17] : 341  [36] : 375  En su intento de transferir una lógica particular a un proceso algorítmico, el BNAP inscribió la lógica de la Ley de Nacionalidad Británica en su algoritmo, que la perpetuaría incluso si la ley fuera finalmente derogada. [17] : 342 

Otra fuente de sesgo, que se ha denominado "sesgo de elección de etiqueta", [37] surge cuando se utilizan medidas proxy para entrenar algoritmos que incorporan sesgo contra ciertos grupos. Por ejemplo, un algoritmo ampliamente utilizado predijo los costos de la atención médica como un indicador de las necesidades de atención médica y utilizó predicciones para asignar recursos para ayudar a los pacientes con necesidades de salud complejas. Esto introdujo un sesgo porque los pacientes negros tienen costos más bajos, incluso cuando son tan poco saludables como los pacientes blancos [38]. Las soluciones al "sesgo de elección de etiqueta" apuntan a hacer coincidir el objetivo real (lo que el algoritmo está prediciendo) más estrechamente con el objetivo ideal (lo que los investigadores quieren que prediga el algoritmo), por lo que para el ejemplo anterior, en lugar de predecir el costo, los investigadores se centrarían en la variable de las necesidades de atención médica, que es bastante más significativa. Ajustar el objetivo llevó a que casi se duplicara el número de pacientes negros seleccionados para el programa. [37]

Sesgo del aprendizaje automático

El sesgo en el aprendizaje automático se refiere a disparidades sistemáticas e injustas en el resultado de los algoritmos de aprendizaje automático. Estos sesgos pueden manifestarse de diversas maneras y, a menudo, son un reflejo de los datos utilizados para entrenar estos algoritmos. A continuación, se indican algunos aspectos clave:

Sesgo lingüístico

El sesgo de lenguaje se refiere a un tipo de sesgo de muestreo estadístico vinculado al idioma de una consulta que conduce a "una desviación sistemática en la información de muestreo que le impide representar con precisión la cobertura real de los temas y puntos de vista disponibles en su repositorio". [39] El trabajo de Luo et al. [39] muestra que los grandes modelos de lenguaje actuales, ya que se entrenan predominantemente con datos en idioma inglés, a menudo presentan los puntos de vista angloamericanos como verdaderos, mientras que sistemáticamente minimizan las perspectivas no inglesas como irrelevantes, erróneas o ruido. Cuando se consulta con ideologías políticas como "¿Qué es el liberalismo?", ChatGPT, ya que se entrenó con datos centrados en el inglés, describe el liberalismo desde la perspectiva angloamericana, enfatizando aspectos de los derechos humanos y la igualdad, mientras que aspectos igualmente válidos como "se opone a la intervención estatal en la vida personal y económica" desde la perspectiva vietnamita dominante y "limitación del poder del gobierno" desde la perspectiva china predominante están ausentes. [39]

Sesgo de género

El sesgo de género se refiere a la tendencia de estos modelos a producir resultados que están injustamente prejuiciados hacia un género en detrimento de otro. Este sesgo surge típicamente de los datos con los que se entrenan estos modelos. Por ejemplo, los modelos de lenguaje grandes a menudo asignan roles y características basados ​​en normas de género tradicionales; podrían asociar a enfermeras o secretarias predominantemente con mujeres e ingenieros o directores ejecutivos con hombres. [40] [41]

Estereotipos

Más allá del género y la raza, estos modelos pueden reforzar una amplia gama de estereotipos, incluidos los basados ​​en la edad, la nacionalidad, la religión o la ocupación. Esto puede dar lugar a resultados que generalizan o caricaturizan injustamente a grupos de personas, a veces de manera dañina o despectiva. [42]

Un estudio reciente se ha centrado en la compleja interacción entre las propiedades gramaticales de un idioma y los sesgos del mundo real que pueden incorporarse a los sistemas de IA, lo que podría perpetuar estereotipos y suposiciones perjudiciales. El estudio sobre el sesgo de género en modelos lingüísticos entrenados en islandés, un idioma con una marcada orientación gramatical de género, reveló que los modelos mostraban una predisposición significativa hacia el género gramatical masculino al referirse a términos ocupacionales, incluso en profesiones dominadas por mujeres. [43] Esto sugiere que los modelos amplificaron los sesgos de género sociales presentes en los datos de entrenamiento.

Sesgo político

El sesgo político se refiere a la tendencia de los algoritmos a favorecer sistemáticamente ciertos puntos de vista, ideologías o resultados políticos sobre otros. Los modelos lingüísticos también pueden presentar sesgos políticos. Dado que los datos de entrenamiento incluyen una amplia gama de opiniones y coberturas políticas, los modelos pueden generar respuestas que se inclinen hacia ideologías o puntos de vista políticos particulares, dependiendo de la prevalencia de esos puntos de vista en los datos. [44]

Técnico

Se descubrió que el software de reconocimiento facial utilizado junto con cámaras de vigilancia mostraba sesgo en el reconocimiento de rostros asiáticos y negros en lugar de rostros blancos. [28] : 191 

El sesgo técnico surge a través de limitaciones de un programa, potencia computacional, su diseño u otra restricción del sistema. [17] : 332  Este sesgo también puede ser una restricción de diseño; por ejemplo, un motor de búsqueda que muestra tres resultados por pantalla puede entenderse que privilegia los tres primeros resultados ligeramente más que los tres siguientes, como en la visualización de precios de una aerolínea. [17] : 336  Otro caso es el software que se basa en la aleatoriedad para obtener distribuciones justas de resultados. Si el mecanismo de generación de números aleatorios no es verdaderamente aleatorio, puede introducir sesgo, por ejemplo, al sesgar las selecciones hacia los elementos al final o al principio de una lista. [17] : 332 

Un algoritmo descontextualizado utiliza información no relacionada para ordenar los resultados; por ejemplo, un algoritmo de precios de vuelos que ordena los resultados por orden alfabético estaría sesgado a favor de American Airlines en lugar de United Airlines. [17] : 332  También puede aplicarse lo contrario, en el que los resultados se evalúan en contextos diferentes de aquellos en los que se recopilan. Los datos pueden recopilarse sin un contexto externo crucial: por ejemplo, cuando las cámaras de vigilancia utilizan un software de reconocimiento facial , pero lo evalúa personal remoto en otro país o región, o lo evalúan algoritmos no humanos sin conocimiento de lo que ocurre más allá del campo de visión de la cámara . Esto podría crear una comprensión incompleta de la escena de un crimen, por ejemplo, confundiendo potencialmente a los transeúntes con quienes cometen el crimen. [14] : 574 

Por último, el sesgo técnico puede crearse al intentar formalizar las decisiones en pasos concretos bajo el supuesto de que el comportamiento humano funciona de la misma manera. Por ejemplo, el software sopesa los puntos de datos para determinar si un acusado debe aceptar un acuerdo de culpabilidad, mientras ignora el impacto de la emoción en un jurado. [17] : 332  Otro resultado no deseado de esta forma de sesgo se encontró en el software de detección de plagio Turnitin , que compara textos escritos por estudiantes con información encontrada en línea y devuelve una puntuación de probabilidad de que el trabajo del estudiante sea copiado. Debido a que el software compara largas cadenas de texto, es más probable que identifique a hablantes no nativos de inglés que a hablantes nativos, ya que este último grupo podría ser más capaz de cambiar palabras individuales, dividir cadenas de texto plagiado u ocultar pasajes copiados a través de sinónimos. Debido a que es más fácil para los hablantes nativos evadir la detección como resultado de las limitaciones técnicas del software, esto crea un escenario donde Turnitin identifica a los hablantes extranjeros de inglés como plagiadores mientras permite que más hablantes nativos evadan la detección. [29] : 21–22 

Emergente

El sesgo emergente es el resultado del uso y la confianza en algoritmos en contextos nuevos o imprevistos. [17] : 334  Es posible que los algoritmos no se hayan ajustado para considerar nuevas formas de conocimiento, como nuevos medicamentos o avances médicos, nuevas leyes, modelos comerciales o normas culturales cambiantes. [17] : 334, 336  Esto puede excluir grupos a través de la tecnología, sin proporcionar esquemas claros para entender quién es responsable de su exclusión. [28] : 179  [15] : 294  De manera similar, pueden surgir problemas cuando los datos de entrenamiento (las muestras "alimentadas" a una máquina, por las cuales modela ciertas conclusiones) no se alinean con los contextos que un algoritmo encuentra en el mundo real. [45]

En 1990, se identificó un ejemplo de sesgo emergente en el software utilizado para colocar a los estudiantes de medicina de los EE. UU. en residencias, el Programa Nacional de Emparejamiento de Residencias (NRMP). [17] : 338  El algoritmo fue diseñado en un momento en el que pocas parejas casadas buscaban residencias juntas. A medida que más mujeres ingresaban a las escuelas de medicina, era más probable que los estudiantes solicitaran una residencia junto con sus parejas. El proceso requería que cada solicitante proporcionara una lista de preferencias de colocación en todo EE. UU., que luego se ordenaba y asignaba cuando un hospital y un solicitante acordaban una coincidencia. En el caso de las parejas casadas en las que ambos buscaban residencias, el algoritmo sopesaba primero las opciones de ubicación del miembro con mayor calificación. El resultado fue una asignación frecuente de escuelas altamente preferidas al primer miembro y escuelas menos preferidas al segundo miembro, en lugar de ordenar para llegar a compromisos en la preferencia de colocación. [17] : 338  [46]

Otros sesgos emergentes incluyen:

Correlaciones

Pueden surgir correlaciones impredecibles cuando se comparan entre sí grandes conjuntos de datos. Por ejemplo, los datos recopilados sobre patrones de navegación web pueden alinearse con señales que marcan datos sensibles (como la raza o la orientación sexual). Al seleccionar según ciertos patrones de comportamiento o navegación, el efecto final sería casi idéntico a la discriminación mediante el uso directo de datos de raza u orientación sexual. [21] : 6  En otros casos, el algoritmo extrae conclusiones de las correlaciones, sin poder comprenderlas. Por ejemplo, un programa de triaje dio menor prioridad a los asmáticos que tenían neumonía que a los asmáticos que no la tenían. El algoritmo del programa hizo esto porque simplemente comparó las tasas de supervivencia: los asmáticos con neumonía corren el mayor riesgo. Históricamente, por esta misma razón, los hospitales suelen brindar a estos asmáticos la mejor y más inmediata atención. [47] [ aclaración necesaria ]

Usos imprevistos

El sesgo emergente puede ocurrir cuando un algoritmo es utilizado por audiencias no previstas. Por ejemplo, las máquinas pueden requerir que los usuarios puedan leer, escribir o comprender números, o relacionarse con una interfaz utilizando metáforas que no entienden. [17] : 334  Estas exclusiones pueden agravarse a medida que la tecnología sesgada o excluyente se integra más profundamente en la sociedad. [28] : 179 

Además de la exclusión, pueden surgir usos imprevistos si el usuario final confía en el software en lugar de en su propio conocimiento. En un ejemplo, un grupo de usuarios imprevisto provocó un sesgo algorítmico en el Reino Unido, cuando científicos informáticos y abogados de inmigración crearon el Programa Nacional de Leyes Británico como prueba de concepto para evaluar la idoneidad para la ciudadanía británica . Los diseñadores tuvieron acceso a conocimientos jurídicos más allá de los usuarios finales de las oficinas de inmigración, cuyo conocimiento tanto del software como de la ley de inmigración probablemente habría sido poco sofisticado. Los agentes que administraban las preguntas dependían completamente del software, que excluía vías alternativas para la ciudadanía, y utilizaron el software incluso después de que nuevas jurisprudencias e interpretaciones legales hicieran que el algoritmo quedara obsoleto. Como resultado de diseñar un algoritmo para usuarios que se suponía que tenían conocimientos jurídicos sobre la ley de inmigración, el algoritmo del software provocó indirectamente un sesgo a favor de los solicitantes que se ajustaban a un conjunto muy estrecho de criterios legales establecidos por el algoritmo, en lugar de los criterios más amplios de la ley de inmigración británica. [17] : 342 

Bucles de retroalimentación

El sesgo emergente también puede crear un bucle de retroalimentación , o recursión, si los datos recopilados para un algoritmo dan como resultado respuestas del mundo real que se retroalimentan al algoritmo. [48] [49] Por ejemplo, las simulaciones del software de vigilancia predictiva (PredPol), implementado en Oakland, California, sugirieron una mayor presencia policial en los vecindarios negros según los datos de delincuencia informados por el público. [50] La simulación mostró que el público informó de delitos basándose en la visión de los coches de policía, independientemente de lo que estuviera haciendo la policía. La simulación interpretó los avistamientos de coches de policía al modelar sus predicciones de delincuencia y, a su vez, asignaría un aumento aún mayor de la presencia policial en esos vecindarios. [48] [51] [52] El Grupo de Análisis de Datos de Derechos Humanos , que realizó la simulación, advirtió que en lugares donde la discriminación racial es un factor en los arrestos, dichos bucles de retroalimentación podrían reforzar y perpetuar la discriminación racial en la vigilancia policial. [49] Otro ejemplo bien conocido de un algoritmo de este tipo que exhibe tal comportamiento es COMPAS , un software que determina la probabilidad de que un individuo se convierta en un delincuente. El software suele ser criticado por etiquetar a los individuos negros como criminales con mucha más probabilidad que otros, y luego retroalimenta los datos en el caso de que los individuos se conviertan en criminales registrados, lo que refuerza aún más el sesgo creado por el conjunto de datos sobre el que actúa el algoritmo.

Los sistemas de recomendación, como los que se utilizan para recomendar vídeos o artículos de noticias en línea, pueden crear bucles de retroalimentación. [53] Cuando los usuarios hacen clic en el contenido sugerido por algoritmos, esto influye en el siguiente conjunto de sugerencias. [54] Con el tiempo, esto puede hacer que los usuarios entren en una burbuja de filtros y no sean conscientes de contenido importante o útil. [55] [56]

Impacto

Influencias comerciales

Los algoritmos corporativos podrían ser manipulados para favorecer de manera invisible los acuerdos financieros o los acuerdos entre empresas, sin que el usuario lo sepa, ya que podría confundir el algoritmo con imparcialidad. Por ejemplo, American Airlines creó un algoritmo de búsqueda de vuelos en la década de 1980. El software presentaba una gama de vuelos de varias aerolíneas a los clientes, pero sopesaba los factores que impulsaban sus propios vuelos, independientemente del precio o la conveniencia. En un testimonio ante el Congreso de los Estados Unidos , el presidente de la aerolínea declaró abiertamente que el sistema se creó con la intención de obtener una ventaja competitiva a través de un trato preferencial. [57] : 2  [17] : 331 

En un artículo de 1998 que describe a Google , los fundadores de la empresa habían adoptado una política de transparencia en los resultados de búsqueda con respecto a la colocación paga, argumentando que "los motores de búsqueda financiados con publicidad estarán inherentemente sesgados hacia los anunciantes y lejos de las necesidades de los consumidores". [58] Este sesgo sería una manipulación "invisible" del usuario. [57] : 3 

Comportamiento electoral

Una serie de estudios sobre votantes indecisos en los EE. UU. y en la India descubrieron que los resultados de los motores de búsqueda podían cambiar los resultados de las votaciones en un 20 % aproximadamente. Los investigadores concluyeron que los candidatos "no tienen forma de competir" si un algoritmo, con o sin intención, aumentaba las listas de páginas de un candidato rival. [59] Los usuarios de Facebook que vieron mensajes relacionados con la votación tenían más probabilidades de votar. Un ensayo aleatorio de 2010 con usuarios de Facebook mostró un aumento del 20 % (340 000 votos) entre los usuarios que vieron mensajes que alentaban a votar, así como imágenes de sus amigos que habían votado. [60] El experto en derecho Jonathan Zittrain ha advertido que esto podría crear un efecto de "manipulación digital de los distritos electorales" en las elecciones, "la presentación selectiva de información por parte de un intermediario para cumplir con su agenda, en lugar de servir a sus usuarios", si se manipula intencionalmente. [61] : 335 

Discriminación de género

En 2016, se descubrió que el sitio de redes profesionales LinkedIn recomendaba variantes masculinas de nombres de mujeres en respuesta a consultas de búsqueda. El sitio no hacía recomendaciones similares en las búsquedas de nombres masculinos. Por ejemplo, "Andrea" generaba un mensaje que preguntaba si los usuarios querían decir "Andrew", pero las consultas de "Andrew" no preguntaban si los usuarios querían encontrar "Andrea". La empresa afirmó que esto era el resultado de un análisis de las interacciones de los usuarios con el sitio. [62]

En 2012, la franquicia de tiendas departamentales Target fue citada por recopilar puntos de datos para inferir cuándo las clientas estaban embarazadas, incluso si no lo habían anunciado, y luego compartir esa información con socios de marketing. [63] : 94  [64] Debido a que los datos habían sido predichos, en lugar de observados o informados directamente, la empresa no tenía obligación legal de proteger la privacidad de esas clientas. [63] : 98 

Los algoritmos de búsqueda web también han sido acusados ​​de sesgo. Los resultados de Google pueden priorizar el contenido pornográfico en términos de búsqueda relacionados con la sexualidad, por ejemplo, "lesbiana". Este sesgo se extiende al motor de búsqueda que muestra contenido popular pero sexualizado en búsquedas neutrales. Por ejemplo, los artículos "Top 25 Sexiest Women Athletes" se muestran como resultados de primera página en búsquedas de "mujeres atletas". [65] : 31  En 2017, Google ajustó estos resultados junto con otros que mostraban grupos de odio , opiniones racistas, abuso infantil y pornografía, y otro contenido perturbador y ofensivo. [66] Otros ejemplos incluyen la visualización de trabajos mejor pagados a solicitantes masculinos en sitios web de búsqueda de empleo. [67] Los investigadores también han identificado que la traducción automática exhibe una fuerte tendencia hacia valores predeterminados masculinos. [68] En particular, esto se observa en campos vinculados a una distribución de género desequilibrada, incluidas las ocupaciones STEM . [69] De hecho, los sistemas actuales de traducción automática no logran reproducir la distribución del mundo real de las trabajadoras. [70]

En 2015, Amazon.com desactivó un sistema de inteligencia artificial que había desarrollado para filtrar solicitudes de empleo cuando se dieron cuenta de que estaba sesgado contra las mujeres. [71] La herramienta de reclutamiento excluyó a las postulantes que asistían a universidades solo para mujeres y a los currículos que incluían la palabra "mujeres". [72] Un problema similar surgió con los servicios de transmisión de música: en 2019, se descubrió que el algoritmo del sistema de recomendación utilizado por Spotify estaba sesgado contra las artistas mujeres. [73] Las recomendaciones de canciones de Spotify sugerían más artistas masculinos que artistas mujeres.

Discriminación racial y étnica

Los algoritmos han sido criticados como un método para ocultar los prejuicios raciales en la toma de decisiones. [74] [75] [76] : 158  Debido a cómo se trataba a ciertas razas y grupos étnicos en el pasado, los datos a menudo pueden contener sesgos ocultos. [77] Por ejemplo, es probable que las personas negras reciban sentencias más largas que las personas blancas que cometieron el mismo delito. [78] [79] Esto podría significar potencialmente que un sistema amplifica los sesgos originales en los datos.

En 2015, Google se disculpó cuando los usuarios negros se quejaron de que un algoritmo de identificación de imágenes en su aplicación Fotos los identificaba como gorilas . [80] En 2010, las cámaras Nikon fueron criticadas cuando los algoritmos de reconocimiento de imágenes preguntaban constantemente a los usuarios asiáticos si parpadeaban. [81] Estos ejemplos son el producto del sesgo en los conjuntos de datos biométricos . [80] Los datos biométricos se extraen de aspectos del cuerpo, incluidas las características raciales observadas o inferidas, que luego se pueden transferir a puntos de datos. [76] : 154  La tecnología de reconocimiento de voz puede tener diferentes precisiones según el acento del usuario. Esto puede deberse a la falta de datos de entrenamiento para hablantes de ese acento. [82]

Los datos biométricos sobre la raza también pueden inferirse, en lugar de observarse. Por ejemplo, un estudio de 2012 mostró que los nombres comúnmente asociados con personas de raza negra tenían más probabilidades de arrojar resultados de búsqueda que implicaran antecedentes penales, independientemente de si existe algún registro policial del nombre de esa persona. [83] Un estudio de 2015 también encontró que se supone que las personas de raza negra y asiática tienen pulmones menos funcionales debido a que los datos de exposición racial y ocupacional no se incorporan al modelo de función pulmonar del algoritmo de predicción. [84] [85]

En 2019, un estudio de investigación reveló que un algoritmo de atención médica vendido por Optum favorecía a los pacientes blancos sobre los pacientes negros más enfermos. El algoritmo predice cuánto costarían los pacientes al sistema de atención médica en el futuro. Sin embargo, el costo no es neutral en cuanto a la raza, ya que los pacientes negros incurrieron en aproximadamente $1,800 menos en costos médicos por año que los pacientes blancos con la misma cantidad de enfermedades crónicas, lo que llevó a que el algoritmo calificara a los pacientes blancos como igualmente en riesgo de futuros problemas de salud que los pacientes negros que sufrían significativamente más enfermedades. [86]

Un estudio realizado por investigadores de la Universidad de California en Berkeley en noviembre de 2019 reveló que los algoritmos hipotecarios han sido discriminatorios hacia los latinos y afroamericanos, lo que discrimina a las minorías en función de su "solvencia crediticia", lo que tiene sus raíces en la ley de préstamos justos de EE. UU. que permite a los prestamistas utilizar medidas de identificación para determinar si una persona es digna de recibir préstamos. Estos algoritmos particulares estaban presentes en las empresas de tecnología financiera y se demostró que discriminaban a las minorías. [87] [ se necesita una fuente no primaria ]

Los algoritmos ya tienen numerosas aplicaciones en los sistemas jurídicos. Un ejemplo de ello es COMPAS , un programa comercial ampliamente utilizado por los tribunales estadounidenses para evaluar la probabilidad de que un acusado se convierta en reincidente . ProPublica afirma que el nivel de riesgo de reincidencia promedio asignado por COMPAS a los acusados ​​negros es significativamente más alto que el nivel de riesgo promedio asignado por COMPAS a los acusados ​​blancos, y que los acusados ​​negros tienen el doble de probabilidades de que se les asigne erróneamente la etiqueta de "alto riesgo" que los acusados ​​blancos. [88] [89]

Un ejemplo es el uso de evaluaciones de riesgo en las sentencias penales en los Estados Unidos y las audiencias de libertad condicional , a los jueces se les presentó una puntuación generada algorítmicamente destinada a reflejar el riesgo de que un prisionero repita un delito. [90] Durante el período de tiempo que comenzó en 1920 y terminó en 1970, la nacionalidad del padre de un criminal fue una consideración en esas puntuaciones de evaluación de riesgo. [91] : 4  Hoy, estas puntuaciones se comparten con los jueces de Arizona, Colorado, Delaware, Kentucky, Luisiana, Oklahoma, Virginia, Washington y Wisconsin. Una investigación independiente de ProPublica encontró que las puntuaciones eran inexactas el 80% del tiempo y estaban sesgadas desproporcionadamente para sugerir que los negros estaban en riesgo de recaída, un 77% más a menudo que los blancos. [90]

Un estudio que se propuso examinar "Riesgo, raza y reincidencia: sesgo predictivo e impacto dispar" sostiene que existe una probabilidad adversa doble (45 por ciento frente a 23 por ciento) de que los acusados ​​negros frente a los caucásicos sean clasificados erróneamente como sujetos de mayor riesgo a pesar de haber permanecido objetivamente sin ninguna reincidencia documentada durante un período de observación de dos años. [92]

En el contexto de la prisión preventiva, un artículo de revisión jurídica sostiene que las evaluaciones de riesgo algorítmicas violan los derechos de igualdad de protección de la Enmienda 14 sobre la base de la raza, ya que se sostiene que los algoritmos son claramente discriminatorios, dan lugar a un tratamiento desigual y no están diseñados específicamente para cada caso. [93]

Discurso de odio en línea

En 2017, se descubrió que un algoritmo de Facebook diseñado para eliminar el discurso de odio en línea favorecía a los hombres blancos sobre los niños negros al evaluar el contenido objetable, según documentos internos de Facebook. [94] El algoritmo, que es una combinación de programas informáticos y revisores de contenido humanos, se creó para proteger categorías amplias en lugar de subconjuntos específicos de categorías. Por ejemplo, se bloquearían las publicaciones que denunciaran a los "musulmanes", mientras que se permitirían las publicaciones que denunciaran a los "musulmanes radicales". Un resultado imprevisto del algoritmo es permitir el discurso de odio contra los niños negros, porque denuncian al subconjunto de los "niños" de los negros, en lugar de a "todos los negros", mientras que "todos los hombres blancos" desencadenaría un bloqueo, porque los blancos y los hombres no se consideran subconjuntos. [94] También se descubrió que Facebook permitía a los compradores de anuncios dirigirse a los "odiadores de judíos" como una categoría de usuarios, lo que, según la empresa, era un resultado involuntario de los algoritmos utilizados para evaluar y categorizar los datos. El diseño de la empresa también permitía a los compradores de anuncios bloquear a los afroamericanos para que no vieran anuncios de viviendas. [95]

Si bien se utilizan algoritmos para rastrear y bloquear el discurso de odio, se descubrió que algunos tenían 1,5 veces más probabilidades de marcar la información publicada por usuarios negros y 2,2 veces más probabilidades de marcar la información como discurso de odio si estaba escrita en inglés afroamericano . [96] Sin contexto para los insultos y epítetos, incluso cuando los usaban comunidades que se los habían reapropiado, se marcaron. [97]

Vigilancia

El software de cámaras de vigilancia puede considerarse inherentemente político porque requiere algoritmos para distinguir comportamientos normales de anormales y para determinar quién pertenece a ciertos lugares en ciertos momentos. [14] : 572  Se ha demostrado que la capacidad de dichos algoritmos para reconocer rostros en un espectro racial está limitada por la diversidad racial de las imágenes en su base de datos de entrenamiento; si la mayoría de las fotos pertenecen a una raza o género, el software es mejor para reconocer a otros miembros de esa raza o género. [98] Sin embargo, incluso las auditorías de estos sistemas de reconocimiento de imágenes son éticamente problemáticas, y algunos académicos han sugerido que el contexto de la tecnología siempre tendrá un impacto desproporcionado en las comunidades cuyas acciones están sobrevigiladas. [99] Por ejemplo, un análisis de 2002 del software utilizado para identificar individuos en imágenes de CCTV encontró varios ejemplos de sesgo cuando se ejecutó contra bases de datos criminales. Se evaluó que el software identificaba a los hombres con mayor frecuencia que a las mujeres, a las personas mayores con mayor frecuencia que a los jóvenes e identificaba a los asiáticos, afroamericanos y otras razas con mayor frecuencia que a los blancos. [28] : 190  Un estudio de 2018 concluyó que el software de reconocimiento facial probablemente identificaba con precisión a los hombres de piel clara (normalmente europeos), con índices de precisión ligeramente inferiores para las mujeres de piel clara. Los hombres y las mujeres de piel oscura tenían una probabilidad significativamente menor de ser identificados con precisión por el software de reconocimiento facial. Estas disparidades se atribuyen a la escasa representación de los participantes de piel más oscura en los conjuntos de datos utilizados para desarrollar este software. [100] [101]

Discriminación contra la comunidad LGBTQ

En 2011, los usuarios de la aplicación de encuentros gay Grindr informaron de que el algoritmo de recomendación de la tienda de Android vinculaba Grindr a aplicaciones diseñadas para encontrar agresores sexuales, lo que según los críticos relacionaba de forma incorrecta la homosexualidad con la pedofilia . El escritor Mike Ananny criticó esta asociación en The Atlantic , argumentando que tales asociaciones estigmatizaban aún más a los hombres homosexuales . [102] En 2009, el minorista en línea Amazon eliminó de la lista 57.000 libros después de que un cambio algorítmico ampliara su lista negra de "contenido para adultos" para incluir cualquier libro que abordara la sexualidad o temas homosexuales, como la novela aclamada por la crítica Brokeback Mountain . [103] [18] : 5  [104]

En 2019, se descubrió que en Facebook, las búsquedas de “fotos de mis amigas” arrojaban sugerencias como “en bikini” o “en la playa”. Por el contrario, las búsquedas de “fotos de mis amigos” no arrojaban ningún resultado. [105]

Se ha visto que la tecnología de reconocimiento facial causa problemas a las personas transgénero. En 2018, hubo informes de conductores de Uber que eran transgénero o estaban en transición que experimentaron dificultades con el software de reconocimiento facial que Uber implementa como medida de seguridad incorporada. Como resultado de esto, algunas de las cuentas de conductores transgénero de Uber fueron suspendidas, lo que les costó tarifas y potencialmente su trabajo, todo debido a que el software de reconocimiento facial tuvo dificultades para reconocer el rostro de un conductor trans que estaba en transición. [106] Aunque la solución a este problema parecería ser incluir a las personas trans en conjuntos de entrenamiento para modelos de aprendizaje automático, una instancia de videos trans de YouTube que se recopilaron para usarse en datos de entrenamiento no recibió el consentimiento de las personas trans que se incluyeron en los videos, lo que creó un problema de violación de la privacidad. [107]

También se realizó un estudio en la Universidad de Stanford en 2017 que probó algoritmos en un sistema de aprendizaje automático que se decía que podía detectar la orientación sexual de un individuo basándose en sus imágenes faciales. [108] El modelo del estudio predijo una distinción correcta entre hombres homosexuales y heterosexuales el 81% de las veces, y una distinción correcta entre mujeres homosexuales y heterosexuales el 74% de las veces. Este estudio resultó en una reacción negativa de la comunidad LGBTQIA, que temía las posibles repercusiones negativas que este sistema de IA podría tener en los individuos de la comunidad LGBTQIA al poner a las personas en riesgo de ser "descubiertas" contra su voluntad. [109]

Discriminación por discapacidad

Si bien las modalidades de equidad algorítmica se han evaluado sobre la base de diferentes aspectos del sesgo, como el género, la raza y el estatus socioeconómico, la discapacidad a menudo se deja fuera de la lista. [110] [111] La marginación que enfrentan actualmente las personas con discapacidad en la sociedad se está traduciendo en sistemas y algoritmos de IA, lo que crea aún más exclusión [112] [113]

La naturaleza cambiante de las discapacidades y su caracterización subjetiva dificultan su abordaje computacional. La falta de profundidad histórica en la definición de discapacidades, la recopilación de su incidencia y prevalencia en cuestionarios y el establecimiento de reconocimiento se suman a la controversia y la ambigüedad en su cuantificación y cálculos. La definición de discapacidad ha sido debatida durante mucho tiempo, pasando de un modelo médico a un modelo social de discapacidad más recientemente, que establece que la discapacidad es el resultado del desajuste entre las interacciones de las personas y las barreras en su entorno, en lugar de deficiencias y condiciones de salud. Las discapacidades también pueden ser situacionales o temporales, [114] consideradas en un estado de cambio constante. Las discapacidades son increíblemente diversas, [115] caen dentro de un amplio espectro y pueden ser únicas para cada individuo. La identidad de las personas puede variar en función de los tipos específicos de discapacidad que experimentan, cómo utilizan las tecnologías de asistencia y a quién apoyan. El alto nivel de variabilidad en las experiencias de las personas personaliza en gran medida cómo se puede manifestar una discapacidad. Las identidades superpuestas y las experiencias interseccionales [116] se excluyen de las estadísticas y los conjuntos de datos, [117] por lo tanto, están subrepresentadas y son inexistentes en los datos de entrenamiento. [118] Por lo tanto, los modelos de aprendizaje automático se entrenan de manera desigual y los sistemas de inteligencia artificial perpetúan un mayor sesgo algorítmico. [119] Por ejemplo, si las personas con discapacidades del habla no están incluidas en el entrenamiento de las funciones de control de voz y los asistentes de IA inteligentes, no pueden usar la función o las respuestas recibidas de Google Home o Alexa son extremadamente pobres.

Teniendo en cuenta los estereotipos y estigmas que aún existen en torno a las discapacidades, la naturaleza sensible de revelar estas características identificatorias también conlleva grandes desafíos en materia de privacidad. Dado que revelar información sobre discapacidad puede ser un tabú y generar más discriminación contra esta población, existe una falta de datos explícitos sobre discapacidad disponibles para que los sistemas algorítmicos interactúen con ellos. Las personas con discapacidad enfrentan daños y riesgos adicionales con respecto a su apoyo social, el costo del seguro médico, la discriminación en el lugar de trabajo y otras necesidades básicas al revelar su condición de discapacidad. Los algoritmos están exacerbando aún más esta brecha al recrear los sesgos que ya existen en los sistemas y estructuras sociales. [120] [121]

Búsqueda de Google

Aunque los usuarios generan resultados que se "completan" automáticamente, Google no ha eliminado el texto de autocompletado sexista y racista. Por ejemplo, en Algorithms of Oppression: How Search Engines Reinforce Racism, Safiya Noble señala un ejemplo de la búsqueda de "chicas negras", que, según se informó, dio como resultado imágenes pornográficas. Google afirmó que no podía eliminar esas páginas a menos que se consideraran ilegales. [122]

Obstáculos a la investigación

Varios problemas impiden el estudio del sesgo algorítmico a gran escala, lo que dificulta la aplicación de estudios académicamente rigurosos y la comprensión pública. [13] : 5  [123] [124]

Definición de equidad

La literatura sobre el sesgo algorítmico se ha centrado en el remedio de la equidad, pero las definiciones de equidad a menudo son incompatibles entre sí y con las realidades de la optimización del aprendizaje automático. [125] [126] Por ejemplo, definir la equidad como una "igualdad de resultados" puede simplemente referirse a un sistema que produce el mismo resultado para todas las personas, mientras que la equidad definida como "igualdad de trato" puede considerar explícitamente las diferencias entre individuos. [127] : 2  Como resultado, a veces se describe la equidad como algo en conflicto con la precisión de un modelo, lo que sugiere tensiones innatas entre las prioridades del bienestar social y las prioridades de los proveedores que diseñan estos sistemas. [128] : 2  En respuesta a esta tensión, los investigadores han sugerido tener más cuidado con el diseño y uso de sistemas que recurren a algoritmos potencialmente sesgados, con "equidad" definida para aplicaciones y contextos específicos. [129]

Complejidad

Los procesos algorítmicos son complejos y a menudo exceden la comprensión de las personas que los utilizan. [13] : 2  [130] : 7  Las operaciones a gran escala pueden no ser entendidas ni siquiera por quienes participan en su creación. [131] Los métodos y procesos de los programas contemporáneos a menudo se ven oscurecidos por la incapacidad de conocer cada permutación de la entrada o salida de un código. [28] : 183  El científico social Bruno Latour ha identificado este proceso como blackboxing , un proceso en el que "el trabajo científico y técnico se vuelve invisible por su propio éxito. Cuando una máquina funciona de manera eficiente, cuando se resuelve una cuestión de hecho, uno necesita concentrarse solo en sus entradas y salidas y no en su complejidad interna. Por lo tanto, paradójicamente, cuanto más éxito tienen la ciencia y la tecnología, más opacas y oscuras se vuelven". [132] Otros han criticado la metáfora de la caja negra, sugiriendo que los algoritmos actuales no son una caja negra, sino una red de cajas negras interconectadas. [133] : 92 

Un ejemplo de esta complejidad se puede encontrar en la variedad de datos que se utilizan para personalizar la retroalimentación. El sitio de redes sociales Facebook tuvo en cuenta al menos 100.000 puntos de datos para determinar el diseño del feed de redes sociales de un usuario en 2013. [134] Además, los grandes equipos de programadores pueden operar en un aislamiento relativo entre sí y no ser conscientes de los efectos acumulativos de pequeñas decisiones dentro de algoritmos complejos y conectados. [26] : 118  No todo el código es original y puede tomarse prestado de otras bibliotecas, lo que crea un conjunto complicado de relaciones entre el procesamiento de datos y los sistemas de entrada de datos. [6] : 22 

La complejidad adicional se produce a través del aprendizaje automático y la personalización de algoritmos basados ​​en interacciones del usuario, como clics, tiempo de permanencia en el sitio y otras métricas. Estos ajustes personales pueden confundir los intentos generales de comprender los algoritmos. [135] : 367  [130] : 7  Un servicio de radio en streaming no identificado informó que utilizó cinco algoritmos de selección de música únicos que seleccionó para sus usuarios, en función de su comportamiento. Esto crea diferentes experiencias de los mismos servicios de streaming entre diferentes usuarios, lo que dificulta la comprensión de lo que hacen estos algoritmos. [13] : 5  Las empresas también realizan pruebas A/B frecuentes para ajustar los algoritmos en función de la respuesta del usuario. Por ejemplo, el motor de búsqueda Bing puede ejecutar hasta diez millones de variaciones sutiles de su servicio por día, lo que crea diferentes experiencias del servicio entre cada uso y/o usuario. [13] : 5 

Falta de transparencia

Los algoritmos comerciales son propietarios y pueden ser tratados como secretos comerciales . [13] : 2  [130] : 7  [28] : 183  Tratar los algoritmos como secretos comerciales protege a las empresas, como los motores de búsqueda , donde un algoritmo transparente podría revelar tácticas para manipular las clasificaciones de búsqueda. [135] : 366  Esto dificulta que los investigadores realicen entrevistas o análisis para descubrir cómo funcionan los algoritmos. [6] : 20  Los críticos sugieren que dicho secreto también puede oscurecer posibles métodos poco éticos utilizados en la producción o procesamiento de resultados algorítmicos. [135] : 369  Otros críticos, como la abogada y activista Katarzyna Szymielewicz, han sugerido que la falta de transparencia a menudo se disfraza como resultado de la complejidad algorítmica, protegiendo a las empresas de revelar o investigar sus propios procesos algorítmicos. [136]

Falta de datos sobre categorías sensibles

Una barrera importante para comprender la lucha contra el sesgo en la práctica es que las categorías, como la demografía de las personas protegidas por la ley contra la discriminación , a menudo no se consideran explícitamente al recopilar y procesar datos. [137] En algunos casos, hay pocas oportunidades de recopilar estos datos explícitamente, como en la identificación de dispositivos , la computación ubicua y la Internet de las cosas . En otros casos, el responsable del tratamiento de datos puede no desear recopilar dichos datos por razones de reputación o porque representa una mayor responsabilidad y riesgo de seguridad. También puede ser el caso de que, al menos en relación con el Reglamento General de Protección de Datos de la Unión Europea , dichos datos caigan dentro de las disposiciones de "categoría especial" (artículo 9) y, por lo tanto, vengan con más restricciones a la posible recopilación y procesamiento.

Algunos profesionales han intentado estimar e imputar estas categorizaciones sensibles faltantes para permitir la mitigación del sesgo, por ejemplo, construyendo sistemas para inferir la etnicidad a partir de los nombres, [138] sin embargo, esto puede introducir otras formas de sesgo si no se realiza con cuidado. [139] Los investigadores del aprendizaje automático han recurrido a tecnologías criptográficas que mejoran la privacidad, como la computación multipartita segura, para proponer métodos mediante los cuales se puede evaluar o mitigar el sesgo algorítmico sin que estos datos estén nunca disponibles para los modeladores en texto claro . [140]

El sesgo algorítmico no sólo incluye categorías protegidas, sino que también puede afectar a características menos fácilmente observables o codificables, como los puntos de vista políticos. En estos casos, rara vez hay una verdad básica fácilmente accesible o no controvertida , y eliminar el sesgo de un sistema de este tipo es más difícil. [141] Además, pueden surgir correlaciones falsas y accidentales de una falta de comprensión de las categorías protegidas, por ejemplo, las tarifas de seguros basadas en datos históricos de accidentes automovilísticos que pueden superponerse, estrictamente por coincidencia, con grupos residenciales de minorías étnicas. [142]

Soluciones

Un estudio de 84 directrices de políticas sobre IA ética concluyó que la equidad y la "mitigación de sesgos no deseados" eran un punto de preocupación común, y se abordaban mediante una combinación de soluciones técnicas, transparencia y monitoreo, derecho a reparación y mayor supervisión, y esfuerzos de diversidad e inclusión. [143]

Técnico

Ha habido varios intentos de crear métodos y herramientas que puedan detectar y observar sesgos dentro de un algoritmo. Estos campos emergentes se centran en herramientas que normalmente se aplican a los datos (de entrenamiento) utilizados por el programa en lugar de a los procesos internos del algoritmo. Estos métodos también pueden analizar la salida de un programa y su utilidad y, por lo tanto, pueden implicar el análisis de su matriz de confusión (o tabla de confusión). [144] [145] [146] [ 147 ] [148] [149] [150] [151] [152] IA explicable para detectar sesgos en algoritmos El sesgo es una forma sugerida de detectar la existencia de sesgo en un algoritmo o modelo de aprendizaje. [153] El uso del aprendizaje automático para detectar sesgos se denomina "realizar una auditoría de IA", donde el "auditor" es un algoritmo que revisa el modelo de IA y los datos de entrenamiento para identificar sesgos. [154] Asegurarse de que una herramienta de IA, como un clasificador, esté libre de sesgos es más difícil que simplemente eliminar la información confidencial de sus señales de entrada, porque esto suele estar implícito en otras señales. Por ejemplo, los pasatiempos, deportes y escuelas a las que asiste un candidato a un puesto de trabajo podrían revelar su género al software, incluso cuando esto se elimina del análisis. Las soluciones a este problema implican garantizar que el agente inteligente no tenga ninguna información que pueda usarse para reconstruir la información protegida y sensible sobre el sujeto, como se demostró por primera vez en [155], donde una red de aprendizaje profundo se entrenó simultáneamente para aprender una tarea y, al mismo tiempo, ser completamente agnóstica sobre la característica protegida. Se propuso un método más simple en el contexto de las incrustaciones de palabras, que implica eliminar la información que está correlacionada con la característica protegida. [156]

Actualmente, se está redactando un nuevo estándar IEEE que tiene como objetivo especificar metodologías que ayuden a los creadores de algoritmos a eliminar problemas de sesgo y articular la transparencia (es decir, a las autoridades o los usuarios finales ) sobre la función y los posibles efectos de sus algoritmos. El proyecto fue aprobado en febrero de 2017 y está patrocinado por el Comité de Estándares de Ingeniería de Sistemas y Software, un comité autorizado por la IEEE Computer Society . Se espera que se presente un borrador del estándar para votación en junio de 2019. [157] [158]

Transparencia y seguimiento

Las directrices éticas sobre IA apuntan a la necesidad de rendición de cuentas, recomendando que se tomen medidas para mejorar la interpretabilidad de los resultados. [159] Tales soluciones incluyen la consideración del "derecho a la comprensión" en los algoritmos de aprendizaje automático, y resistir la implementación del aprendizaje automático en situaciones en las que las decisiones no se puedan explicar o revisar. [160] Con este fin, ya está en marcha un movimiento por una " IA explicable " dentro de organizaciones como DARPA , por razones que van más allá del remedio del sesgo. [161] Price Waterhouse Coopers , por ejemplo, también sugiere que monitorear los resultados significa diseñar sistemas de tal manera que se asegure que los componentes solitarios del sistema puedan aislarse y apagarse si sesgan los resultados. [162]

Un enfoque inicial hacia la transparencia incluía la apertura de código fuente de los algoritmos . [163] Se puede examinar el código fuente del software y proponer mejoras a través de instalaciones de alojamiento de código fuente . Sin embargo, este enfoque no produce necesariamente los efectos previstos. Las empresas y organizaciones pueden compartir toda la documentación y el código posibles, pero esto no establece la transparencia si la audiencia no entiende la información proporcionada. Por lo tanto, vale la pena explorar el papel de una audiencia crítica interesada en relación con la transparencia. Los algoritmos no pueden ser considerados responsables sin una audiencia crítica. [164]

Derecho a reparación

Desde una perspectiva regulatoria, la Declaración de Toronto insta a aplicar un marco de derechos humanos a los daños causados ​​por el sesgo algorítmico. [165] Esto incluye legislar las expectativas de debida diligencia por parte de los diseñadores de estos algoritmos y crear rendición de cuentas cuando los actores privados no protegen el interés público, señalando que esos derechos pueden verse oscurecidos por la complejidad de determinar la responsabilidad dentro de una red de procesos complejos e interconectados. [166] Otros proponen la necesidad de mecanismos claros de seguro de responsabilidad. [167]

Diversidad e inclusión

En medio de las preocupaciones de que el diseño de sistemas de IA es principalmente el dominio de ingenieros blancos y masculinos, [168] varios académicos han sugerido que el sesgo algorítmico puede minimizarse ampliando la inclusión en las filas de quienes diseñan sistemas de IA. [160] [143] Por ejemplo, solo el 12% de los ingenieros de aprendizaje automático son mujeres, [169] y los líderes negros de IA señalan una "crisis de diversidad" en el campo. [170] Grupos como Black in AI y Queer in AI están intentando crear espacios más inclusivos en la comunidad de IA y trabajan contra los deseos a menudo dañinos de las corporaciones que controlan la trayectoria de la investigación de IA. [171] Las críticas a los simples esfuerzos de inclusión sugieren que los programas de diversidad no pueden abordar formas superpuestas de desigualdad, y han pedido que se aplique una lente más deliberada de interseccionalidad al diseño de algoritmos. [172] [173] : 4  Los investigadores de la Universidad de Cambridge han argumentado que abordar la diversidad racial se ve obstaculizado por la "blancura" de la cultura de la IA. [174]

Interdisciplinariedad y colaboración

La integración de la interdisciplinariedad y la colaboración en el desarrollo de sistemas de IA puede desempeñar un papel fundamental a la hora de abordar el sesgo algorítmico. La integración de conocimientos, experiencia y perspectivas de disciplinas ajenas a la informática puede fomentar una mejor comprensión del impacto que tienen las soluciones basadas en datos en la sociedad. Un ejemplo de ello en la investigación de la IA es PACT ( Participatory Approach to enable Capabilities in communTies), un marco propuesto para facilitar la colaboración en el desarrollo de soluciones impulsadas por la IA relacionadas con el impacto social. [175] Este marco identifica los principios rectores para la participación de las partes interesadas cuando se trabaja en proyectos de IA para el bien social (AI4SG). PACT intenta reafirmar la importancia de los esfuerzos de descolonización y de cambio de poder en el diseño de soluciones de IA centradas en el ser humano. Una iniciativa académica en este sentido es el Instituto de Inteligencia Artificial Centrada en el Ser Humano de la Universidad de Stanford, que tiene como objetivo fomentar la colaboración multidisciplinaria. La misión del instituto es promover la investigación, la educación, la política y la práctica de la inteligencia artificial (IA) para mejorar la condición humana. [176]

La colaboración con expertos externos y diversas partes interesadas facilita el desarrollo ético, inclusivo y responsable de sistemas inteligentes. Incorpora consideraciones éticas, comprende el contexto social y cultural, promueve el diseño centrado en el ser humano, aprovecha la experiencia técnica y aborda consideraciones políticas y legales. [177] La ​​colaboración entre disciplinas es esencial para mitigar eficazmente el sesgo en los sistemas de IA y garantizar que las tecnologías de IA sean justas, transparentes y responsables.

Regulación

Europa

El Reglamento General de Protección de Datos (RGPD), el régimen de protección de datos revisado de la Unión Europea que se implementó en 2018, aborda la "toma de decisiones individuales automatizadas, incluida la elaboración de perfiles " en el artículo 22. Estas reglas prohíben "únicamente" las decisiones automatizadas que tienen un efecto "significativo" o "legal" en una persona, a menos que estén explícitamente autorizadas por el consentimiento, el contrato o la ley del estado miembro . Cuando se permiten, deben existir salvaguardas, como el derecho a una intervención humana y un derecho no vinculante a una explicación de las decisiones tomadas. Si bien estas regulaciones se consideran comúnmente nuevas, han existido disposiciones casi idénticas en toda Europa desde 1995, en el artículo 15 de la Directiva de Protección de Datos . Las reglas y salvaguardas originales de las decisiones automatizadas se encuentran en la legislación francesa desde fines de la década de 1970. [178]

El RGPD aborda el sesgo algorítmico en los sistemas de elaboración de perfiles, así como los enfoques estadísticos posibles para limpiarlo, directamente en el considerando 71, [179] señalando que

El responsable del tratamiento debe utilizar procedimientos matemáticos o estadísticos apropiados para la elaboración de perfiles, aplicar medidas técnicas y organizativas apropiadas... que eviten, entre otros, efectos discriminatorios en personas físicas por motivos de origen racial o étnico, opiniones políticas, religión o convicciones, afiliación sindical, estado genético o de salud u orientación sexual, o que den lugar a medidas que tengan tales efectos.

Al igual que el derecho no vinculante a una explicación en el considerando 71, el problema es la naturaleza no vinculante de los considerandos . [180] Si bien el Grupo de Trabajo del Artículo 29 que asesoró sobre la implementación de la ley de protección de datos lo ha tratado como un requisito , [179] sus dimensiones prácticas no están claras. Se ha argumentado que las Evaluaciones de Impacto de la Protección de Datos para la elaboración de perfiles de datos de alto riesgo (junto con otras medidas preventivas dentro de la protección de datos) pueden ser una mejor manera de abordar las cuestiones de discriminación algorítmica, ya que restringen las acciones de quienes implementan algoritmos, en lugar de exigir a los consumidores que presenten quejas o soliciten cambios. [181]

Estados Unidos

Estados Unidos no tiene una legislación general que controle el sesgo algorítmico, y se aborda el problema a través de varias leyes estatales y federales que pueden variar según la industria, el sector y la forma en que se utiliza un algoritmo. [182] Muchas políticas son autoejecutadas o controladas por la Comisión Federal de Comercio . [182] En 2016, la administración Obama publicó el Plan Estratégico Nacional de Investigación y Desarrollo de Inteligencia Artificial, [183] ​​que tenía como objetivo guiar a los responsables de las políticas hacia una evaluación crítica de los algoritmos. Recomendaba a los investigadores "diseñar estos sistemas de modo que sus acciones y toma de decisiones sean transparentes y fácilmente interpretables por los humanos, y así puedan examinarse para detectar cualquier sesgo que puedan contener, en lugar de simplemente aprender y repetir estos sesgos". Concebido solo como una guía, el informe no creó ningún precedente legal. [184] : 26 

En 2017, la ciudad de Nueva York aprobó el primer proyecto de ley de rendición de cuentas algorítmica en los Estados Unidos. [185] El proyecto de ley, que entró en vigor el 1 de enero de 2018, exigía "la creación de un grupo de trabajo que proporcione recomendaciones sobre cómo se puede compartir con el público la información sobre los sistemas de toma de decisiones automatizados de las agencias, y cómo las agencias pueden abordar los casos en que las personas se ven perjudicadas por los sistemas de toma de decisiones automatizados de las agencias". [186] El grupo de trabajo debe presentar sus conclusiones y recomendaciones para la adopción de medidas reglamentarias adicionales en 2019. [187]

India

El 31 de julio de 2018 se presentó un proyecto de ley sobre datos personales. [188] El proyecto propone normas para el almacenamiento, procesamiento y transmisión de datos. Si bien no utiliza el término algoritmo, prevé disposiciones para “los daños resultantes de cualquier procesamiento o cualquier tipo de procesamiento realizado por el fiduciario”. Define “toda negación o retiro de un servicio, beneficio o bien resultante de una decisión evaluativa sobre el titular de los datos” o “todo trato discriminatorio” como una fuente de daño que podría surgir del uso indebido de los datos. También establece disposiciones especiales para las personas de “estatus intersexual”. [189]

Véase también

Referencias

  1. ^ Jacobi, Jennifer (13 de septiembre de 2001). «Patente n.° US2001021914». Espacenet . Consultado el 4 de julio de 2018 .
  2. ^ Marabelli, Marco (2024). Inteligencia artificial, ética y discriminación en los negocios. Estudios Palgrave sobre equidad, diversidad, inclusión e indigenización en los negocios. Springer. doi :10.1007/978-3-031-53919-0. ISBN 978-3-031-53918-3.
  3. ^ Suresh, Harini; Guttag, John (4 de noviembre de 2021). "Un marco para comprender las fuentes de daño a lo largo del ciclo de vida del aprendizaje automático". Equidad y acceso en algoritmos, mecanismos y optimización . EAAMO '21. Nueva York, NY, EE. UU.: Association for Computing Machinery. págs. 1–9. doi :10.1145/3465416.3483305. ISBN 978-1-4503-8553-4. Número de identificación del sujeto  235436386.
  4. ^ Striphas, Ted (febrero de 2012). «¿Qué es un algoritmo? – Culture Digitally». culturedigitally.org . Consultado el 20 de noviembre de 2017 .
  5. ^ Cormen, Thomas H.; Leiserson, Charles E.; Rivest, Ronald L.; Stein, Clifford (2009). Introducción a los algoritmos (3ª ed.). Cambridge, Massachusetts: MIT Press. pag. 5.ISBN 978-0-262-03384-8.
  6. ^ abc Kitchin, Rob (25 de febrero de 2016). "Pensar críticamente e investigar algoritmos" (PDF) . Información, comunicación y sociedad . 20 (1): 14–29. doi :10.1080/1369118X.2016.1154087. S2CID  13798875.
  7. ^ "Cómo funciona la búsqueda de Google" . Consultado el 19 de noviembre de 2017 .
  8. ^ Luckerson, Victor. "Así es como funciona realmente tu sección de noticias de Facebook". Time . Consultado el 19 de noviembre de 2017 .
  9. ^ Vanderbilt, Tom (7 de agosto de 2013). "La ciencia detrás de los algoritmos de Netflix que deciden lo que verás a continuación". Wired . Consultado el 19 de noviembre de 2017 .
  10. ^ Angwin, Julia ; Mattu, Surya (20 de septiembre de 2016). "Amazon dice que pone a los clientes en primer lugar, pero su algoritmo de fijación de precios no lo hace — ProPublica". ProPublica . Consultado el 19 de noviembre de 2017 .
  11. ^ Livingstone, Rob (13 de marzo de 2017). «El futuro de la publicidad online es el big data y los algoritmos». The Conversation . Consultado el 19 de noviembre de 2017 .
  12. ^ Hickman, Leo (1 de julio de 2013). «Cómo los algoritmos gobiernan el mundo». The Guardian . Consultado el 19 de noviembre de 2017 .
  13. ^ abcdef Seaver, Nick. "Knowing Algorithms" (PDF) . Media in Transition 8, Cambridge, MA, abril de 2013. Archivado desde el original (PDF) el 1 de diciembre de 2017. Consultado el 18 de noviembre de 2017 .
  14. ^ abc Graham, Stephen DN (julio de 2016). "Geografías ordenadas por software" (PDF) . Progress in Human Geography (manuscrito enviado). 29 (5): 562–580. doi :10.1191/0309132505ph568oa. S2CID  19119278.
  15. ^ abc Tewell, Eamon (4 de abril de 2016). «Hacia la lectura resistente de la información: Google, la observación resistente y la alfabetización informativa crítica». Portal: Bibliotecas y la Academia . 16 (2): 289–310. doi :10.1353/pla.2016.0017. ISSN  1530-7131. S2CID  55749077 . Consultado el 19 de noviembre de 2017 .
  16. ^ Crawford, Kate (1 de abril de 2013). "Los sesgos ocultos en el Big Data". Harvard Business Review .
  17. ^ abcdefghijklmnopq Friedman, Batya; Nissenbaum, Helen (julio de 1996). "Bias in Computer Systems" (PDF) . ACM Transactions on Information Systems . 14 (3): 330–347. doi :10.1145/230538.230561. S2CID  207195759 . Consultado el 10 de marzo de 2019 .
  18. ^ abcdef Gillespie, Tarleton; Boczkowski, Pablo; Foot, Kristin (2014). Tecnologías de los medios . Cambridge: MIT Press. págs. 1–30. ISBN 9780262525374.
  19. ^ ab Diakopoulos, Nicholas. "Responsabilidad algorítmica: sobre la investigación de las cajas negras |". towcenter.org . Consultado el 19 de noviembre de 2017 .
  20. ^ Lipartito, Kenneth (6 de enero de 2011). La narrativa y el algoritmo: géneros de informes crediticios desde el siglo XIX hasta la actualidad (PDF) (manuscrito enviado). doi :10.2139/SSRN.1736283. S2CID  166742927. SSRN  1736283.
  21. ^ ab Goodman, Bryce; Flaxman, Seth (2017). "Regulaciones de la UE sobre toma de decisiones algorítmica y un "derecho a la explicación""". Revista AI . 38 (3): 50. arXiv : 1606.08813 . doi :10.1609/aimag.v38i3.2741. S2CID  7373959.
  22. ^ abcdefg Weizenbaum, Joseph (1976). El poder de las computadoras y la razón humana: del juicio al cálculo . San Francisco: WH Freeman. ISBN 978-0-7167-0464-5.
  23. ^ ab Goffrey, Andrew (2008). "Algoritmo". En Fuller, Matthew (ed.). Estudios de software: un léxico . Cambridge, Mass.: MIT Press. págs. 15-20. ISBN 978-1-4356-4787-9.
  24. ^ Lowry, Stella; Macpherson, Gordon (5 de marzo de 1988). "Una mancha en la profesión". British Medical Journal . 296 (6623): 657–8. doi :10.1136/bmj.296.6623.657. PMC 2545288 . PMID  3128356 . Consultado el 17 de noviembre de 2017 . 
  25. ^ Miller, Alex P. (26 de julio de 2018). "¿Quiere tomar decisiones menos sesgadas? Utilice algoritmos". Harvard Business Review . Consultado el 31 de julio de 2018 .
  26. ^ abc Introna, Lucas D. (2 de diciembre de 2011). "El encuadre del código". Teoría, cultura y sociedad . 28 (6): 113–141. doi :10.1177/0263276411418131. S2CID  145190381.
  27. ^ Bogost, Ian (15 de enero de 2015). «La catedral de la computación». The Atlantic . Consultado el 19 de noviembre de 2017 .
  28. ^ abcdefg Introna, Lucas; Wood, David (2004). "Representando la vigilancia algorítmica: la política de los sistemas de reconocimiento facial". Vigilancia y sociedad . 2 : 177–198 . Consultado el 19 de noviembre de 2017 .
  29. ^ abcd Introna, Lucas D. (21 de diciembre de 2006). "Mantener la reversibilidad de los plegados: Hacer visible la ética (política) de la tecnología de la información". Ética y tecnología de la información . 9 (1): 11–25. CiteSeerX 10.1.1.154.1313 . doi :10.1007/s10676-006-9133-z. S2CID  17355392. 
  30. ^ ab Shirky, Clay. "Una publicación especulativa sobre la idea de autoridad algorítmica Clay Shirky". www.shirky.com . Archivado desde el original el 15 de marzo de 2012 . Consultado el 20 de noviembre de 2017 .
  31. ^ ab Ziewitz, Malte (1 de enero de 2016). "Algoritmos de gobierno: mitos, desorden y métodos". Ciencia, tecnología y valores humanos . 41 (1): 3–16. doi : 10.1177/0162243915608948 . ISSN  0162-2439. S2CID  148023125.
  32. ^ Lash, Scott (30 de junio de 2016). "Poder después de la hegemonía". Teoría, cultura y sociedad . 24 (3): 55–78. doi :10.1177/0263276407075956. S2CID  145639801.
  33. ^ ab Garcia, Megan (1 de enero de 2016). "Racista en la máquina". Revista de Política Mundial . 33 (4): 111–117. doi :10.1215/07402775-3813015. S2CID  151595343.
  34. ^ "Registro ACM FAccT 2021". fatconference.org . Consultado el 14 de noviembre de 2021 .
  35. ^ Ochigame, Rodrigo (20 de diciembre de 2019). «La invención de la «IA ética»: cómo las grandes tecnológicas manipulan a la academia para evitar la regulación». The Intercept . Consultado el 11 de febrero de 2020 .
  36. ^ Sergot, MJ; Sadri, F; Kowalski, RA; Kriwaczek, F; Hammond, P; Cory, HT (mayo de 1986). "La Ley de Nacionalidad Británica como un Programa Lógico" (PDF) . Comunicaciones de la ACM . 29 (5): 370–386. doi :10.1145/5689.5920. S2CID  5665107 . Consultado el 18 de noviembre de 2017 .
  37. ^ ab "Para detener el sesgo algorítmico, primero tenemos que definirlo". Brookings . Consultado el 27 de junio de 2023 .
  38. ^ Evans, Melanie; Mathews, Anna Wilde (24 de octubre de 2019). "Investigadores encuentran sesgo racial en algoritmo hospitalario". Wall Street Journal . ISSN  0099-9660 . Consultado el 27 de junio de 2023 .
  39. ^ abc Luo, Queenie; Puett, Michael J.; Smith, Michael D. (23 de mayo de 2023), Un espejo en perspectiva del elefante: investigación del sesgo lingüístico en Google, ChatGPT, Wikipedia y YouTube , arXiv : 2303.16281
  40. ^ Busker, Tony; Choenni, Sunil; Shoae Bargh, Mortaza (20 de noviembre de 2023). "Estereotipos en ChatGPT: un estudio empírico". Actas de la 16.ª Conferencia Internacional sobre Teoría y Práctica de la Gobernanza Electrónica . ICEGOV '23. Nueva York, NY, EE. UU.: Association for Computing Machinery. págs. 24–32. doi :10.1145/3614321.3614325. ISBN 979-8-4007-0742-1.
  41. ^ Kotek, Hadas; Dockum, Rikker; Sun, David (5 de noviembre de 2023). "Sesgo de género y estereotipos en modelos de lenguaje de gran tamaño". Actas de la Conferencia de Inteligencia Colectiva de la ACM . CI '23. Nueva York, NY, EE. UU.: Association for Computing Machinery. págs. 12–24. doi :10.1145/3582269.3615599. ISBN 979-8-4007-0113-9.
  42. ^ Cheng, Myra; Durmus, Esin; Jurafsky, Dan (29 de mayo de 2023), Marked Personas: uso de indicaciones de lenguaje natural para medir estereotipos en modelos de lenguaje , arXiv : 2305.18189
  43. ^ Friðriksdóttir, Steinunn Rut; Einarsson, Hafsteinn (2024), "¿Gramática de género o sesgo arraigado? Exploración del sesgo de género en modelos de lengua islandesa", Lrec-Coling 2024 : 7596–7610
  44. ^ Feng, Shangbin; Park, Chan Young; Liu, Yuhan; Tsvetkov, Yulia (julio de 2023). Rogers, Anna; Boyd-Graber, Jordan; Okazaki, Naoaki (eds.). "De los datos de preentrenamiento a los modelos de lenguaje y las tareas posteriores: seguimiento de los rastros de sesgos políticos que conducen a modelos de PNL injustos". Actas de la 61.ª reunión anual de la Asociación de Lingüística Computacional (volumen 1: artículos extensos) . Toronto, Canadá: Asociación de Lingüística Computacional: 11737–11762. arXiv : 2305.08283 . doi : 10.18653/v1/2023.acl-long.656 .
  45. ^ Gillespie, Tarleton (25 de junio de 2014). «Algoritmo [borrador] [#digitalkeywords] – Culture Digitally». culturedigitally.org . Consultado el 20 de noviembre de 2017 .
  46. ^ Roth, AE 1524–1528. (14 de diciembre de 1990). «Nuevos médicos: un experimento natural en la organización del mercado». Science . 250 (4987): 1524–1528. Bibcode :1990Sci...250.1524R. doi :10.1126/science.2274783. PMID  2274783. S2CID  23259274 . Consultado el 18 de noviembre de 2017 .{{cite journal}}: CS1 maint: numeric names: authors list (link)
  47. ^ Kuang, Cliff (21 de noviembre de 2017). "¿Se puede enseñar a la IA a explicarse a sí misma?". The New York Times Magazine . Consultado el 26 de noviembre de 2017 .
  48. ^ ab Jouvenal, Justin (17 de noviembre de 2016). "La policía está usando software para predecir el crimen. ¿Es un 'santo grial' o está sesgado contra las minorías?". Washington Post . Consultado el 25 de noviembre de 2017 .
  49. ^ ab Chamma, Maurice (3 de febrero de 2016). "Policing the Future". The Marshall Project . Consultado el 25 de noviembre de 2017 .
  50. ^ Lum, Kristian; Isaac, William (octubre de 2016). "¿Predecir y servir?". Significance . 13 (5): 14–19. doi : 10.1111/j.1740-9713.2016.00960.x .
  51. ^ Smith, Jack (9 de octubre de 2016). «Un estudio demuestra que la vigilancia predictiva solo amplifica el sesgo racial». Mic . Consultado el 25 de noviembre de 2017 .
  52. ^ Lum, Kristian; Isaac, William (1 de octubre de 2016). "Preguntas frecuentes sobre la vigilancia predictiva y el sesgo". HRDAG . Consultado el 25 de noviembre de 2017 .
  53. ^ Sun, Wenlong; Nasraoui, Olfa; Shafto, Patrick (2018). "Sesgo algorítmico iterado en el proceso de aprendizaje automático interactivo de filtrado de información". Actas de la 10.ª Conferencia conjunta internacional sobre descubrimiento de conocimiento, ingeniería del conocimiento y gestión del conocimiento . Sevilla, España: SCITEPRESS - Publicaciones científicas y tecnológicas. pp. 110–118. doi : 10.5220/0006938301100118 . ISBN 9789897583308.
  54. ^ Sinha, Ayan; Gleich, David F.; Ramani, Karthik (9 de agosto de 2018). "La ley de Gauss para redes revela directamente los límites de la comunidad". Scientific Reports . 8 (1): 11909. Bibcode :2018NatSR...811909S. doi :10.1038/s41598-018-30401-0. ISSN  2045-2322. PMC 6085300 . PMID  30093660. 
  55. ^ Hao, Karen (febrero de 2018). «Google finalmente está admitiendo que tiene un problema con la burbuja de filtros». Quartz . Consultado el 26 de febrero de 2019 .
  56. ^ "Facebook está probando esta nueva función para combatir las 'burbujas de filtro'". Fortune . Consultado el 26 de febrero de 2019 .
  57. ^ ab Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie ; Langbort, Cedric (22 de mayo de 2014). "Algoritmos de auditoría: métodos de investigación para detectar la discriminación en plataformas de Internet" (PDF) . 64.ª Reunión Anual de la Asociación Internacional de Comunicación . Consultado el 18 de noviembre de 2017 .
  58. ^ Brin, Sergey; Page, Lawrence. "La anatomía de un motor de búsqueda". www7.scu.edu.au. Archivado desde el original el 2 de julio de 2019. Consultado el 18 de noviembre de 2017 .
  59. ^ Epstein, Robert; Robertson, Ronald E. (18 de agosto de 2015). "El efecto de manipulación de los motores de búsqueda (SEME) y su posible impacto en los resultados de las elecciones". Actas de la Academia Nacional de Ciencias . 112 (33): E4512–E4521. Bibcode :2015PNAS..112E4512E. doi : 10.1073/pnas.1419828112 . PMC 4547273 . PMID  26243876. 
  60. ^ Bond, Robert M.; Fariss, Christopher J.; Jones, Jason J.; Kramer, Adam DI; Marlow, Cameron; Settle, Jaime E.; Fowler, James H. (13 de septiembre de 2012). "Un experimento de 61 millones de personas sobre influencia social y movilización política". Nature . 489 (7415): 295–8. Bibcode :2012Natur.489..295B. doi :10.1038/nature11421. ISSN  0028-0836. PMC 3834737 . PMID  22972300. 
  61. ^ Zittrain, Jonathan (2014). "Engineering an Election" (PDF) . Foro de Harvard Law Review . 127 : 335–341. Archivado desde el original (PDF) el 4 de marzo de 2021 . Consultado el 19 de noviembre de 2017 .
  62. ^ Day, Matt (31 de agosto de 2016). «Cómo el motor de búsqueda de LinkedIn puede reflejar un sesgo de género». The Seattle Times . Consultado el 25 de noviembre de 2017 .
  63. ^ ab Crawford, Kate; Schultz, Jason (2014). "Big Data y debido proceso: hacia un marco para reparar los daños predictivos a la privacidad". Boston College Law Review . 55 (1): 93–128 . Consultado el 18 de noviembre de 2017 .
  64. ^ Duhigg, Charles (16 de febrero de 2012). «Cómo las empresas aprenden sus secretos». The New York Times Magazine . Consultado el 18 de noviembre de 2017 .
  65. ^ Noble, Safiya (2012). "Conexiones perdidas: lo que dicen los motores de búsqueda sobre las mujeres" (PDF) . Bitch . 12 (4): 37–41.
  66. ^ Guynn, Jessica (16 de marzo de 2017). «Google comienza a marcar contenido ofensivo en los resultados de búsqueda». USA TODAY . USA Today . Consultado el 19 de noviembre de 2017 .
  67. ^ Simonite, Tom. "Estudio sugiere que el sistema de segmentación de anuncios de Google puede discriminar". MIT Technology Review . Instituto Tecnológico de Massachusetts . Consultado el 17 de noviembre de 2017 .
  68. ^ Prates, Marcelo OR; Avelar, Pedro HC; Lamb, Luis (2018). "Evaluación del sesgo de género en la traducción automática: un estudio de caso con Google Translate". arXiv : 1809.02208 [cs.CY].
  69. ^ Prates, Marcelo OR; Avelar, Pedro H.; Lamb, Luís C. (2019). "Evaluación del sesgo de género en la traducción automática: un estudio de caso con Google Translate". Computación neuronal y aplicaciones . 32 (10): 6363–6381. arXiv : 1809.02208 . doi :10.1007/s00521-019-04144-6. S2CID  52179151.
  70. ^ Claburn, Thomas (10 de septiembre de 2018). "Los científicos critican a Google Translate por sexismo". The Register . Consultado el 28 de abril de 2022 .
  71. ^ Dastin, Jeffrey (9 de octubre de 2018). "Amazon elimina una herramienta secreta de reclutamiento basada en inteligencia artificial que mostraba sesgo contra las mujeres". Reuters .
  72. ^ Vincent, James (10 de octubre de 2018). "Según se informa, Amazon descarta una herramienta de reclutamiento interna basada en inteligencia artificial que estaba sesgada contra las mujeres". The Verge .
  73. ^ "Reflexiones sobre el sistema de recomendaciones de Spotify - SongData". Octubre de 2019. Consultado el 7 de agosto de 2020 .
  74. ^ Buolamwini, Joy; Gebru, Timnit (21 de enero de 2018). «Tonos de género: disparidades de precisión interseccional en la clasificación comercial de género». Actas de investigación sobre aprendizaje automático . 81 (2018): 77–91 . Consultado el 27 de septiembre de 2020 .
  75. ^ Noble, Safiya Umoja (20 de febrero de 2018). Algoritmos de opresión: cómo los motores de búsqueda refuerzan el racismo . Nueva York: NYU Press. ISBN 978-1479837243.
  76. ^ ab Nakamura, Lisa (2009). Magnet, Shoshana; Gates, Kelly (eds.). Los nuevos medios de vigilancia . Londres: Routledge. pp. 149–162. ISBN 978-0-415-56812-8.
  77. ^ Marco Marabelli; Sue Newell; Valerie Handunge (2021). "El ciclo de vida de los sistemas de toma de decisiones algorítmicas: elecciones organizacionales y desafíos éticos". Revista de sistemas de información estratégica . 30 (3): 1–15. doi :10.1016/j.jsis.2021.101683.
  78. ^ Alexander, Rudolph; Gyamerah, Jacquelyn (septiembre de 1997). "Castigo diferenciado de afroamericanos y blancos que poseen drogas: ¿una política justa o una continuación del pasado?". Journal of Black Studies . 28 (1): 97–111. doi :10.1177/002193479702800106. ISSN  0021-9347. S2CID  152043501.
  79. ^ Petersilia, Joan (enero de 1985). "Disparidades raciales en el sistema de justicia penal: un resumen". Crime & Delinquency . 31 (1): 15–34. doi :10.1177/0011128785031001002. ISSN  0011-1287. S2CID  146588630.
  80. ^ ab Guynn, Jessica (1 de julio de 2015). "Google Photos etiquetó a personas negras como 'gorilas'". USA TODAY . USA Today . Consultado el 18 de noviembre de 2017 .
  81. ^ Rose, Adam (22 de enero de 2010). «¿Son racistas las cámaras de detección de rostros?». Time . Consultado el 18 de noviembre de 2017 .
  82. ^ "Alexa no entiende tu acento". Washington Post .
  83. ^ Sweeney, Latanya (28 de enero de 2013). "Discriminación en la distribución de publicidad en línea". arXiv : 1301.6822 [cs.IR].
  84. ^ Braun, Lundy (2015). «Raza, etnicidad y función pulmonar: una breve historia». Revista Canadiense de Terapia Respiratoria . 51 (4): 99–101. ISSN  1205-9838. PMC 4631137 . PMID  26566381. 
  85. ^ Robinson, Whitney R; Renson, Audrey; Naimi, Ashley I (1 de abril de 2020). "Aprender por uno mismo sobre el racismo estructural mejorará el aprendizaje automático". Bioestadística . 21 (2): 339–344. doi : 10.1093/biostatistics/kxz040 . ISSN  1465-4644. PMC 7868043 . PMID  31742353. 
  86. ^ Johnson, Carolyn Y. (24 de octubre de 2019). "El sesgo racial en un algoritmo médico favorece a los pacientes blancos frente a los pacientes negros más enfermos". Washington Post . Consultado el 28 de octubre de 2019 .
  87. ^ Bartlett, Robert; Morse, Adair; Stanton, Richard; Wallace, Nancy (junio de 2019). "Discriminación en los préstamos al consumidor en la era de la tecnología financiera". Documento de trabajo del NBER n.º 25943. Serie de documentos de trabajo. doi :10.3386/w25943. S2CID  242410791.
  88. ^ Jeff Larson, Julia Angwin (23 de mayo de 2016). "Cómo analizamos el algoritmo de reincidencia COMPAS". ProPublica . Archivado desde el original el 29 de abril de 2019. Consultado el 19 de junio de 2020 .
  89. ^ "Comentario: Malas noticias. La inteligencia artificial está sesgada". CNA . 12 de enero de 2019. Archivado desde el original el 12 de enero de 2019 . Consultado el 19 de junio de 2020 .
  90. ^ ab Angwin, Julia; Larson, Jeff; Mattu, Surya; Kirchner, Lauren (23 de mayo de 2016). "Machine Bias — ProPublica". ProPublica . Consultado el 18 de noviembre de 2017 .
  91. ^ Harcourt, Bernard (16 de septiembre de 2010). "El riesgo como indicador de raza". Federal Sentencing Reporter . 27 (4): 237. doi :10.1525/fsr.2015.27.4.237. S2CID  53611813. SSRN  1677654.
  92. ^ Skeem J, Lowenkamp C, Riesgo, raza y reincidencia: sesgo predictivo e impacto desigual (14 de junio de 2016). SSRN  2687339
  93. ^ Thomas, C.; Nunez, A. (2022). "Automatización de la discreción judicial: cómo las evaluaciones algorítmicas de riesgos en las sentencias previas al juicio violan los derechos de protección igualitaria sobre la base de la raza". Derecho y desigualdad . 40 (2): 371–407. doi : 10.24926/25730037.649 .
  94. ^ ab Angwin, Julia; Grassegger, Hannes (28 de junio de 2017). "Las normas secretas de censura de Facebook protegen a los hombres blancos del discurso de odio, pero no a los niños negros — ProPublica". ProPublica . Consultado el 20 de noviembre de 2017 .
  95. ^ Angwin, Julia; Varner, Madeleine; Tobin, Ariana (14 de septiembre de 2017). "Facebook permitió a los anunciantes llegar a los 'odiadores de judíos' - ProPublica". ProPublica . Consultado el 20 de noviembre de 2017 .
  96. ^ Sap, Maarten; Card, Dallas; Gabriel, Saadia; Choi, Yejin; Smith, Noah A. (28 de julio – 2 de agosto de 2019). "El riesgo de sesgo racial en la detección del discurso de odio" (PDF) . Actas de la 57.ª reunión anual de la Asociación de Lingüistas Computacionales . Florencia, Italia: Asociación de Lingüística Computacional. págs. 1668–1678. Archivado (PDF) desde el original el 14 de agosto de 2019.
  97. ^ Ghaffary, Shirin (15 de agosto de 2019). «Los algoritmos que detectan el discurso de odio en línea están sesgados contra las personas negras». Vox . Consultado el 19 de febrero de 2020 .
  98. ^ Furl, N (diciembre de 2002). "Algoritmos de reconocimiento facial y el efecto de la otra raza: mecanismos computacionales para una hipótesis de contacto evolutivo". Cognitive Science . 26 (6): 797–815. doi : 10.1207/s15516709cog2606_4 .
  99. ^ Raji, Inioluwa Deborah; Gebru, Timnit; Mitchell, Margaret; Buolamwini, Joy; Lee, Joonseok; Denton, Emily (7 de febrero de 2020). "Saving Face". Actas de la Conferencia AAAI/ACM sobre IA, ética y sociedad . Association for Computing Machinery. págs. 145–151. arXiv : 2001.00964 . doi :10.1145/3375627.3375820. ISBN . 9781450371100.S2CID209862419  .​
  100. ^ "El reconocimiento facial es preciso si eres un hombre blanco". The New York Times . 9 de febrero de 2018 . Consultado el 24 de agosto de 2023 .
  101. ^ Buolamwini, Joy; Gebru, Timnit (2018). "Tonos de género: disparidades de precisión interseccional en la clasificación comercial por género" (PDF) . Actas de investigación sobre aprendizaje automático . 81 : 1 – vía MLR Press.
  102. ^ Ananny, Mike (14 de abril de 2011). "La curiosa conexión entre las aplicaciones para hombres homosexuales y los delincuentes sexuales". The Atlantic . Consultado el 18 de noviembre de 2017 .
  103. ^ Kafka, Peter. "¿Realmente Amazon fracasó este fin de semana? La tuitosfera dice 'sí', el minorista en línea dice 'error'". AllThingsD . Consultado el 22 de noviembre de 2017 .
  104. ^ Kafka, Peter. «Amazon se disculpa por un «error de catalogación torpe»». AllThingsD . Consultado el 22 de noviembre de 2017 .
  105. ^ Matsakis, Louise (22 de febrero de 2019). "Un error de búsqueda 'sexista' dice más sobre nosotros que Facebook". Wired . ISSN  1059-1028 . Consultado el 26 de febrero de 2019 .
  106. ^ "Algunas IA simplemente no deberían existir". 19 de abril de 2019.
  107. ^ Samuel, Sigal (19 de abril de 2019). "Algunas IA simplemente no deberían existir". Vox . Consultado el 12 de diciembre de 2019 .
  108. ^ Wang, Yilun; Kosinski, Michal (15 de febrero de 2017). "Las redes neuronales profundas son más precisas que los humanos a la hora de detectar la orientación sexual a partir de imágenes faciales". OSF . doi :10.17605/OSF.IO/ZN79K.
  109. ^ Levin, Sam (9 de septiembre de 2017). «Grupos LGBT denuncian una inteligencia artificial «peligrosa» que usa tu cara para adivinar tu sexualidad». The Guardian . ISSN  0261-3077 . Consultado el 12 de diciembre de 2019 .
  110. ^ Pal, GC (16 de septiembre de 2011). "Discapacidad, interseccionalidad y privación: una agenda excluida". Psicología y sociedades en desarrollo . 23(2), 159–176. doi :10.1177/097133361102300202. S2CID  147322669 – vía Sagepub.
  111. ^ Brinkman, Aurora H.; Rea-Sandin, Gianna; Lund, Emily M.; Fitzpatrick, Olivia M.; Gusman, Michaela S.; Boness, Cassandra L.; Scholars for Elevating Equity and Diversity (SEED) (20 de octubre de 2022). "Cambiar el discurso sobre la discapacidad: pasar a un enfoque inclusivo e interseccional". Revista estadounidense de ortopsiquiatría . 93 (1): 50–62. doi :10.1037/ort0000653. ISSN  1939-0025. PMC 9951269 . PMID  36265035. 
  112. ^ Whittaker, Meredith (noviembre de 2019). «Discapacidad, sesgo e inteligencia artificial» (PDF) . Archivado desde el original (PDF) el 27 de marzo de 2023. Consultado el 2 de diciembre de 2022 .
  113. ^ "Misión: La discapacidad es diversidad. Querida industria del entretenimiento: NO HAY DIVERSIDAD, EQUIDAD E INCLUSIÓN SIN DISCAPACIDAD". La discapacidad es diversidad . Consultado el 2 de diciembre de 2022 .
  114. ^ "Diseño de Microsoft". www.microsoft.com . Consultado el 2 de diciembre de 2022 .
  115. ^ Pulrang, Andrew. "4 formas de comprender la diversidad de la comunidad de discapacitados". Forbes . Consultado el 2 de diciembre de 2022 .
  116. ^ Watermeyer, Brian; Swartz, Leslie (12 de octubre de 2022). "Discapacidad y el problema de la interseccionalidad perezosa". Disability & Society . 38 (2): 362–366. doi :10.1080/09687599.2022.2130177. ISSN  0968-7599. S2CID  252959399.
  117. ^ "Informe sobre datos de discapacidad 2021". Iniciativa de datos sobre discapacidad . Consultado el 2 de diciembre de 2022 .
  118. ^ White, Jason JG (2 de marzo de 2020). "Igualdad de la IA para las personas con discapacidad: análisis de problemas y colaboración interdisciplinaria". ACM SIGACCESS Accessibility and Computing (125): 3:1. doi :10.1145/3386296.3386299. ISSN  1558-2337. S2CID  211723415.
  119. ^ "Los modelos de lenguaje de IA muestran sesgo contra las personas con discapacidad, según un estudio | Universidad Estatal de Pensilvania". www.psu.edu . Consultado el 2 de diciembre de 2022 .
  120. ^ Givens, Alexandra Reeve (6 de febrero de 2020). "Cómo el sesgo algorítmico perjudica a las personas con discapacidad". Revista Slate . Consultado el 2 de diciembre de 2022 .
  121. ^ Morris, Meredith Ringel (22 de mayo de 2020). «IA y accesibilidad». Comunicaciones de la ACM . 63 (6): 35–37. arXiv : 1908.08939 . doi :10.1145/3356727. ISSN  0001-0782. S2CID  201645229.
  122. ^ Noble, Safiya Umoja (20 de febrero de 2018). Algoritmos de opresión: cómo los motores de búsqueda refuerzan el racismo . Nueva York. ISBN 9781479837243.OCLC 987591529  .{{cite book}}: CS1 maint: location missing publisher (link)
  123. ^ Castelnovo, Alessandro; Inverardi, Nicole; Nanino, Gabriele; Penco, Ilaria; Regoli, Daniele (2023). "¿Es justo? Un mapa de las limitaciones actuales de los requisitos para tener algoritmos "justos"". arXiv : 2311.12435 [cs.AI].
  124. ^ Ruggieri, Salvatore; Alvarez, Jose M; Pugnana, Andrea; Turini, Franco (2023). "¿Podemos confiar en Fair-AI?". Actas de la Conferencia AAAI sobre Inteligencia Artificial . 37 (13): 5421–15430. doi : 10.1609/aaai.v37i13.26798 . hdl : 11384/136444 . S2CID  : 259678387.
  125. ^ Samuel, Sigal (19 de abril de 2022). "Por qué es tan difícil lograr que la IA sea justa e imparcial". Vox . Consultado el 23 de julio de 2024 .
  126. ^ Fioretto, Ferdinando (19 de marzo de 2024). "Incorporar equidad a la IA es crucial, y difícil de lograr". The Conversation . Consultado el 23 de julio de 2024 .
  127. ^ Friedler, Sorelle A.; Scheidegger, Carlos; Venkatasubramanian, Suresh (2016). "Sobre la (im)posibilidad de la justicia". arXiv : 1609.07236 [cs.CY].
  128. ^ Hu, Lily; Chen, Yiling (2018). "Impactos distributivos y de bienestar de la clasificación justa". arXiv : 1807.01134 [cs.LG].
  129. ^ Dtrabajo, Cynthia; Hardt, Moritz; Pitassi, Toniann; Reingold, Omer; Zemel, Rich (28 de noviembre de 2011). "Equidad a través de la conciencia". arXiv : 1104.3913 [cs.CC].
  130. ^ abc Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (2014). Gangadharan, Seeta Pena; Eubanks, Virginia; Barocas, Solon (eds.). "Una auditoría de algoritmos" (PDF) . Datos y discriminación: ensayos recopilados .
  131. ^ LaFrance, Adrienne (18 de septiembre de 2015). «Los algoritmos que impulsan la Web son cada vez más misteriosos». The Atlantic . Consultado el 19 de noviembre de 2017 .
  132. ^ Bruno Latour (1999). La esperanza de Pandora: ensayos sobre la realidad de los estudios científicos . Cambridge, Massachusetts : Harvard University Press .
  133. ^ Kubitschko, Sebastian; Kaun, Anne (2016). Métodos innovadores en la investigación de los medios y la comunicación. Springer. ISBN 978-3-319-40700-5. Recuperado el 19 de noviembre de 2017 .
  134. ^ McGee, Matt (16 de agosto de 2013). "EdgeRank ha muerto: el algoritmo de noticias de Facebook ahora tiene cerca de 100.000 factores de peso". Marketing Land . Consultado el 18 de noviembre de 2017 .
  135. ^ abc Granka, Laura A. (27 de septiembre de 2010). "La política de búsqueda: una década retrospectiva" (PDF) . The Information Society . 26 (5): 364–374. doi :10.1080/01972243.2010.511560. S2CID  16306443 . Consultado el 18 de noviembre de 2017 .
  136. ^ Szymielewicz, Katarzyna (20 de enero de 2020). «Black-Boxed Politics». Medium . Consultado el 11 de febrero de 2020 .
  137. ^ Veale, Michael; Binns, Reuben (2017). "Aprendizaje automático más justo en el mundo real: mitigación de la discriminación sin recopilar datos confidenciales". Big Data & Society . 4 (2): 205395171774353. doi : 10.1177/2053951717743530 . SSRN  3060763.
  138. ^ Elliott, Marc N.; Morrison, Peter A.; Fremont, Allen; McCaffrey, Daniel F.; Pantoja, Philip; Lurie, Nicole (junio de 2009). "Uso de la lista de apellidos de la Oficina del Censo para mejorar las estimaciones de raza/etnicidad y disparidades asociadas". Metodología de investigación de servicios y resultados de salud . 9 (2): 69–83. doi :10.1007/s10742-009-0047-1. ISSN  1387-3741. S2CID  43293144.
  139. ^ Chen, Jiahao; Kallus, Nathan; Mao, Xiaojie; Svacha, Geoffry; Udell, Madeleine (2019). "Justicia bajo desconocimiento". Actas de la Conferencia sobre equidad, rendición de cuentas y transparencia . Atlanta, GA, EE. UU.: ACM Press. págs. 339–348. arXiv : 1811.11154 . doi :10.1145/3287560.3287594. ISBN . 9781450361255.S2CID 58006233  .
  140. ^ Kilbertus, Niki; Gascon, Adria; Kusner, Matt; Veale, Michael; Gummadi, Krishna; Weller, Adrian (2018). "Justicia ciega: imparcialidad con atributos sensibles cifrados". Conferencia internacional sobre aprendizaje automático : 2630–2639. arXiv : 1806.03281 . Código Bibliográfico :2018arXiv180603281K.
  141. ^ Binns, Reuben; Veale, Michael; Kleek, Max Van; Shadbolt, Nigel (13 de septiembre de 2017). "¿Como entrenador, como bot? Herencia de sesgo en la moderación de contenido algorítmico". Informática social . Apuntes de clase en informática. Vol. 10540. págs. 405–415. arXiv : 1707.01477 . doi :10.1007/978-3-319-67256-4_32. ISBN . 978-3-319-67255-7.S2CID2814848  .​
  142. ^ Claburn, Thomas (18 de julio de 2016). «La ley de protección de datos de la UE puede acabar con el algoritmo incognoscible – InformationWeek». InformationWeek . Consultado el 25 de noviembre de 2017 .
  143. ^ ab Jobin, Anna; Ienca, Marcello; Vayena, Effy (2 de septiembre de 2019). "El panorama global de las directrices éticas de la IA". Inteligencia de la máquina de la naturaleza . 1 (9): 389–399. arXiv : 1906.11668 . doi :10.1038/s42256-019-0088-2. S2CID  201827642.
  144. ^ https://research.google.com/bigpicture/attacking-discrimination-in-ml/ Ataque a la discriminación con aprendizaje automático más inteligente
  145. ^ Hardt, Moritz; Price, Eric; Srebro, Nathan (2016). "Igualdad de oportunidades en el aprendizaje supervisado". arXiv : 1610.02413 [cs.LG].
  146. ^ https://venturebeat.com/2018/05/25/microsoft-is-developing-a-tool-to-help-engineers-catch-bias-in-algorithms/ Microsoft está desarrollando una herramienta para ayudar a los ingenieros a detectar sesgos en los algoritmos
  147. ^ "Facebook dice que tiene una herramienta para detectar sesgos en su inteligencia artificial". Quartz . 3 de mayo de 2018. Archivado desde el original el 5 de marzo de 2023.
  148. ^ Auditoría de inteligencia artificial de Pymetrics de código abierto
  149. ^ https://venturebeat-com.cdn.ampproject.org/c/s/venturebeat.com/2018/05/31/pymetrics-open-sources-audit-ai-an-algorithm-bias-detection-tool/amp/ Pymetrics publica en código abierto Audit AI, una herramienta de detección de sesgos en algoritmos
  150. ^ https://github.com/dssg/aequitas Aequitas de código abierto: Kit de herramientas de auditoría de sesgo y equidad
  151. ^ https://dsapp.uchicago.edu/aequitas/ Inteligencia artificial de auditoría de código abierto, Aequitas en la Universidad de Chicago
  152. ^ https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/ Mitigación del sesgo en los modelos de IA
  153. ^ S. Sen, D. Dasgupta y KD Gupta, "Un estudio empírico sobre el sesgo algorítmico", 44.ª Conferencia anual sobre computadoras, software y aplicaciones (COMPSAC) del IEEE de 2020, Madrid, España, 2020, págs. 1189-1194, doi :10.1109/COMPSAC48688.2020.00-95.
  154. ^ Zou, James; Schiebinger, Londa (julio de 2018). «La IA puede ser sexista y racista: es hora de hacerla justa». Nature . 559 (7714): 324–326. Bibcode :2018Natur.559..324Z. doi : 10.1038/d41586-018-05707-8 . PMID  30018439.
  155. ^ Jia, Sen; Welfare, Thomas; Cristianini, Nello (2018). Correcto por la razón correcta: Entrenamiento de redes agnósticas . Simposio Internacional sobre Análisis Inteligente de Datos. Springer.
  156. ^ Sutton, Adam; Welfare, Thomas; Cristianini, Nello (2018). Integraciones sesgadas a partir de datos salvajes: medición, comprensión y eliminación . Simposio internacional sobre análisis inteligente de datos. Springer.
  157. ^ Koene, Ansgar (junio de 2017). "Sesgo algorítmico: cómo abordar las crecientes preocupaciones [de vanguardia]" (PDF) . Revista IEEE Technology and Society . 36 (2): 31–32. doi :10.1109/mts.2017.2697080. ISSN  0278-0097. Archivado desde el original (PDF) el 19 de julio de 2018 . Consultado el 1 de agosto de 2019 .
  158. ^ "P7003 - Consideraciones sobre sesgo algorítmico". IEEE . Archivado desde el original el 3 de diciembre de 2018 . Consultado el 3 de diciembre de 2018 .
  159. ^ The Internet Society (18 de abril de 2017). «Artificial Intelligence and Machine Learning: Policy Paper». Internet Society . Consultado el 11 de febrero de 2020 .
  160. ^ ab "Libro blanco: Cómo prevenir resultados discriminatorios en el aprendizaje automático". Foro Económico Mundial . 12 de marzo de 2018 . Consultado el 11 de febrero de 2020 .
  161. ^ "Inteligencia artificial explicable". www.darpa.mil . Consultado el 11 de febrero de 2020 .
  162. ^ PricewaterhouseCoopers. «El marco de la IA responsable». PwC . Consultado el 11 de febrero de 2020 .
  163. ^ Heald, David (7 de septiembre de 2006). Transparencia: ¿La clave para una mejor gobernanza? . British Academy. doi :10.5871/bacad/9780197263839.003.0002. ISBN 978-0-19-726383-9.
  164. ^ Kemper, Jakko; Kolkman, Daan (6 de diciembre de 2019). «¿Transparente para quién? No hay rendición de cuentas algorítmica sin una audiencia crítica». Información, comunicación y sociedad . 22 (14): 2081–2096. doi : 10.1080/1369118X.2018.1477967 . hdl : 11245.1/75cb1256-5fe5-4724-9a63-03ef66032d8e . ISSN  1369-118X.
  165. ^ "La Declaración de Toronto: Protección de los derechos a la igualdad y la no discriminación en los sistemas de aprendizaje automático". Human Rights Watch . 3 de julio de 2018 . Consultado el 11 de febrero de 2020 .
  166. ^ Declaración de Toronto: protección del derecho a la igualdad y la no discriminación en los sistemas de aprendizaje automático (PDF) . Human Rights Watch. 2018. pág. 15.
  167. ^ Floridi, Luciano; Capuchas, Josh; Beltrametti, Mónica; Chatila, Raja; Chazerand, Patrice; Dignum, Virginia; Luetge, Christoph; Madelín, Robert; Pagallo, Ugo; Rossi, Francesca; Schafer, Burkhard (1 de diciembre de 2018). "AI4People: un marco ético para una buena sociedad de IA: oportunidades, riesgos, principios y recomendaciones". Mentes y Máquinas . 28 (4): 703. doi :10.1007/s11023-018-9482-5. ISSN  1572-8641. PMC 6404626 . PMID  30930541. 
  168. ^ Crawford, Kate (25 de junio de 2016). «Opinión | El problema del hombre blanco en la inteligencia artificial». The New York Times . ISSN  0362-4331 . Consultado el 11 de febrero de 2020 .
  169. ^ "La IA es el futuro, pero ¿dónde están las mujeres?". Wired . ISSN  1059-1028 . Consultado el 11 de febrero de 2020 .
  170. ^ Snow, Jackie. ""Estamos en una crisis de diversidad": el cofundador de Black in AI nos cuenta qué está envenenando los algoritmos en nuestras vidas". MIT Technology Review . Consultado el 11 de febrero de 2020 .
  171. ^ Hao, Karen (14 de junio de 2021). "Dentro de la lucha para recuperar la IA del control de las grandes tecnológicas". MIT Technology Review . Consultado el 21 de junio de 2021 .
  172. ^ Ciston, Sarah (29 de diciembre de 2019). "La IA interseccional es esencial". Revista de ciencia y tecnología de las artes . 11 (2): 3–8. doi : 10.7559/citarj.v11i2.665 . ISSN  2183-0088.
  173. ^ D'Ignazio, Catalina; Klein, Lauren F. (2020). Feminismo de datos . Prensa del MIT. ISBN 978-0262044004.
  174. ^ Cave, Stephen; Dihal, Kanta (6 de agosto de 2020). "La blancura de la IA". Filosofía y tecnología . 33 (4): 685–703. doi : 10.1007/s13347-020-00415-6 . ISSN  2210-5441.
  175. ^ Bondi, Elizabeth; Xu, Lily; Acosta-Navas, Diana; Killian, Jackson A. (2021). "Visualizar comunidades: un enfoque participativo hacia la IA para el bien social". Actas de la Conferencia AAAI/ACM de 2021 sobre IA, ética y sociedad. págs. 425–436. arXiv : 2105.01774 . doi :10.1145/3461702.3462612. ISBN 9781450384735. S2CID  233740121 . Consultado el 6 de abril de 2023 – vía ezpa.library.ualberta.ca.
  176. ^ Universidad de Stanford (18 de marzo de 2019). «La Universidad de Stanford lanza el Instituto de Inteligencia Artificial Centrada en el Ser Humano». Stanford News . Consultado el 6 de abril de 2023 .
  177. ^ Bondi, Elizabeth; Xu, Lily; Acosta-Navas, Diana; Killian, Jackson A. (21 de julio de 2021). "Visualizar comunidades: un enfoque participativo hacia la IA para el bien social". Actas de la Conferencia AAAI/ACM de 2021 sobre IA, ética y sociedad . págs. 425–436. arXiv : 2105.01774 . doi :10.1145/3461702.3462612. ISBN 9781450384735. Número de identificación del sujeto  233740121.
  178. ^ Bygrave, Lee A (2001). "Elaboración automática de perfiles". Computer Law & Security Review . 17 (1): 17–24. doi :10.1016/s0267-3649(01)00104-2.
  179. ^ ab Veale, Michael; Edwards, Lilian (2018). "Claridad, sorpresas y otras preguntas en el borrador de la guía del Grupo de Trabajo del Artículo 29 sobre toma de decisiones automatizada y elaboración de perfiles" (PDF) . Computer Law & Security Review . 34 (2): 398–404. doi :10.1016/j.clsr.2017.12.002. S2CID  4797884. SSRN  3071679.
  180. ^ Wachter, Sandra; Mittelstadt, Brent; Floridi, Luciano (1 de mayo de 2017). "Por qué no existe un derecho a explicación de la toma de decisiones automatizada en el Reglamento General de Protección de Datos". Derecho internacional de privacidad de datos . 7 (2): 76–99. doi : 10.1093/idpl/ipx005 . ISSN  2044-3994.
  181. ^ Edwards, Lilian; Veale, Michael (23 de mayo de 2017). "¿Esclavo del algoritmo? Por qué el derecho a una explicación probablemente no sea el remedio que estás buscando". Duke Law & Technology Review . 16 : 18–84. SSRN  2972855.
  182. ^ ab Singer, Natasha (2 de febrero de 2013). "Leyes de protección de datos del consumidor, un océano aparte". The New York Times . Consultado el 26 de noviembre de 2017 .
  183. ^ Obama, Barack (12 de octubre de 2016). "Informe de la Administración sobre el futuro de la inteligencia artificial". whitehouse.gov . Archivos Nacionales . Consultado el 26 de noviembre de 2017 .
  184. ^ y Technology Council, National Science (2016). Plan estratégico nacional de investigación y desarrollo de inteligencia artificial (PDF) . Gobierno de EE. UU . . Consultado el 26 de noviembre de 2017 .
  185. ^ Kirchner, Lauren (18 de diciembre de 2017). "New York City Moves to Create Accountability for Algorithms — ProPublica". ProPublica . Consultado el 28 de julio de 2018 .
  186. ^ "The New York City Council - File #: Int 1696-2017" (El Ayuntamiento de la Ciudad de Nueva York - Número de expediente: Int 1696-2017). legistar.council.nyc.gov . Ayuntamiento de la Ciudad de Nueva York . Consultado el 28 de julio de 2018 .
  187. ^ Powles, Julia. "El intento audaz y defectuoso de la ciudad de Nueva York de hacer responsables a los algoritmos". The New Yorker . Consultado el 28 de julio de 2018 .
  188. ^ "India evalúa un proyecto de ley integral sobre privacidad de datos, similar al RGPD de la UE". Insurance Journal . 31 de julio de 2018 . Consultado el 26 de febrero de 2019 .
  189. ^ "Proyecto de ley de protección de datos personales, 2018" (PDF) . Ministerio de Electrónica y Tecnología de la Información, Gobierno de la India. 2018. Consultado el 29 de abril de 2022 .

Lectura adicional