Sesgo algorítmico

Tan pronto como los algoritmos expanden su capacidad de organizar la sociedad, la política, las instituciones, y el comportamiento, los sociólogos han empezado a preocuparse con las maneras en que los resultados no previstos y la manipulación de datos pueden impactar el mundo físico.

Si el algoritmo recomienda préstamos a un grupo de usuarios, pero niega préstamos a otro conjunto de usuarios casi idénticos basándose en criterios no relacionados, y si este comportamiento se puede repetir en distintas ocasiones, se puede decir que es un algoritmo con sesgos.

[15]​ Más allá de reunir y procesar datos, los sesgos pueden surgir como resultado del diseño.

Al seguir esas reglas consistentemente, tales programas "encarnan la ley"[19]​: 40 , es decir, hacen cumplir una forma específica de resolver problemas.

[19]​: 70, 105 Finalmente, señaló que las máquinas también podrían transmitir buena información con consecuencias imprevistas si los usuarios no tienen claro cómo interpretar los resultados.

Las decisiones que hace un diseñador o un equipo de diseñadores pueden ser oscurecidas entre las muchas partes de código creadas para un solo programa; a lo largo del tiempo estas decisiones y su impacto colectivo en la salida del programa se puede olvidar.

[27]​ Esta neutralidad también puede malinterpretarse por el lenguaje usado por los expertos y los medios de comunicación cuando los resultados son presentados al público.

Estos sesgos pueden manifestarse de diversas maneras y, a menudo, reflejan los datos con los que fueron entrenados dichos algoritmos.

", ChatGPT, entrenado con datos en su mayoría en inglés, tiende a describir el liberalismo desde una perspectiva angloamericana, enfatizando aspectos relacionados con los derechos humanos y la igualdad.

Sin embargo, omite otros enfoques igualmente válidos, como "oponerse a la intervención estatal en la vida personal y económica", dominante en Vietnam, o la "limitación del poder gubernamental" prevalente en la perspectiva china.

[34]​[35]​ Más allá del género y la raza, estos modelos pueden reforzar una amplia gama de estereotipos, incluyendo aquellos basados en la edad, la nacionalidad, la religión o la ocupación.

[39]​ Esto puede excluir grupos mediante la tecnología, sin proporcionar contornos claros para entender quién es responsable de su marginación.

El algoritmo hizo esto ya que simplemente comparaba cotas de supervivencia: los asmáticos con neumonía tenían un riesgo mayor.

Históricamente, por la misma razón, los hospitales típicamente dan a dichos asmáticos el mejor y más inmediato cuidado.

[39]​ Estas exclusiones pueden convertirse en acentuadas según la tecnología sesgada o excluyente se va integrando más en la sociedad.

[45]​ Cuando los usuarios hacen clic en contenido sugerido por algoritmos, se influencia el siguiente conjunto de sugerencias.

[60]​ Debido a como ciertas razas y grupos étnicos fueron tratados en el pasado, la información actual puede contener ciertos sesgos ocultos.

[64]​ A día de hoy, estos resultados se comparten con jueces en Arizona, Colorado, Delaware, Kentucky, Louisiana, Oklahoma, Virginia, Washington y Wisconsin.

Aunque los usuarios son los que generan estos resultados en la parte superior de la página, Google no ha logrado eliminar los comentarios sexistas y racistas.

Debido al algoritmo de Google, no puede borrar las páginas a menos que se consideren ilegales.

Cuando una máquina funciona eficientemente o un hecho está establecido con firmeza, uno solo necesita concentrarse en los beneficios que genere y no en su complejidad interior.

Algunos profesionales han intentado estimar e imputar estas categorizaciones sensibles que no existen para permitir la mitigación del sesgo, por ejemplo, construyendo sistemas para deducir la etnia de los nombres.

[89]​ Sin embargo, esto puede introducir otras formas de sesgo si no se realiza con cuidado.

[90]​ Los investigadores de machine learning se han basado en tecnologías que mejoran la privacidad criptográfica, tales como la computación segura multipartita para proponer métodos mediante los cuales el sesgo algorítmico pueda ser evaluado o mitigado sin que estos datos estén nunca disponibles para los modeladores en texto plano.

En estos casos, raramente hay una verdad fundamental fácilmente accesible o no controvertida, y eliminar el sesgo de un sistema así es más difícil.

También incorpora estrategias para gestionar las expectativas del usuario y así reducir interpretaciones incorrectas de los resultados, como confundir correlación con causalidad.

Por ejemplo, los pasatiempos, deportes o escuelas de un candidato pueden revelar indirectamente su género, incluso si se ha eliminado el dato explícito.

Las soluciones a este problema involucran el entrenamiento de agentes inteligentes que no puedan reconstruir información protegida o sensible del sujeto.

Sin una audiencia capaz de analizar y cuestionar estos algoritmos, no se puede lograr una verdadera responsabilidad.

[149]​ Se requiere que el grupo de trabajo presente hallazgos y recomendaciones para acciones reguladoras adicionales en 2019.