Es ella la que, en base a unos datos de entrada, debe obtener los resultados.
Por tanto, cuanto mayor es la autonomía y el poder de decisión que se proporciona a un sistema informático, mayor será la probabilidad de que estos sistemas se enfrenten a decisiones que, en otra época, sólo podían ser tomadas por seres humanos, y es en este punto donde se plantea la discusión ética.
Desde el momento en que un sistema informático toma una decisión en la que favorece a un determinado individuo sobre otro por razones de género, religión, raza o cualquier otra característica personal, este sistema estará tomando un tipo de decisión éticamente incorrecta y reprobable.
COMPAS - Correctional Offender Management Profiling for Alternative Sanctions - es un programa informático desarrollado por Northpointe (actualmente Equivant) que pretende predecir el riesgo de que un acusado en un proceso judicial recidive o cometa otro delito.
para que cuando el acusado sea juzgado sirva de apoyo al juez instructor.
Pero este sistema ha generado bastante polémica en los Estados Unidos, en un caso concreto, se encontró a un hombre conduciendo un coche que había sido utilizado en un tiroteo.
El demandado recurrió la decisión alegando que el juez, al considerar el resultado de un algoritmo cuyo funcionamiento interno era secreto y que no podía ser examinado, violó el principio del debido proceso legal.
BOSCO es un algoritmo desarrollado por la administración pública española que dictamina si a un consumidor se le puede aplicar o no una tarifa de electricidad reducida, esto se conoce como bono social, y está regulado por el Real Decreto 897/2017, de la legislación española.
Sin embargo, la Fundación CIVIO, ante las quejas de ciudadanos a quienes se les denegó el bono, ha solicitado el código fuente del algoritmo al gobierno y a través del Consejo de Transparencia y Buen Gobierno, pero le ha sido denegado alegando que está sujeto a propiedad intelectual.
El problema es que si un trabajador reservaba un turno y no lo cancelaba con al menos 24 horas de antelación, en caso de que no pudiese acudir a trabajar, el algoritmo automáticamente disminuía su puntuación general, sin tener en cuenta el motivo de no haber podido ir a trabajar -incluso si era por enfermedad grave-.
Esto afectaría negativamente a este trabajador, puesto que dispondría de menos ofertas laborales en el futuro.