En la regulación de algoritmos , en particular la inteligencia artificial y su subcampo de aprendizaje automático , el derecho a una explicación (o derecho a una explicación ) es el derecho a recibir una explicación sobre un resultado del algoritmo. Dichos derechos se refieren principalmente a los derechos individuales a recibir una explicación sobre las decisiones que afectan significativamente a un individuo, en particular a nivel legal o financiero. Por ejemplo, una persona que solicita un préstamo y se le niega puede pedir una explicación, que podría ser " La agencia de crédito X informa que usted se declaró en quiebra el año pasado; este es el factor principal para considerar que es demasiado probable que incumpla, y por lo tanto no le otorgaremos el préstamo que solicitó".
Algunos de esos derechos legales ya existen, pero el alcance de un "derecho a la explicación" general es un tema de debate en curso. Se ha argumentado que un "derecho social a la explicación" es una base crucial para una sociedad de la información, en particular porque las instituciones de esa sociedad necesitarán utilizar tecnologías digitales, inteligencia artificial y aprendizaje automático. [1] En otras palabras, que los sistemas de toma de decisiones automatizados relacionados que utilizan la explicabilidad serían más confiables y transparentes. Sin este derecho, que podría constituirse tanto legalmente como a través de estándares profesionales , el público se quedará sin muchos recursos para cuestionar las decisiones de los sistemas automatizados.
En virtud de la Ley de Igualdad de Oportunidades de Crédito (Reglamento B del Código de Reglamentos Federales ), Título 12, Capítulo X, Parte 1002, §1002.9, los acreedores deben notificar a los solicitantes a quienes se les niega el crédito con detalles específicos de las razones. Como se detalla en el §1002.9(b)(2): [2]
(2) Declaración de motivos específicos. La declaración de motivos de la acción adversa exigida por el párrafo (a)(2)(i) de esta sección debe ser específica e indicar los motivos principales de la acción adversa. Las declaraciones de que la acción adversa se basó en las normas o políticas internas del acreedor o de que el solicitante, el cosolicitante o una parte similar no logró obtener una puntuación calificada en el sistema de puntuación crediticia del acreedor son insuficientes.
La interpretación oficial de esta sección detalla qué tipos de declaraciones son aceptables. Los acreedores cumplen con esta reglamentación proporcionando una lista de motivos (generalmente, como máximo, 4, según la interpretación de la reglamentación), que consiste en un númeroCódigo de motivo (como identificador) y una explicación asociada, que identifica los principales factores que afectan a la puntuación crediticia.[3]Un ejemplo podría ser:[4]
El Reglamento General de Protección de Datos de la Unión Europea (promulgado en 2016, que entró en vigor en 2018) amplía los derechos de toma de decisiones automatizadas previstos en la Directiva de Protección de Datos de 1995 para proporcionar una forma legalmente controvertida de un derecho a una explicación, que se enuncia como tal en el Considerando 71: "[el interesado debe tener] derecho... a obtener una explicación de la decisión adoptada". En su totalidad:
El interesado debe tener derecho a no ser objeto de una decisión, que puede incluir una medida, que evalúe aspectos personales relacionados con él y que se base únicamente en el tratamiento automatizado y que produzca efectos jurídicos en él o le afecte significativamente de modo similar, como el rechazo automático de una solicitud de crédito en línea o prácticas de contratación electrónica sin intervención humana.
...
En todo caso, dicho tratamiento debe estar sujeto a garantías adecuadas, que deben incluir información específica al interesado y el derecho a obtener intervención humana, a expresar su punto de vista, a obtener una explicación de la decisión tomada después de dicha evaluación y a impugnar la decisión.
Sin embargo, el grado en que las propias regulaciones prevén un "derecho a explicación" es objeto de un intenso debate. [5] [6] [7] Hay dos líneas principales de crítica. Existen importantes problemas jurídicos con el derecho tal como se encuentra en el artículo 22, ya que los considerandos no son vinculantes y el derecho a una explicación no se menciona en los artículos vinculantes del texto, ya que se eliminó durante el proceso legislativo. [6] Además, existen importantes restricciones sobre los tipos de decisiones automatizadas que se cubren, que deben basarse "exclusivamente" en el procesamiento automatizado y tener efectos legales o similarmente significativos, lo que limita significativamente el rango de sistemas y decisiones automatizadas a las que se aplicaría el derecho. [6] En particular, es poco probable que el derecho se aplique en muchos de los casos de controversia algorítmica que han sido recogidos por los medios de comunicación. [8]
En el artículo 15 se ha señalado una segunda fuente potencial de ese derecho, el "derecho de acceso del interesado". Este artículo retoma una disposición similar de la Directiva de Protección de Datos de 1995, que permite al interesado acceder a "información significativa sobre la lógica implicada" en la misma toma de decisiones significativa y exclusivamente automatizada, que se encuentra en el artículo 22. Sin embargo, esto también adolece de supuestos problemas relacionados con el momento en que se puede hacer uso de este derecho, así como de problemas prácticos que significan que puede no ser vinculante en muchos casos de interés público. [6]
En Francia, la Ley para una República Digital (Loi pour une République numérique ) de 2016 modifica el código administrativo del país para introducir una nueva disposición sobre la explicación de las decisiones adoptadas por los organismos del sector público sobre las personas. [9] Señala que cuando se trata de "una decisión adoptada sobre la base de un tratamiento algorítmico", las normas que definen ese tratamiento y sus "características principales" deben comunicarse al ciudadano cuando lo solicite, cuando no haya una exclusión (por ejemplo, por motivos de seguridad nacional o defensa). Estas deberían incluir lo siguiente:
Los académicos han señalado que este derecho, si bien se limita a las decisiones administrativas, va más allá del derecho del RGPD para aplicarse explícitamente al apoyo a las decisiones en lugar de a las decisiones basadas "únicamente" en el procesamiento automatizado, y proporciona un marco para explicar decisiones específicas. [9] De hecho, los derechos de toma de decisiones automatizadas del RGPD en la Unión Europea, uno de los lugares en los que se ha buscado un "derecho a una explicación", tienen su origen en la legislación francesa de finales de los años 1970. [10]
Algunos sostienen que el "derecho a la explicación" es, en el mejor de los casos, innecesario; en el peor, perjudicial, y amenaza con sofocar la innovación. Entre las críticas específicas se incluyen las siguientes: favorecer las decisiones humanas en lugar de las de las máquinas, ser redundante con las leyes existentes y centrarse en el proceso en lugar del resultado. [11]
Lilian Edwards y Michael Veale, autores del estudio “¿Esclavos del algoritmo? Por qué un “derecho a una explicación” probablemente no sea el remedio que buscas”, sostienen que el derecho a una explicación no es la solución a los daños causados a las partes interesadas por las decisiones algorítmicas. También afirman que el derecho a una explicación en el RGPD está definido de forma estricta y no es compatible con la forma en que se están desarrollando las tecnologías modernas de aprendizaje automático. Con estas limitaciones, definir la transparencia en el contexto de la rendición de cuentas algorítmica sigue siendo un problema. Por ejemplo, proporcionar el código fuente de los algoritmos puede no ser suficiente y puede crear otros problemas en términos de divulgación de privacidad y manipulación de los sistemas técnicos. Para mitigar este problema, Edwards y Veale sostienen que un sistema de auditoría podría ser más eficaz, para permitir a los auditores observar las entradas y salidas de un proceso de decisión desde una carcasa externa, en otras palabras, “explicar las cajas negras sin abrirlas”. [8]
De manera similar, los académicos de Oxford Bryce Goodman y Seth Flaxman afirman que el RGPD crea un "derecho a la explicación", pero no dan muchos más detalles al respecto, señalando las limitaciones del RGPD actual. En relación con este debate, los académicos Andrew D Selbst y Julia Powles afirman que el debate debería reorientarse hacia la discusión sobre si se utiliza o no la frase "derecho a la explicación", se debe prestar más atención a los requisitos expresos del RGPD y cómo se relacionan con sus objetivos de fondo, y se debe pensar más en determinar qué significa realmente el texto legislativo. [12]
En términos más fundamentales, muchos algoritmos utilizados en el aprendizaje automático no son fáciles de explicar. Por ejemplo, el resultado de una red neuronal profunda depende de muchas capas de cálculos, conectadas de manera compleja, y ninguna entrada o cálculo puede ser un factor dominante. El campo de la IA explicable busca proporcionar mejores explicaciones a partir de algoritmos existentes y algoritmos que sean más fáciles de explicar, pero es un campo joven y activo. [13] [14]
Otros sostienen que las dificultades con la explicabilidad se deben a su enfoque excesivamente estrecho en las soluciones técnicas en lugar de conectar el tema con las cuestiones más amplias planteadas por un "derecho social a la explicación". [1]
Edwards y Veale consideran que el derecho a la explicación proporciona ciertas bases para las explicaciones sobre decisiones específicas. Analizan dos tipos de explicaciones algorítmicas, las explicaciones centradas en el modelo y las explicaciones centradas en el sujeto (SCE), que en líneas generales están alineadas con las explicaciones sobre sistemas o decisiones. [8]
Los SCE se consideran la mejor manera de proporcionar algún remedio, aunque con algunas limitaciones severas si los datos son demasiado complejos. Su propuesta es descomponer el modelo completo y centrarse en cuestiones específicas mediante explicaciones pedagógicas para una consulta en particular, “que podría ser real o ficticia o exploratoria”. Estas explicaciones implicarán necesariamente concesiones en cuanto a precisión para reducir la complejidad.
Con el creciente interés en la explicación de los sistemas de toma de decisiones técnicas en el campo del diseño de interacción hombre-ordenador, los investigadores y diseñadores se esfuerzan por abrir la caja negra en términos de modelos matemáticamente interpretables, alejados de la ciencia cognitiva y de las necesidades reales de las personas. Los enfoques alternativos serían permitir a los usuarios explorar libremente el comportamiento del sistema a través de explicaciones interactivas.
Una de las propuestas de Edwards y Veale es eliminar parcialmente la transparencia como un paso clave necesario para lograr la rendición de cuentas y la reparación. Argumentan que quienes intentan abordar cuestiones de protección de datos desean que se tomen medidas, no una explicación. El valor real de una explicación no será aliviar o reparar el daño emocional o económico sufrido, sino comprender por qué sucedió algo y ayudar a garantizar que no vuelva a ocurrir un error. [8]
En una escala más amplia, en el estudio Explainable machine learning in deployment, los autores recomiendan construir un marco explicable que establezca claramente los objetivos mediante la identificación de las partes interesadas, la interacción con ellas y la comprensión del propósito de la explicación. Además, se deben tener en cuenta en el sistema las cuestiones de explicabilidad, como las cuestiones de causalidad, privacidad y mejora del rendimiento. [15]