La IA explicable ( XAI ), que a menudo se superpone con la IA interpretable o el aprendizaje automático explicable ( XML ), se refiere a un sistema de IA sobre el cual es posible que los humanos mantengan la supervisión intelectual , o a los métodos para lograrlo. [1] La atención principal suele centrarse en el razonamiento detrás de las decisiones o predicciones realizadas por la IA [2] , que se hacen más comprensibles y transparentes. [3] XAI contrarresta la tendencia de la " caja negra " del aprendizaje automático, donde ni siquiera los diseñadores de la IA pueden explicar por qué se llegó a una decisión específica. [4] [5]
XAI espera ayudar a los usuarios de sistemas impulsados por IA a desempeñarse de manera más efectiva al mejorar su comprensión de cómo razonan esos sistemas. [6] XAI puede ser una implementación del derecho social a la explicación . [7] Incluso si no existe tal derecho legal o requisito regulatorio, XAI puede mejorar la experiencia del usuario de un producto o servicio al ayudar a los usuarios finales a confiar en que la IA está tomando buenas decisiones. XAI tiene como objetivo explicar qué se ha hecho, qué se está haciendo y qué se hará a continuación, y revelar en qué información se basan estas acciones. [8] Esto hace posible confirmar el conocimiento existente, cuestionar el conocimiento existente y generar nuevas suposiciones. [9]
Los algoritmos de aprendizaje automático (ML) utilizados en la IA se pueden clasificar como de caja blanca o de caja negra . [10] Los modelos de caja blanca proporcionan resultados que son comprensibles para los expertos en el campo. Los modelos de caja negra, por otro lado, son extremadamente difíciles de explicar y difícilmente pueden entenderlos incluso los expertos en el campo. [11] Los algoritmos XAI siguen los tres principios de transparencia, interpretabilidad y explicabilidad. Un modelo es transparente "si el diseñador del enfoque puede describir y motivar los procesos que extraen los parámetros del modelo de los datos de entrenamiento y generan etiquetas a partir de los datos de prueba". [12] La interpretabilidad describe la posibilidad de comprender el modelo de ML y presentar la base subyacente para la toma de decisiones de una manera que sea comprensible para los humanos. [13] [14] [15] La explicabilidad es un concepto que se reconoce como importante, pero no se dispone de una definición consensuada. [12] Una posibilidad es “la colección de características del dominio interpretable que han contribuido, para un ejemplo dado, a producir una decisión (por ejemplo, clasificación o regresión)”. [16] Si los algoritmos cumplen estos principios, proporcionan una base para justificar decisiones, rastrearlas y así verificarlas, mejorar los algoritmos y explorar nuevos hechos. [17]
A veces también es posible lograr un resultado de alta precisión con algoritmos ML de caja blanca. Estos algoritmos tienen una estructura interpretable que puede usarse para explicar las predicciones. [18] Los modelos de cuello de botella conceptuales, que utilizan abstracciones a nivel de concepto para explicar el razonamiento del modelo, son ejemplos de esto y se pueden aplicar tanto en tareas de predicción de imágenes [19] como de texto [20] . Esto es especialmente importante en ámbitos como la medicina, la defensa, las finanzas y el derecho, donde es crucial comprender las decisiones y generar confianza en los algoritmos. [8] Muchos investigadores sostienen que, al menos para el aprendizaje automático supervisado, el camino a seguir es la regresión simbólica, donde el algoritmo busca en el espacio de expresiones matemáticas para encontrar el modelo que mejor se ajuste a un conjunto de datos determinado. [21] [22] [23]
Los sistemas de IA optimizan el comportamiento para satisfacer un sistema de objetivos matemáticamente especificado elegido por los diseñadores del sistema, como el comando "maximizar la precisión de evaluar qué tan positivas son las críticas de películas en el conjunto de datos de prueba". La IA puede aprender reglas generales útiles del conjunto de pruebas, como "las reseñas que contienen la palabra "horrible" probablemente sean negativas". Sin embargo, también puede aprender reglas inapropiadas, como "las reseñas que contienen ' Daniel Day-Lewis ' suelen ser positivas"; tales reglas pueden ser indeseables si es probable que no se generalicen fuera del conjunto de entrenamiento, o si la gente considera que la regla es "trampa" o "injusta". Un humano puede auditar las reglas en un XAI para tener una idea de la probabilidad de que el sistema se generalice a datos futuros del mundo real fuera del conjunto de prueba. [24]
La cooperación entre agentes (en este caso, algoritmos y humanos) depende de la confianza. Si los humanos quieren aceptar prescripciones algorítmicas, deben confiar en ellas. La falta de exhaustividad en los criterios formales de confianza es una barrera para la optimización. La transparencia, la interpretabilidad y la explicabilidad son objetivos intermedios en el camino hacia estos criterios de confianza más integrales. [25] Esto es particularmente relevante en medicina, [26] especialmente con los sistemas de apoyo a la decisión clínica (CDSS), en los que los profesionales médicos deben poder comprender cómo y por qué se tomó una decisión basada en máquinas para confiar en la decisión y aumentar su proceso de toma de decisiones. [27]
Los sistemas de IA a veces aprenden trucos indeseables que hacen un trabajo óptimo al satisfacer objetivos explícitos preprogramados en los datos de entrenamiento, pero no reflejan los deseos implícitos más matizados de los diseñadores de sistemas humanos ni la complejidad total de los datos del dominio. Por ejemplo, un sistema de 2017 encargado del reconocimiento de imágenes aprendió a "hacer trampa" buscando una etiqueta de derechos de autor que estuviera asociada con imágenes de caballos en lugar de aprender a saber si un caballo realmente estaba representado. [5] En otro sistema de 2017, una IA de aprendizaje supervisado encargada de agarrar elementos en un mundo virtual aprendió a hacer trampa colocando su manipulador entre el objeto y el espectador de una manera tal que parecía falsamente estar agarrando el objeto. [28] [29]
Un proyecto de transparencia, el programa DARPA XAI, tiene como objetivo producir modelos de "cajas de cristal" que sean explicables para un " humano en el circuito " sin sacrificar mucho el rendimiento de la IA. Los usuarios humanos de un sistema de este tipo pueden comprender la cognición de la IA (tanto en tiempo real como a posteriori) y pueden determinar si confiar en la IA. [30] Otras aplicaciones de XAI son la extracción de conocimientos a partir de modelos de caja negra y comparaciones de modelos. [31] En el contexto de los sistemas de seguimiento del cumplimiento ético y sociolegal, el término "caja de cristal" se utiliza comúnmente para referirse a herramientas que rastrean las entradas y salidas del sistema en cuestión y proporcionan explicaciones basadas en valores para sus comportamiento. Estas herramientas tienen como objetivo garantizar que el sistema funcione de acuerdo con estándares éticos y legales, y que sus procesos de toma de decisiones sean transparentes y responsables. El término "caja de cristal" se utiliza a menudo en contraste con los sistemas de "caja negra", que carecen de transparencia y pueden ser más difíciles de monitorear y regular. [32] El término también se utiliza para nombrar a un asistente de voz que produce declaraciones contrafactuales como explicaciones. [33]
Existe una diferencia entre los términos explicabilidad e interpretabilidad en el contexto de la IA. [34]
Durante las décadas de 1970 y 1990, los sistemas de razonamiento simbólico , como MYCIN , [36] GUIDON, [37] SOPHIE, [38] y PROTOS [39] [40] , podían representar, razonar y explicar su razonamiento para diagnóstico, instrucción y o con fines de aprendizaje automático (aprendizaje basado en explicaciones). MYCIN, desarrollado a principios de la década de 1970 como un prototipo de investigación para diagnosticar infecciones por bacteriemia del torrente sanguíneo, podría explicar [41] cuál de sus reglas codificadas a mano contribuía a un diagnóstico en un caso específico. La investigación en sistemas de tutoría inteligentes dio como resultado el desarrollo de sistemas como SOPHIE que podrían actuar como un "experto articulado", explicando la estrategia de resolución de problemas a un nivel que el estudiante pudiera entender, para que supiera qué acción tomar a continuación. Por ejemplo, SOPHIE pudo explicar el razonamiento cualitativo detrás de su resolución de problemas electrónicos, aunque en última instancia se basó en el simulador de circuito SPICE . De manera similar, GUIDON agregó reglas tutoriales para complementar las reglas a nivel de dominio de MYCIN para poder explicar la estrategia para el diagnóstico médico. Los enfoques simbólicos del aprendizaje automático que se basan en el aprendizaje basado en explicaciones, como PROTOS, hicieron uso de representaciones explícitas de explicaciones expresadas en un lenguaje de explicación dedicado, tanto para explicar sus acciones como para adquirir nuevos conocimientos. [40]
Desde la década de 1980 hasta principios de la de 1990, los sistemas de mantenimiento de la verdad (TMS) ampliaron las capacidades de los sistemas de inferencia basados en razonamiento causal, basados en reglas y basados en lógica. [42] : 360–362 Un TMS rastrea explícitamente líneas alternativas de razonamiento, justificaciones de conclusiones y líneas de razonamiento que conducen a contradicciones, lo que permite que el razonamiento futuro evite estos callejones sin salida. Para proporcionar una explicación, rastrean el razonamiento desde las conclusiones hasta los supuestos a través de operaciones de reglas o inferencias lógicas, lo que permite generar explicaciones a partir de los rastros del razonamiento. Como ejemplo, consideremos a un solucionador de problemas basado en reglas con sólo unas pocas reglas sobre Sócrates y que concluye que ha muerto por envenenamiento:
Con solo rastrear la estructura de dependencia, el solucionador del problema puede construir la siguiente explicación: "Sócrates murió porque era mortal y bebió veneno, y todos los mortales mueren cuando beben veneno. Sócrates era mortal porque era un hombre y todos los hombres son mortales. Sócrates bebió veneno porque tenía creencias disidentes, el gobierno era conservador y aquellos que tenían creencias disidentes conservadoras bajo gobiernos conservadores deben beber veneno". [43] : 164–165
En la década de 1990, los investigadores comenzaron a estudiar si es posible extraer de manera significativa las reglas no codificadas a mano que generan las redes neuronales entrenadas y opacas. [44] Los investigadores de sistemas clínicos expertos que crean [ se necesita aclaración ] soporte de decisiones para los médicos impulsado por redes neuronales buscaron desarrollar explicaciones dinámicas que permitan que estas tecnologías sean más confiables y dignas de confianza en la práctica. [7] En la década de 2010, las preocupaciones públicas sobre los prejuicios raciales y de otro tipo en el uso de la IA para decisiones de sentencias penales y determinaciones de solvencia pueden haber llevado a una mayor demanda de inteligencia artificial transparente. [5] Como resultado, muchos académicos y organizaciones están desarrollando herramientas para ayudar a detectar sesgos en sus sistemas. [45]
Marvin Minsky y cols. planteó la cuestión de que la IA puede funcionar como una forma de vigilancia, con los sesgos inherentes a la vigilancia, sugiriendo la HI (Inteligencia Humanística) como una forma de crear una IA "humana en el circuito" más justa y equilibrada. [46]
Las técnicas modernas y complejas de IA, como el aprendizaje profundo y los algoritmos genéticos , son naturalmente opacas. [47] Para abordar esta cuestión, se han desarrollado métodos para hacer que los nuevos modelos sean más explicables e interpretables. [48] [14] [13] [49] [50] [51] Esto incluye la propagación de relevancia por capas (LRP), una técnica para determinar qué características en un vector de entrada particular contribuyen más fuertemente a la salida de una red neuronal. [52] [53] Otras técnicas explican alguna predicción particular realizada por un modelo de caja negra (no lineal), un objetivo denominado "interpretabilidad local". [54] [55] [56] [57] [58] [59] La mera transposición de los conceptos de interpretabilidad local a un contexto remoto (donde el modelo de caja negra se ejecuta en un tercero) está actualmente bajo escrutinio [ impreciso ] . [ se necesita aclaración ] [60] [61]
Se ha trabajado para fabricar modelos de cajas de vidrio que sean más transparentes a la inspección. [18] [62] Esto incluye árboles de decisión , [63] redes bayesianas , modelos lineales dispersos , [64] y más. [65] La Conferencia de la Asociación para la Maquinaria de Computación sobre Equidad, Responsabilidad y Transparencia (ACM FAccT) se estableció en 2018 para estudiar la transparencia y la explicabilidad en el contexto de los sistemas sociotécnicos, muchos de los cuales incluyen inteligencia artificial. [66] [67]
Algunas técnicas permiten visualizar las entradas a las que las neuronas de software individuales responden con mayor fuerza. Varios grupos descubrieron que las neuronas se pueden agregar en circuitos que realizan funciones comprensibles para los humanos, algunas de las cuales surgen de manera confiable a través de diferentes redes entrenadas de forma independiente. [68] [69]
Existen varias técnicas para extraer representaciones comprimidas de las características de entradas determinadas, que luego pueden analizarse mediante técnicas de agrupación estándar . Alternativamente, se pueden entrenar redes para que generen explicaciones lingüísticas de su comportamiento, que luego sean directamente interpretables por humanos. [70] El comportamiento del modelo también se puede explicar con referencia a datos de entrenamiento, por ejemplo, evaluando qué entradas de entrenamiento influyeron más en un comportamiento determinado. [71]
El uso de inteligencia artificial explicable (XAI) en la investigación del dolor, específicamente en la comprensión del papel de la actividad electrodérmica para el reconocimiento automatizado del dolor: características hechas a mano y modelos de aprendizaje profundo en el reconocimiento del dolor, destacando los conocimientos que las características simples hechas a mano pueden generar resultados comparativos. rendimientos de los modelos de aprendizaje profundo y que tanto la ingeniería de características tradicional como los enfoques de aprendizaje de características profundas se basan en características simples de los datos de series de tiempo de entrada. [72]
A medida que los reguladores, los organismos oficiales y los usuarios en general dependan de sistemas dinámicos basados en IA, se requerirá una rendición de cuentas más clara para los procesos automatizados de toma de decisiones para garantizar la confianza y la transparencia. La primera conferencia global dedicada exclusivamente a esta disciplina emergente fue la Conferencia Internacional Conjunta sobre Inteligencia Artificial de 2017 : Taller sobre Inteligencia Artificial Explicable (XAI). [73]
La Unión Europea introdujo un derecho a explicaciones en el Derecho General de Protección de Datos (GDPR) para abordar posibles problemas derivados de la creciente importancia de los algoritmos. La implementación del reglamento comenzó en 2018. Sin embargo, el derecho a explicaciones en el RGPD cubre solo el aspecto local de la interpretabilidad. En los Estados Unidos, las compañías de seguros deben poder explicar sus decisiones sobre tarifas y cobertura. [74] En Francia, la Loi pour une République numérique (Ley de República Digital) otorga a los sujetos el derecho a solicitar y recibir información relativa a la implementación de algoritmos que procesan datos sobre ellos.
A pesar de los esfuerzos en curso para mejorar la explicabilidad de los modelos de IA, persisten con varias limitaciones inherentes.
Al hacer que un sistema de IA sea más explicable, también revelamos más de su funcionamiento interno. Por ejemplo, el método de explicabilidad de la importancia de las características identifica las características o variables que son más importantes para determinar el resultado del modelo, mientras que el método de muestras influyentes identifica las muestras de entrenamiento que son más influyentes para determinar el resultado, dada una entrada particular. [75] Las partes adversarias podrían aprovechar este conocimiento.
Por ejemplo, las empresas competidoras podrían replicar aspectos del sistema de IA original en su propio producto, reduciendo así la ventaja competitiva. [76] Un sistema de IA explicable también es susceptible de ser "engañado", influenciado de una manera que socave su propósito previsto. Un estudio da el ejemplo de un sistema policial predictivo; en este caso, quienes potencialmente podrían “engañar” al sistema son los delincuentes sujetos a las decisiones del sistema. En este estudio, los desarrolladores del sistema discutieron el tema de las bandas criminales que buscan obtener pasaportes ilegalmente y expresaron su preocupación de que, si se les diera una idea de qué factores podrían desencadenar una alerta en el proceso de solicitud de pasaporte, esas bandas podrían “ enviar conejillos de indias” para probar esos factores desencadenantes, y finalmente encontrar una laguna que les permitiría “obtener pasaportes de manera confiable ante las narices de las autoridades”. [77]
Una barrera fundamental para hacer que los sistemas de IA sean explicables es la complejidad técnica de dichos sistemas. Los usuarios finales a menudo carecen de los conocimientos de codificación necesarios para comprender software de cualquier tipo. Los métodos actuales utilizados para explicar la IA son principalmente técnicos, dirigidos a ingenieros de aprendizaje automático con fines de depuración, en lugar de a los usuarios finales que en última instancia se ven afectados por el sistema, lo que provoca "una brecha entre la explicabilidad en la práctica y el objetivo de transparencia". [75] Las soluciones propuestas para abordar el problema de la complejidad técnica incluyen promover la educación en codificación del público en general para que las explicaciones técnicas sean más accesibles para los usuarios finales, o proporcionar explicaciones en términos simples. [76]
La solución debe evitar una simplificación excesiva. Es importante lograr un equilibrio entre precisión (qué tan fielmente refleja la explicación el proceso del sistema de IA) y explicabilidad (qué tan bien entienden el proceso los usuarios finales). Este es un equilibrio difícil de lograr, ya que la complejidad del aprendizaje automático hace que sea difícil de entender completamente incluso para los ingenieros de ML, y mucho menos para los no expertos. [75]
El objetivo de la explicabilidad a los usuarios finales de los sistemas de IA es aumentar la confianza en los sistemas, incluso "abordar las preocupaciones sobre la falta de 'justicia' y los efectos discriminatorios". [76] Sin embargo, incluso con una buena comprensión de un sistema de IA, es posible que los usuarios finales no necesariamente confíen en el sistema. [78] En un estudio, a los participantes se les presentaron combinaciones de explicaciones de caja blanca y de caja negra, y explicaciones estáticas e interactivas de sistemas de IA. Si bien estas explicaciones sirvieron para aumentar tanto su comprensión objetiva como la autoinformada, no tuvieron ningún impacto en su nivel de confianza, que permaneció escéptico. [79]
Este resultado fue especialmente cierto para las decisiones que impactaron al usuario final de manera significativa, como las admisiones a la escuela de posgrado. Los participantes consideraron que los algoritmos eran demasiado inflexibles e implacables en comparación con los tomadores de decisiones humanos; En lugar de adherirse rígidamente a un conjunto de reglas, los humanos pueden considerar casos excepcionales y apelar a su decisión inicial. [79] Para tales decisiones, la explicabilidad no necesariamente hará que los usuarios finales acepten el uso de algoritmos de toma de decisiones. Tendremos que recurrir a otro método para aumentar la confianza y la aceptación de los algoritmos de toma de decisiones, o cuestionar la necesidad de depender únicamente de la IA para tomar decisiones tan impactantes en primer lugar.
Sin embargo, algunos enfatizan que el propósito de la explicabilidad de la inteligencia artificial no es simplemente aumentar la confianza de los usuarios en las decisiones del sistema, sino calibrar el nivel de confianza de los usuarios al nivel correcto. [80] Según este principio, demasiada o muy poca confianza del usuario en el sistema de IA dañará el rendimiento general de la unidad del sistema humano. Cuando la confianza es excesiva, los usuarios no son críticos ante posibles errores del sistema y cuando los usuarios no tienen suficiente confianza en el sistema, no agotarán los beneficios inherentes al mismo.
Algunos académicos han sugerido que la explicabilidad en la IA debería considerarse un objetivo secundario a la eficacia de la IA, y que fomentar el desarrollo exclusivo de XAI puede limitar la funcionalidad de la IA en términos más amplios. [81] [82] Las críticas a XAI se basan en conceptos desarrollados de razonamiento mecanicista y empírico de la medicina basada en evidencia para sugerir que las tecnologías de IA pueden validarse clínicamente incluso cuando sus operadores no pueden entender su función. [81]
Algunos investigadores abogan por el uso de modelos de aprendizaje automático inherentemente interpretables, en lugar de utilizar explicaciones post hoc en las que se crea un segundo modelo para explicar el primero. Esto se debe en parte a que los modelos post-hoc aumentan la complejidad en una vía de decisión y en parte a que a menudo no está claro con qué fidelidad una explicación post-hoc puede imitar los cálculos de un modelo completamente separado. [18] Sin embargo, otra opinión es que lo importante es que la explicación cumpla con la tarea en cuestión, y no importa si es pre o post-hoc. Si un método de explicación post hoc ayuda al médico a diagnosticar mejor el cáncer, es de importancia secundaria si se trata de una explicación correcta o incorrecta.
Los objetivos de XAI equivalen a una forma de compresión con pérdidas que se volverá menos efectiva a medida que los modelos de IA crezcan en su número de parámetros. Junto con otros factores, esto conduce a un límite teórico de explicabilidad. [83]
La explicabilidad también se estudió en campos relacionados.
Cailloux y Endriss [84] presentan un método para explicar las reglas de votación utilizando los axiomas que las caracterizan. Ejemplifican su método con la regla de votación Borda .
Peters, Procaccia, Psomas y Zhou [85] presentan un algoritmo para explicar los resultados de la regla de Borda utilizando explicaciones O( m 2 ) y demuestran que esto es estricto en el peor de los casos.
Yang, Hausladen, Peters, Pournaras, Fricker y Helbing [86] presentan un estudio empírico sobre la explicabilidad en el presupuesto participativo . Compararon las reglas Greedy y Equal Shares , y tres tipos de explicaciones: explicación del mecanismo (una explicación general de cómo funciona la regla de agregación dada la entrada de voto), explicación individual (que explica cuántos votantes tenían al menos un proyecto aprobado, al menos 10.000 CHF en proyectos aprobados) y explicación en grupo (explicando cómo se distribuye el presupuesto entre los distritos y los temas). Compararon la confiabilidad y equidad percibidas de Greedy and Equal Shares, antes y después de las explicaciones. Descubrieron que, para MES, la explicación del mecanismo produce el mayor aumento en la percepción de equidad y confiabilidad; el segundo más alto fue la explicación del grupo. Para Greedy, la explicación del mecanismo aumenta la confiabilidad percibida pero no la justicia, mientras que la explicación individual aumenta tanto la justicia percibida como la confiabilidad. La explicación grupal disminuye la percepción de justicia y confiabilidad.
Nizri, Azaria y Hazon [87] presentan un algoritmo para calcular explicaciones del valor de Shapley . Dado un juego de coalición, su algoritmo lo descompone en subjuegos, para los cuales es fácil generar explicaciones verbales basadas en los axiomas que caracterizan el valor de Shapley. La asignación de pagos para cada subjuego se percibe como justa, por lo que la asignación de pagos basada en Shapley para el juego en cuestión también debería parecer justa. Un experimento con 210 sujetos humanos muestra que, con sus explicaciones generadas automáticamente, los sujetos perciben la asignación de pagos basada en Shapley como significativamente más justa que con una explicación estándar general.
{{cite journal}}: Citar diario requiere |journal=( ayuda ){{cite arXiv}}: Mantenimiento CS1: varios nombres: lista de autores ( enlace ){{cite journal}}: Citar diario requiere |journal=( ayuda ){{cite journal}}: Citar diario requiere |journal=( ayuda )