stringtranslate.com

Inteligencia artificial explicable

La IA explicable ( XAI ), que a menudo se superpone con la IA interpretable o el aprendizaje automático explicable ( XML ), se refiere a un sistema de inteligencia artificial (IA) sobre el cual los humanos pueden mantener una supervisión intelectual , o se refiere a los métodos para lograr esto. [1] [2] El enfoque principal suele estar en el razonamiento detrás de las decisiones o predicciones realizadas por la IA [3] que se hacen más comprensibles y transparentes. [4] La XAI contrarresta la tendencia de " caja negra " del aprendizaje automático, donde incluso los diseñadores de la IA no pueden explicar por qué llegó a una decisión específica. [5] [6]

La XAI espera ayudar a los usuarios de sistemas impulsados ​​por IA a desempeñarse de manera más efectiva al mejorar su comprensión de cómo razonan esos sistemas. [7] La ​​XAI puede ser una implementación del derecho social a la explicación . [8] Incluso si no existe tal derecho legal o requisito regulatorio, la XAI puede mejorar la experiencia del usuario de un producto o servicio al ayudar a los usuarios finales a confiar en que la IA está tomando buenas decisiones. [9] La XAI tiene como objetivo explicar lo que se ha hecho, lo que se está haciendo y lo que se hará a continuación, y revelar en qué información se basan estas acciones. [10] Esto hace posible confirmar el conocimiento existente, desafiar el conocimiento existente y generar nuevos supuestos. [11]

Los algoritmos de aprendizaje automático (ML) utilizados en IA se pueden clasificar como de caja blanca o de caja negra . [12] Los modelos de caja blanca proporcionan resultados que son comprensibles para los expertos en el dominio. Los modelos de caja negra, por otro lado, son extremadamente difíciles de explicar y es posible que ni siquiera los expertos en el dominio los comprendan. [13] Los algoritmos XAI siguen los tres principios de transparencia, interpretabilidad y explicabilidad. Un modelo es transparente "si los procesos que extraen los parámetros del modelo de los datos de entrenamiento y generan etiquetas a partir de los datos de prueba pueden ser descritos y motivados por el diseñador del enfoque". [14] La interpretabilidad describe la posibilidad de comprender el modelo de ML y presentar la base subyacente para la toma de decisiones de una manera que sea comprensible para los humanos. [15] [16] [17] La ​​explicabilidad es un concepto que se reconoce como importante, pero aún no hay una definición de consenso disponible; [14] una posibilidad es "la colección de características del dominio interpretable que han contribuido, para un ejemplo dado, a producir una decisión (por ejemplo, clasificación o regresión)". [18] Si los algoritmos cumplen estos principios, proporcionan una base para justificar decisiones, rastrearlas y, por lo tanto, verificarlas, mejorar los algoritmos y explorar nuevos hechos. [19]

A veces también es posible lograr un resultado de alta precisión con algoritmos de ML de caja blanca. Estos algoritmos tienen una estructura interpretable que se puede utilizar para explicar predicciones. [20] Los modelos de cuello de botella conceptual, que utilizan abstracciones a nivel de concepto para explicar el razonamiento del modelo, son ejemplos de esto y se pueden aplicar tanto en tareas de predicción de imágenes [21] como de texto [22] . Esto es especialmente importante en dominios como la medicina, la defensa, las finanzas y el derecho, donde es crucial comprender las decisiones y generar confianza en los algoritmos. [10] Muchos investigadores sostienen que, al menos para el aprendizaje automático supervisado, el camino a seguir es la regresión simbólica, donde el algoritmo busca en el espacio de expresiones matemáticas para encontrar el modelo que mejor se ajusta a un conjunto de datos determinado. [23] [24] [25]

Los sistemas de IA optimizan el comportamiento para satisfacer un sistema de objetivos especificado matemáticamente elegido por los diseñadores del sistema, como el comando "maximizar la precisión de la evaluación de cuán positivas son las críticas de películas en el conjunto de datos de prueba". La IA puede aprender reglas generales útiles del conjunto de prueba, como "es probable que las críticas que contienen la palabra 'horrible' sean negativas". Sin embargo, también puede aprender reglas inapropiadas, como "las críticas que contienen ' Daniel Day-Lewis ' suelen ser positivas"; tales reglas pueden ser indeseables si es probable que no se generalicen fuera del conjunto de entrenamiento, o si las personas consideran que la regla es "tramposa" o "injusta". Un humano puede auditar las reglas en una XAI para tener una idea de qué tan probable es que el sistema se generalice a futuros datos del mundo real fuera del conjunto de prueba. [26]

Objetivos

La cooperación entre agentes –en este caso, algoritmos y humanos– depende de la confianza. Para que los humanos acepten las prescripciones algorítmicas, deben confiar en ellas. La falta de completitud en los criterios formales de confianza es una barrera para la optimización. La transparencia, la interpretabilidad y la explicabilidad son objetivos intermedios en el camino hacia estos criterios de confianza más integrales. [27] Esto es particularmente relevante en medicina, [28] especialmente con los sistemas de apoyo a las decisiones clínicas (CDSS), en los que los profesionales médicos deben poder entender cómo y por qué se tomó una decisión basada en máquinas para poder confiar en la decisión y mejorar su proceso de toma de decisiones. [29]

Los sistemas de IA a veces aprenden trucos indeseables que cumplen de manera óptima los objetivos explícitos preprogramados en los datos de entrenamiento, pero no reflejan los deseos implícitos más matizados de los diseñadores del sistema humano ni la complejidad total de los datos del dominio. Por ejemplo, un sistema de 2017 encargado del reconocimiento de imágenes aprendió a "hacer trampa" buscando una etiqueta de derechos de autor que estaba asociada con imágenes de caballos en lugar de aprender a determinar si realmente había un caballo en la imagen. [6] En otro sistema de 2017, una IA de aprendizaje supervisado encargada de agarrar objetos en un mundo virtual aprendió a hacer trampa colocando su manipulador entre el objeto y el espectador de manera que pareciera falsamente que estaba agarrando el objeto. [30] [31]

Un proyecto de transparencia, el programa DARPA XAI, tiene como objetivo producir modelos de " caja de cristal " que sean explicables a un " humano en el circuito " sin sacrificar en gran medida el rendimiento de la IA. Los usuarios humanos de un sistema de este tipo pueden comprender la cognición de la IA (tanto en tiempo real como después del hecho) y pueden determinar si confiar en la IA. [32] Otras aplicaciones de XAI son la extracción de conocimiento de modelos de caja negra y las comparaciones de modelos. [33] En el contexto de los sistemas de monitoreo para el cumplimiento ético y socio-legal, el término "caja de cristal" se usa comúnmente para referirse a herramientas que rastrean las entradas y salidas del sistema en cuestión y brindan explicaciones basadas en valores para su comportamiento. Estas herramientas tienen como objetivo garantizar que el sistema funcione de acuerdo con estándares éticos y legales, y que sus procesos de toma de decisiones sean transparentes y responsables. El término "caja de cristal" se usa a menudo en contraste con los sistemas de "caja negra", que carecen de transparencia y pueden ser más difíciles de monitorear y regular. [34] El término también se utiliza para nombrar a un asistente de voz que produce declaraciones contrafácticas como explicaciones. [35]

Técnicas de explicabilidad e interpretación

Existe una sutil diferencia entre los términos explicabilidad e interpretabilidad en el contexto de la IA. [36]

Algunas técnicas de explicabilidad no implican comprender cómo funciona el modelo y pueden funcionar en varios sistemas de IA. Tratar el modelo como una caja negra y analizar cómo los cambios marginales en las entradas afectan el resultado a veces proporciona una explicación suficiente.

Explicabilidad

La explicabilidad es útil para garantizar que los modelos de IA no tomen decisiones basadas en criterios irrelevantes o injustos. Existen varias técnicas populares para los modelos de clasificación y regresión :

En el caso de las imágenes, los mapas de saliencia resaltan las partes de una imagen que más influyeron en el resultado. [41]

Sin embargo, estas técnicas no son muy adecuadas para modelos de lenguaje como los transformadores generativos preentrenados . Dado que estos modelos generan lenguaje, pueden proporcionar una explicación, pero que puede no ser confiable. Otras técnicas incluyen el análisis de la atención (examinar cómo el modelo se enfoca en diferentes partes de la entrada), métodos de sondeo (probar qué información se captura en las representaciones del modelo), rastreo causal (rastrear el flujo de información a través del modelo) y descubrimiento de circuitos (identificar subredes específicas responsables de ciertos comportamientos). La investigación de explicabilidad en esta área se superpone significativamente con la investigación de interpretabilidad y alineación . [42]

Interpretabilidad

Los académicos a veces utilizan el término "interpretabilidad mecanicista" para referirse al proceso de ingeniería inversa de redes neuronales artificiales para comprender sus mecanismos y componentes internos de toma de decisiones, de manera similar a cómo se podría analizar una máquina compleja o un programa de computadora. [43]

La investigación sobre interpretabilidad suele centrarse en transformadores generativos preentrenados. Es especialmente relevante para la seguridad y la alineación de la IA , ya que puede permitir identificar señales de comportamientos no deseados, como la adulación , el engaño o el sesgo, y orientar mejor los modelos de IA. [44]

El estudio de la interpretabilidad de los modelos de base más avanzados a menudo implica la búsqueda de una forma automatizada de identificar "características" en transformadores generativos preentrenados. En una red neuronal , una característica es un patrón de activaciones neuronales que corresponde a un concepto. Una técnica de uso intensivo de recursos computacionales llamada " aprendizaje de diccionario " permite identificar características hasta cierto punto. Se espera que la mejora de la capacidad de identificar y editar características mejore significativamente la seguridad de los modelos de IA de frontera . [45] [46]

Para las redes neuronales convolucionales , DeepDream puede generar imágenes que activan fuertemente una neurona en particular, brindando una pista visual sobre lo que la neurona está entrenada para identificar. [47]

Historia y métodos

Durante los años 1970 a 1990, los sistemas de razonamiento simbólico , como MYCIN , [48] GUIDON, [49] SOPHIE, [50] y PROTOS [51] [52] podían representar, razonar y explicar su razonamiento con fines de diagnóstico, instrucción o aprendizaje automático (aprendizaje basado en explicaciones). MYCIN, desarrollado a principios de los años 1970 como un prototipo de investigación para diagnosticar infecciones de bacteriemia del torrente sanguíneo, podía explicar [53] cuál de sus reglas codificadas a mano contribuía a un diagnóstico en un caso específico. La investigación en sistemas de tutoría inteligente dio como resultado el desarrollo de sistemas como SOPHIE que podían actuar como un "experto articulado", explicando la estrategia de resolución de problemas a un nivel que el estudiante pudiera entender, para que supiera qué acción tomar a continuación. Por ejemplo, SOPHIE podía explicar el razonamiento cualitativo detrás de su resolución de problemas electrónicos, aunque en última instancia dependía del simulador de circuitos SPICE . De manera similar, GUIDON agregó reglas tutoriales para complementar las reglas a nivel de dominio de MYCIN, de modo que pudiera explicar la estrategia para el diagnóstico médico. Los enfoques simbólicos para el aprendizaje automático que se basan en el aprendizaje basado en explicaciones, como PROTOS, hicieron uso de representaciones explícitas de explicaciones expresadas en un lenguaje de explicación dedicado, tanto para explicar sus acciones como para adquirir nuevos conocimientos. [52]

En la década de 1980 y hasta principios de la de 1990, los sistemas de mantenimiento de la verdad (TMS) ampliaron las capacidades de los sistemas de inferencia basados ​​en reglas , lógica y razonamiento causal . [54] : 360–362  Un TMS rastrea explícitamente líneas alternativas de razonamiento, justificaciones para conclusiones y líneas de razonamiento que conducen a contradicciones, lo que permite que el razonamiento futuro evite estos callejones sin salida. Para proporcionar una explicación, rastrean el razonamiento desde las conclusiones hasta los supuestos a través de operaciones de reglas o inferencias lógicas, lo que permite generar explicaciones a partir de los rastros de razonamiento. Como ejemplo, considere un solucionador de problemas basado en reglas con solo unas pocas reglas sobre Sócrates que concluye que ha muerto envenenado:

Con solo rastrear la estructura de dependencia, el solucionador de problemas puede construir la siguiente explicación: "Sócrates murió porque era mortal y bebió veneno, y todos los mortales mueren cuando beben veneno. Sócrates era mortal porque era un hombre y todos los hombres son mortales. Sócrates bebió veneno porque sostenía creencias disidentes, el gobierno era conservador y aquellos que tenían creencias disidentes conservadoras bajo gobiernos conservadores deben beber veneno". [55] : 164–165 

En la década de 1990, los investigadores comenzaron a estudiar si era posible extraer de manera significativa las reglas no codificadas a mano que generaban las redes neuronales entrenadas opacas. [56] Los investigadores en sistemas expertos clínicos que creaban [ aclaración necesaria ] soporte de decisiones impulsado por redes neuronales para médicos buscaron desarrollar explicaciones dinámicas que permitieran que estas tecnologías fueran más confiables y dignas de confianza en la práctica. [8] En la década de 2010, las preocupaciones públicas sobre el sesgo racial y de otro tipo en el uso de IA para decisiones de sentencias penales y hallazgos de solvencia pueden haber llevado a una mayor demanda de inteligencia artificial transparente. [6] Como resultado, muchos académicos y organizaciones están desarrollando herramientas para ayudar a detectar sesgos en sus sistemas. [57]

Marvin Minsky et al. plantearon la cuestión de que la IA puede funcionar como una forma de vigilancia, con los sesgos inherentes a la vigilancia, y sugirieron la IA (Inteligencia Humanística) como una forma de crear una IA más justa y equilibrada con "humanos en el circuito". [58]

Las técnicas modernas de IA complejas, como el aprendizaje profundo , son naturalmente opacas. [59] Para abordar este problema, se han desarrollado métodos para hacer que los nuevos modelos sean más explicables e interpretables. [60] [16] [15 ] [61] [62] [63] Esto incluye la propagación de relevancia por capas (LRP), una técnica para determinar qué características en un vector de entrada particular contribuyen más fuertemente a la salida de una red neuronal. [64] [65] Otras técnicas explican alguna predicción particular hecha por un modelo de caja negra (no lineal), un objetivo conocido como "interpretabilidad local". [66] [67] [68] [69] [70] [71] La mera transposición de los conceptos de interpretabilidad local a un contexto remoto (donde el modelo de caja negra se ejecuta en un tercero) está actualmente bajo escrutinio [ vago ] . [ aclaración necesaria ] [72] [73]

Se ha trabajado en la creación de modelos de caja de cristal que sean más transparentes a la inspección. [20] [74] Esto incluye árboles de decisión , [75] redes bayesianas , modelos lineales dispersos , [76] y más. [77] La ​​Conferencia de la Asociación para la Maquinaria Informática sobre Equidad, Responsabilidad y Transparencia (ACM FAccT) se estableció en 2018 para estudiar la transparencia y la explicabilidad en el contexto de los sistemas sociotécnicos, muchos de los cuales incluyen inteligencia artificial. [78] [79]

Algunas técnicas permiten visualizar las entradas a las que las neuronas de software individuales responden con mayor intensidad. Varios grupos descubrieron que las neuronas pueden agruparse en circuitos que realizan funciones comprensibles para los humanos, algunas de las cuales surgen de manera confiable en diferentes redes entrenadas de forma independiente. [80] [81]

Existen diversas técnicas para extraer representaciones comprimidas de las características de entradas dadas, que luego pueden analizarse mediante técnicas de agrupamiento estándar . Alternativamente, las redes pueden entrenarse para generar explicaciones lingüísticas de su comportamiento, que luego son directamente interpretables por humanos. [82] El comportamiento del modelo también puede explicarse con referencia a los datos de entrenamiento, por ejemplo, evaluando qué entradas de entrenamiento influyeron más en un comportamiento dado. [83]

El uso de inteligencia artificial explicable (XAI) en la investigación del dolor, específicamente en la comprensión del papel de la actividad electrodérmica para el reconocimiento automatizado del dolor : características creadas a mano y modelos de aprendizaje profundo en el reconocimiento del dolor, destacando las ideas de que las características simples creadas a mano pueden producir rendimientos comparativos con los modelos de aprendizaje profundo y que tanto la ingeniería de características tradicionales como los enfoques de aprendizaje de características profundas se basan en características simples de los datos de series de tiempo de entrada. [84]

Regulación

A medida que los reguladores, los organismos oficiales y los usuarios en general comiencen a depender de sistemas dinámicos basados ​​en IA, será necesario que los procesos de toma de decisiones automatizados rindan cuentas de manera más clara para garantizar la confianza y la transparencia. La primera conferencia mundial dedicada exclusivamente a esta disciplina emergente fue la Conferencia Conjunta Internacional sobre Inteligencia Artificial de 2017 : Taller sobre Inteligencia Artificial Explicable (XAI). [85]

La Unión Europea introdujo un derecho a explicación en el Derecho General de Protección de Datos (RGPD) para abordar los posibles problemas derivados de la creciente importancia de los algoritmos. La implementación de la regulación comenzó en 2018. Sin embargo, el derecho a explicación en el RGPD cubre solo el aspecto local de la interpretabilidad. En los Estados Unidos, las compañías de seguros deben poder explicar sus decisiones sobre tarifas y cobertura. [86] En Francia, la Loi pour une République numérique (Ley para una República Digital) otorga a los sujetos el derecho a solicitar y recibir información relacionada con la implementación de algoritmos que procesan datos sobre ellos.

Limitaciones

A pesar de los esfuerzos constantes por mejorar la explicabilidad de los modelos de IA, estos persisten con varias limitaciones inherentes.

Partes adversarias

Al hacer que un sistema de IA sea más explicable, también revelamos más de su funcionamiento interno. Por ejemplo, el método de explicabilidad de la importancia de las características identifica las características o variables que son más importantes para determinar el resultado del modelo, mientras que el método de muestras influyentes identifica las muestras de entrenamiento que son más influyentes para determinar el resultado, dada una entrada particular. [87] Las partes adversarias podrían aprovechar este conocimiento.

Por ejemplo, las empresas competidoras podrían replicar aspectos del sistema de IA original en su propio producto, reduciendo así la ventaja competitiva. [88] Un sistema de IA explicable también es susceptible de ser “engañado”, es decir, influenciado de una manera que socave su propósito previsto. Un estudio da el ejemplo de un sistema de vigilancia predictiva; en este caso, quienes podrían potencialmente “engañar” al sistema son los criminales sujetos a las decisiones del sistema. En este estudio, los desarrolladores del sistema analizaron la cuestión de las bandas criminales que buscan obtener pasaportes ilegalmente y expresaron su preocupación por el hecho de que, si se les da una idea de qué factores podrían desencadenar una alerta en el proceso de solicitud de pasaportes, esas bandas podrían “enviar conejillos de indias” para probar esos factores desencadenantes, encontrando eventualmente una laguna que les permitiría “obtener pasaportes de manera confiable bajo las narices de las autoridades”. [89]

Complejidad técnica

Una barrera fundamental para hacer que los sistemas de IA sean explicables es la complejidad técnica de dichos sistemas. Los usuarios finales a menudo carecen de los conocimientos de codificación necesarios para comprender cualquier tipo de software. Los métodos actuales que se utilizan para explicar la IA son principalmente técnicos, orientados a los ingenieros de aprendizaje automático con fines de depuración, en lugar de a los usuarios finales que son los que en última instancia se ven afectados por el sistema, lo que provoca “una brecha entre la explicabilidad en la práctica y el objetivo de transparencia”. [87] Las soluciones propuestas para abordar el problema de la complejidad técnica incluyen promover la educación en codificación del público en general para que las explicaciones técnicas sean más accesibles para los usuarios finales, o proporcionar explicaciones en términos sencillos. [88]

La solución debe evitar la simplificación excesiva. Es importante lograr un equilibrio entre la precisión (la fidelidad con la que la explicación refleja el proceso del sistema de IA) y la explicabilidad (el grado de comprensión del proceso por parte de los usuarios finales). Se trata de un equilibrio difícil de lograr, ya que la complejidad del aprendizaje automático dificulta su comprensión total incluso para los ingenieros de ML, y mucho menos para los no expertos. [87]

Comprensión versus confianza

El objetivo de que los usuarios finales de los sistemas de IA puedan ser explicados es aumentar la confianza en los sistemas, e incluso “abordar las preocupaciones sobre la falta de 'justicia' y los efectos discriminatorios”. [88] Sin embargo, incluso con un buen conocimiento de un sistema de IA, los usuarios finales pueden no confiar necesariamente en el sistema. [90] En un estudio, se presentó a los participantes combinaciones de explicaciones de caja blanca y caja negra, y explicaciones estáticas e interactivas de los sistemas de IA. Si bien estas explicaciones sirvieron para aumentar tanto su comprensión autoinformada como objetiva, no tuvieron ningún impacto en su nivel de confianza, que se mantuvo escéptico. [91]

Este resultado fue especialmente cierto en el caso de decisiones que impactaban al usuario final de manera significativa, como las admisiones a la escuela de posgrado. Los participantes juzgaron que los algoritmos eran demasiado inflexibles e implacables en comparación con los tomadores de decisiones humanos; en lugar de adherirse rígidamente a un conjunto de reglas, los humanos pueden considerar casos excepcionales, así como apelaciones a su decisión inicial. [91] Para tales decisiones, la explicabilidad no necesariamente hará que los usuarios finales acepten el uso de algoritmos de toma de decisiones. Tendremos que recurrir a otro método para aumentar la confianza y la aceptación de los algoritmos de toma de decisiones, o cuestionar la necesidad de confiar únicamente en la IA para tomar decisiones tan impactantes en primer lugar.

Sin embargo, algunos enfatizan que el propósito de la explicabilidad de la inteligencia artificial no es simplemente aumentar la confianza de los usuarios en las decisiones del sistema, sino calibrar el nivel de confianza de los usuarios al nivel correcto. [92] De acuerdo con este principio, demasiada o muy poca confianza del usuario en el sistema de IA dañará el desempeño general de la unidad humano-sistema. Cuando la confianza es excesiva, los usuarios no son críticos ante los posibles errores del sistema y cuando los usuarios no tienen suficiente confianza en el sistema, no agotarán los beneficios inherentes a él.

Crítica

Algunos académicos han sugerido que la explicabilidad en la IA debe considerarse un objetivo secundario a la efectividad de la IA, y que alentar el desarrollo exclusivo de XAI puede limitar la funcionalidad de la IA de manera más amplia. [93] [94] Las críticas a XAI se basan en conceptos desarrollados de razonamiento mecanicista y empírico de la medicina basada en evidencia para sugerir que las tecnologías de IA pueden validarse clínicamente incluso cuando sus operadores no pueden comprender su función. [93]

Algunos investigadores abogan por el uso de modelos de aprendizaje automático inherentemente interpretables, en lugar de utilizar explicaciones post-hoc en las que se crea un segundo modelo para explicar el primero. Esto se debe en parte a que los modelos post-hoc aumentan la complejidad en una vía de decisión y en parte a que a menudo no está claro con qué fidelidad una explicación post-hoc puede imitar los cálculos de un modelo completamente separado. [20] Sin embargo, otra opinión es que lo importante es que la explicación cumpla con la tarea en cuestión, y no importa si es pre o post-hoc. Si un método de explicación post-hoc ayuda a un médico a diagnosticar mejor el cáncer, es de importancia secundaria si es una explicación correcta o incorrecta.

Los objetivos de la XAI son una forma de compresión con pérdida que se volverá menos efectiva a medida que aumente el número de parámetros de los modelos de IA. Junto con otros factores, esto conduce a un límite teórico para la explicabilidad. [95]

Explicabilidad en la elección social

La explicabilidad también se estudió en la teoría de la elección social . La teoría de la elección social tiene como objetivo encontrar soluciones a los problemas de decisión social, que se basan en axiomas bien establecidos. Ariel D. Procaccia [96] explica que estos axiomas pueden usarse para construir explicaciones convincentes de las soluciones. Este principio se ha utilizado para construir explicaciones en varios subcampos de la elección social.

Votación

Cailloux y Endriss [97] presentan un método para explicar las reglas de votación utilizando los axiomas que las caracterizan. Ejemplifican su método con la regla de votación de Borda .

Peters, Procaccia, Psomas y Zhou [98] presentan un algoritmo para explicar los resultados de la regla de Borda utilizando explicaciones O( m 2 ), y demuestran que es estricto en el peor de los casos.

Presupuesto participativo

Yang, Hausladen, Peters, Pournaras, Fricker y Helbing [99] presentan un estudio empírico de la explicabilidad en el presupuesto participativo . Compararon las reglas codiciosas y de partes iguales , y tres tipos de explicaciones: explicación del mecanismo (una explicación general de cómo funciona la regla de agregación dada la entrada de votación), explicación individual (explicando cuántos votantes tenían al menos un proyecto aprobado, al menos 10000 CHF en proyectos aprobados), y explicación de grupo (explicando cómo se distribuye el presupuesto entre los distritos y temas). Compararon la confiabilidad y justicia percibidas de las partes iguales y codiciosas, antes y después de las explicaciones. Descubrieron que, para MES, la explicación del mecanismo produce el mayor aumento en la justicia y confiabilidad percibidas; el segundo más alto fue la explicación de grupo. Para Greedy, la explicación del mecanismo aumenta la confiabilidad percibida pero no la equidad, mientras que la explicación individual aumenta tanto la justicia percibida como la confiabilidad. La explicación de grupo disminuye la justicia y confiabilidad percibidas.

Asignación de pagos

Nizri, Azaria y Hazon [100] presentan un algoritmo para calcular explicaciones para el valor de Shapley . Dado un juego de coalición, su algoritmo lo descompone en subjuegos, para los cuales es fácil generar explicaciones verbales basadas en los axiomas que caracterizan el valor de Shapley. La asignación de pagos para cada subjuego se percibe como justa, por lo que la asignación de pagos basada en Shapley para el juego dado también debería parecer justa. Un experimento con 210 sujetos humanos muestra que, con sus explicaciones generadas automáticamente, los sujetos perciben la asignación de pagos basada en Shapley como significativamente más justa que con una explicación estándar general.

Véase también

Referencias

  1. ^ Longo, Luca; et al. (2024). "Inteligencia artificial explicable (XAI) 2.0: un manifiesto de desafíos abiertos y direcciones de investigación interdisciplinarias". Fusión de información . 106 . doi :10.1016/j.inffus.2024.102301.
  2. ^ Mihály, Heder (2023). "IA explicable: una breve historia del concepto" (PDF) . Noticias ERCIM (134): 9–10.
  3. ^ Phillips, P. Jonathon; Hahn, Carina A.; Fontana, Peter C.; Yates, Amy N.; Greene, Kristen; Broniatowski, David A.; Przybocki, Mark A. (29 de septiembre de 2021). "Cuatro principios de la inteligencia artificial explicable". doi :10.6028/nist.ir.8312. {{cite journal}}: Requiere citar revista |journal=( ayuda )
  4. ^ Vilone, Giulia; Longo, Luca (2021). "Nociones de explicabilidad y enfoques de evaluación para la inteligencia artificial explicable". Information Fusion . Diciembre de 2021 - Volumen 76: 89–106. doi :10.1016/j.inffus.2021.05.009.
  5. ^ Castelvecchi, Davide (6 de octubre de 2016). "¿Podemos abrir la caja negra de la IA?". Nature . 538 (7623): 20–23. Bibcode :2016Natur.538...20C. doi :10.1038/538020a. ISSN  0028-0836. PMID  27708329. S2CID  4465871.
  6. ^ abc Sample, Ian (5 de noviembre de 2017). «La computadora dice no: por qué es crucial que las IA sean justas, responsables y transparentes». The Guardian . Consultado el 30 de enero de 2018 .
  7. ^ Alizadeh, Fatemeh (2021). "No sé, ¿la IA también se utiliza en los airbags?: un estudio empírico de los conceptos populares y las expectativas de la gente sobre la inteligencia artificial actual y futura". Icom . 20 (1): 3–17. doi :10.1515/icom-2021-0009. S2CID  233328352.
  8. ^ ab Edwards, Lilian; Veale, Michael (2017). "¿Esclavo del algoritmo? Por qué un 'derecho a una explicación' probablemente no sea el remedio que estás buscando". Duke Law and Technology Review . 16 : 18. SSRN  2972855.
  9. ^ Do Couto, Mark (22 de febrero de 2024). "Entrando en la era de la IA explicable". TDWI . Consultado el 11 de septiembre de 2024 .
  10. ^ ab Gunning, D.; Stefik, M.; Choi, J.; Miller, T.; Stumpf, S.; Yang, G.-Z. (18 de diciembre de 2019). "Inteligencia artificial explicable por XAI". Science Robotics . 4 (37): eaay7120. doi : 10.1126/scirobotics.aay7120 . ISSN  2470-9476. PMID  33137719.
  11. ^ Rieg, Thilo; Frick, Janek; Baumgartl, Hermann; Buettner, Ricardo (17 de diciembre de 2020). "Demostración del potencial de los enfoques de aprendizaje automático de caja blanca para obtener información de los electrocardiogramas de enfermedades cardiovasculares". PLOS ONE . ​​15 (12): e0243615. Bibcode :2020PLoSO..1543615R. doi : 10.1371/journal.pone.0243615 . ISSN  1932-6203. PMC 7746264 . PMID  33332440. 
  12. ^ Vilone, Giulia; Longo, Luca (2021). "Clasificación de métodos de inteligencia artificial explicables a través de sus formatos de salida". Aprendizaje automático y extracción de conocimiento . 3 (3): 615–661. doi : 10.3390/make3030032 .
  13. ^ Loyola-González, O. (2019). "Caja negra vs. caja blanca: comprensión de sus ventajas y debilidades desde un punto de vista práctico". IEEE Access . 7 : 154096–154113. Bibcode :2019IEEEA...7o4096L. doi : 10.1109/ACCESS.2019.2949286 . ISSN  2169-3536.
  14. ^ ab Roscher, R.; Bohn, B.; Duarte, MF; Garcke, J. (2020). "Aprendizaje automático explicable para descubrimientos e información científica". IEEE Access . 8 : 42200–42216. arXiv : 1905.08883 . Bibcode :2020IEEEA...842200R. doi : 10.1109/ACCESS.2020.2976199 . ISSN  2169-3536.
  15. ^ ab Murdoch, W. James; Singh, Chandan; Kumbier, Karl; Abbasi-Asl, Reza; Yu, Bin (14 de enero de 2019). "Aprendizaje automático interpretable: definiciones, métodos y aplicaciones". Actas de la Academia Nacional de Ciencias de los Estados Unidos de América . 116 (44): 22071–22080. arXiv : 1901.04592 . doi : 10.1073/pnas.1900654116 . PMC 6825274 . PMID  31619572. 
  16. ^ ab Lipton, Zachary C. (junio de 2018). "El mito de la interpretabilidad de los modelos: en el aprendizaje automático, el concepto de interpretabilidad es importante y escurridizo". Cola . 16 (3): 31–57. doi : 10.1145/3236386.3241340 . ISSN  1542-7730.
  17. ^ "Inteligencia artificial explicable (XAI): conceptos, taxonomías, oportunidades y desafíos hacia una IA responsable". DeepAI . 2019-10-22 . Consultado el 2021-01-13 .
  18. ^ Montavon, Grégoire; Samek, Wojciech; Müller, Klaus-Robert (1 de febrero de 2018). "Métodos para interpretar y comprender redes neuronales profundas". Procesamiento de señales digitales . 73 : 1–15. arXiv : 1706.07979 . Código Bibliográfico :2018DSP....73....1M. doi : 10.1016/j.dsp.2017.10.011 . ISSN  1051-2004.
  19. ^ Adadi, A.; Berrada, M. (2018). "Mirando dentro de la caja negra: una encuesta sobre inteligencia artificial explicable (XAI)". IEEE Access . 6 : 52138–52160. Bibcode :2018IEEEA...652138A. doi : 10.1109/ACCESS.2018.2870052 . ISSN  2169-3536.
  20. ^ abc Rudin, Cynthia (2019). "Deje de explicar los modelos de aprendizaje automático de caja negra para decisiones de alto riesgo y utilice en su lugar modelos interpretables". Nature Machine Intelligence . 1 (5): 206–215. arXiv : 1811.10154 . doi : 10.1038/s42256-019-0048-x . ISSN  2522-5839. PMC 9122117 . PMID  35603010. 
  21. ^ Koh, PW; Nguyen, T.; Tang, YS; Mussmann, S.; Pierson, E.; Kim, B.; Liang, P. (noviembre de 2020). "Modelos de cuello de botella conceptuales". Conferencia internacional sobre aprendizaje automático . PMLR. págs. 5338–5348.
  22. ^ Ludan, JM; Lyu, Q.; Yang, Y.; Dugan, L.; Yatskar, M.; Callison-Burch, C. (2023). "Clasificación de texto interpretable por diseño con cuello de botella conceptual generado iterativamente". arXiv : 2310.19660 [cs.CL].
  23. ^ Wenninger, Simon; Kaymakci, Can; Wiethe, Christian (2022). "Predicción explicable del consumo energético de edificios a largo plazo utilizando QLattice". Applied Energy . 308 . Elsevier BV: 118300. Bibcode :2022ApEn..30818300W. doi :10.1016/j.apenergy.2021.118300. ISSN  0306-2619. S2CID  245428233.
  24. ^ Christiansen, Michael; Wilstrup, Casper; Hedley, Paula L. (2022). "El aprendizaje automático de "caja blanca" explicable es el camino a seguir en la detección de la preeclampsia". Revista estadounidense de obstetricia y ginecología . 227 (5). Elsevier BV: 791. doi :10.1016/j.ajog.2022.06.057. ISSN  0002-9378. PMID  35779588. S2CID  250160871.
  25. ^ Wilstup, Casper; Cave, Chris (15 de enero de 2021), La combinación de la regresión simbólica con el modelo de riesgos proporcionales de Cox mejora la predicción de muertes por insuficiencia cardíaca , Cold Spring Harbor Laboratory, doi : 10.1101/2021.01.15.21249874, S2CID  231609904
  26. ^ "Cómo los detectives de la IA están abriendo la caja negra del aprendizaje profundo". Science . 5 de julio de 2017 . Consultado el 30 de enero de 2018 ..
  27. ^ Dosilovic, Filip; Brcic, Mario; Hlupic, Nikica (25 de mayo de 2018). "Inteligencia artificial explicable: una encuesta" (PDF) . MIPRO 2018 - Actas de la 41ª Convención Internacional . MIPRO 2018. Opatija, Croacia. págs. 210-215. doi :10.23919/MIPRO.2018.8400040. ISBN 978-953-233-095-3Archivado desde el original (PDF) el 10 de diciembre de 2018. Consultado el 9 de diciembre de 2018 .
  28. ^ Bernal, Jose; Mazo, Claudia (11/10/2022). "Transparencia de la inteligencia artificial en la atención sanitaria: perspectivas de profesionales de la informática y la atención sanitaria en todo el mundo". Applied Sciences . 12 (20): 10228. doi : 10.3390/app122010228 . ISSN  2076-3417.
  29. ^ Antoniadi, Anna Markella; Du, Yuhan; Guendouz, Yasmine; Wei, Lan; Mazo, Claudia; Becker, Brett A.; Mooney, Catherine (enero de 2021). "Desafíos actuales y oportunidades futuras para XAI en sistemas de apoyo a la toma de decisiones clínicas basados ​​en aprendizaje automático: una revisión sistemática". Applied Sciences . 11 (11): 5088. doi : 10.3390/app11115088 . ISSN  2076-3417.
  30. ^ "DeepMind tiene pruebas sencillas que podrían prevenir el apocalipsis de la IA de Elon Musk". Bloomberg.com . 11 de diciembre de 2017 . Consultado el 30 de enero de 2018 .
  31. ^ "Aprendiendo de las preferencias humanas". Blog de OpenAI . 13 de junio de 2017. Consultado el 30 de enero de 2018 .
  32. ^ "Inteligencia artificial explicable (XAI)". DARPA . Consultado el 17 de julio de 2017 .
  33. ^ Biecek, Przemyslaw (23 de junio de 2018). «DALEX: explicaciones para modelos predictivos complejos». Revista de investigación en aprendizaje automático . 19 : 1–5. arXiv : 1806.08915 .
  34. ^ Rai, Arun. "IA explicable: de la caja negra a la caja de cristal". Revista de la Academia de Ciencias de Marketing 48 (2020): 137-141.
  35. ^ Sokol, Kacper; Flach, Peter (2018). "Glass-Box: Explicación de decisiones de IA con declaraciones contrafácticas a través de conversaciones con un asistente virtual habilitado por voz". Actas de la vigésimo séptima conferencia conjunta internacional sobre inteligencia artificial . págs. 5868–5870. doi :10.24963/ijcai.2018/865. ISBN. 9780999241127.S2CID51608978  .​
  36. ^ Broniatowski, David A. (2021). "Fundamentos psicológicos de la explicabilidad y la interpretabilidad en la inteligencia artificial". NIST Pubs .
  37. ^ ab ISO/IEC TR 29119-11:2020, Ingeniería de software y sistemas, Pruebas de software, Parte 11: Directrices para las pruebas de sistemas basados ​​en IA. ISO . 2020 . Consultado el 25 de noviembre de 2023 .
  38. ^ Verma, Yugesh (25 de diciembre de 2021). "Guía completa de SHAP: explicaciones de SHAPley Additive para profesionales". Revista Analytics India . Consultado el 10 de julio de 2024 .
  39. ^ Rothman, Denis (7 de octubre de 2020). "Explorando las explicaciones de LIME y las matemáticas que las sustentan". Revista Codemotion . Consultado el 10 de julio de 2024 .
  40. ^ Christian, Brian (2020). "CUÉNTAME TODO: REDES MULTITAREA". El problema de la alineación : aprendizaje automático y valores humanos . WW Norton & Company. ISBN 978-0-393-86833-3.
  41. ^ Sharma, Abhishek (11 de julio de 2018). "¿Qué son los mapas de prominencia en el aprendizaje profundo?". Revista Analytics India . Consultado el 10 de julio de 2024 .
  42. ^ Luo, Haoyan; Specia, Lucia (21 de febrero de 2024). "De la comprensión a la utilización: un estudio sobre la explicabilidad de los modelos de lenguaje de gran tamaño". arXiv : 2401.12874 [cs.CL].
  43. ^ Olah, Chris (27 de junio de 2022). "Interpretabilidad mecanicista, variables y la importancia de las bases interpretables". www.transformer-circuits.pub . Consultado el 10 de julio de 2024 .
  44. ^ Mittal, Aayush (17 de junio de 2024). "Comprensión de los autocodificadores dispersos, GPT-4 y Claude 3: una exploración técnica en profundidad". Unite.AI . Consultado el 10 de julio de 2024 .
  45. ^ Ropek, Lucas (21 de mayo de 2024). "Una nueva investigación antrópica arroja luz sobre la 'caja negra' de la IA". Gizmodo . Consultado el 23 de mayo de 2024 .
  46. ^ Perrigo, Billy (21 de mayo de 2024). "La inteligencia artificial es una 'caja negra'. Tal vez no por mucho tiempo". Time . Consultado el 24 de mayo de 2024 .
  47. ^ Barber, Gregory. "Dentro de la 'caja negra' de una red neuronal". Wired . ISSN  1059-1028 . Consultado el 10 de julio de 2024 .
  48. ^ Fagan, LM; Shortliffe, EH; Buchanan, BG (1980). "Toma de decisiones médicas basada en computadora: de MYCIN a VM". Automedica . 3 (2): 97–108.
  49. ^ Clancey, William (1987). Tutoría basada en el conocimiento: el programa GUIDON . Cambridge, Massachusetts: The MIT Press.
  50. ^ Brown, John S.; Burton, RR; De Kleer, Johan (1982). "Técnicas pedagógicas, de lenguaje natural e ingeniería del conocimiento en SOPHIE I, II y III". Sistemas de tutoría inteligente . Academic Press. ISBN 0-12-648680-8.
  51. ^ Bareiss, Ray; Porter, Bruce; Weir, Craig; Holte, Robert (1990). "Protos: un aprendiz de aprendizaje basado en ejemplos". Aprendizaje automático . Vol. 3. Morgan Kaufmann Publishers Inc. págs. 112–139. ISBN 1-55860-119-8.
  52. ^ ab Bareiss, Ray (1989). Adquisición de conocimiento basada en ejemplos: un enfoque unificado para la representación, clasificación y aprendizaje de conceptos . Perspectivas en inteligencia artificial. Academic Press .
  53. ^ Van Lent, M.; Fisher, W.; Mancuso, M. (julio de 2004). "Un sistema de inteligencia artificial explicable para el comportamiento táctico de unidades pequeñas". Actas de la Conferencia Nacional sobre Inteligencia Artificial . San José, CA: AAAI Press. págs. 900–907. ISBN 0262511835.
  54. ^ Russell, Stuart; Norvig, Peter (2003). Inteligencia artificial: un enfoque moderno . Serie Prentice Hall sobre inteligencia artificial (segunda edición). Upper Saddle River, Nueva Jersey: Prentice Hall, Pearson Education. ISBN 0-13-790395-2.
  55. ^ Forbus, Kenneth; De Kleer, Johan (1993). Solucionadores de problemas de construcción . Cambridge, Massachusetts: Prensa del MIT. ISBN 0-262-06157-0.
  56. ^ Tickle, AB; Andrews, R.; Golea, M.; Diederich, J. (noviembre de 1998). "La verdad saldrá a la luz: direcciones y desafíos en la extracción del conocimiento integrado en redes neuronales artificiales entrenadas". IEEE Transactions on Neural Networks . 9 (6): 1057–1068. doi :10.1109/72.728352. ISSN  1045-9227. PMID  18255792. S2CID  11111578.
  57. ^ "Accenture presenta una herramienta para ayudar a las empresas a garantizar que su inteligencia artificial sea justa". Bloomberg.com . Junio ​​de 2018 . Consultado el 5 de agosto de 2018 .
  58. ^ Minsky, et al., "La sociedad de la vigilancia inteligente" IEEE ISTAS2013, páginas 13-17.
  59. ^ Mukherjee, Siddhartha (27 de marzo de 2017). "AI Versus MD" The New Yorker . Consultado el 30 de enero de 2018 .
  60. ^ Csiszár, Orsolya; Csiszár, Gábor; Dombi, József (8 de julio de 2020). "Redes neuronales interpretables basadas en lógica de valores continuos y operadores de decisión multicriterio". Sistemas basados ​​en el conocimiento . 199 : 105972. arXiv : 1910.02486 . doi : 10.1016/j.knosys.2020.105972 . ISSN  0950-7051.
  61. ^ Doshi-Velez, Finale; Kim, Been (27 de febrero de 2017). "Hacia una ciencia rigurosa del aprendizaje automático interpretable". arXiv : 1702.08608 [stat.ML].
  62. ^ Abdollahi, Behnoush y Olfa Nasraoui. (2016). "Máquinas de Boltzmann restringidas explicables para filtrado colaborativo". arXiv : 1606.07129 [stat.ML].{{cite arXiv}}: CS1 maint: multiple names: authors list (link)
  63. ^ Dombi, József; Csiszár, Orsolya (2021). Redes neuronales explicables basadas en lógica difusa y herramientas de decisión multicriterio. Estudios en Borrosidad y Soft Computing. vol. 408. doi :10.1007/978-3-030-72280-7. ISBN 978-3-030-72279-1. ISSN  1434-9922. S2CID  233486978.
  64. ^ Bach, Sebastian; Binder, Alexander; Montavon, Grégoire; Klauschen, Frederick; Müller, Klaus-Robert ; Samek, Wojciech (10 de julio de 2015). Suarez, Oscar Deniz (ed.). "Sobre explicaciones pixel a pixel para decisiones de clasificadores no lineales mediante propagación de relevancia capa a capa". PLOS ONE . ​​10 (7): e0130140. Bibcode :2015PLoSO..1030140B. doi : 10.1371/journal.pone.0130140 . ISSN  1932-6203. PMC 4498753 . PMID  26161953. 
  65. ^ Sample, Ian (5 de noviembre de 2017). "La computadora dice no: por qué es crucial que las IA sean justas, responsables y transparentes". The Guardian . Consultado el 5 de agosto de 2018 .
  66. ^ Martens, David; Provost, Foster (2014). "Explicación de las clasificaciones de documentos basadas en datos" (PDF) . MIS Quarterly . 38 : 73–99. doi :10.25300/MISQ/2014/38.1.04. S2CID  14238842.
  67. ^ ""¿Por qué debería confiar en ti?" | Actas de la 22ª Conferencia internacional ACM SIGKDD sobre descubrimiento de conocimiento y minería de datos". doi :10.1145/2939672.2939778. S2CID  13029170. {{cite journal}}: Requiere citar revista |journal=( ayuda )
  68. ^ Lundberg, Scott M; Lee, Su-In (2017), Guyon, I.; Luxburg, UV; Bengio, S.; Wallach, H. (eds.), "Un enfoque unificado para interpretar las predicciones de modelos" (PDF) , Advances in Neural Information Processing Systems 30 , Curran Associates, Inc., págs. 4765–4774, arXiv : 1705.07874 , consultado el 13 de marzo de 2020
  69. ^ Carter, Brandon; Mueller, Jonas; Jain, Siddhartha; Gifford, David (11 de abril de 2019). "¿Qué te hizo hacer esto? Entender las decisiones de caja negra con suficientes subconjuntos de entrada". La 22.ª Conferencia Internacional sobre Inteligencia Artificial y Estadística : 567–576.
  70. ^ Shrikumar, Avanti; Greenside, Peyton; Kundaje, Anshul (17 de julio de 2017). "Aprendizaje de características importantes mediante la propagación de diferencias de activación". Conferencia internacional sobre aprendizaje automático : 3145–3153.
  71. ^ "Atribución axiomática para redes profundas | Actas de la 34.ª Conferencia Internacional sobre Aprendizaje Automático - Volumen 70". dl.acm.org . Icml'17: 3319–3328. 6 de agosto de 2017 . Consultado el 13 de marzo de 2020 .
  72. ^ Aivodji, Ulrich; Arai, Hiromi; Fortineau, Olivier; Gambs, Sébastien; Hara, Satoshi; Tapp, Alain (24 de mayo de 2019). "Fairwashing: el riesgo de la racionalización". Conferencia Internacional sobre Aprendizaje Automático . PMLR: 161–170. arXiv : 1901.09749 .
  73. ^ Le Merrer, Erwan; Trédan, Gilles (septiembre de 2020). "La explicabilidad remota enfrenta el problema del portero". Nature Machine Intelligence . 2 (9): 529–539. arXiv : 1910.01432 . doi :10.1038/s42256-020-0216-z. ISSN  2522-5839. S2CID  225207140.
  74. ^ Singh, Chandan; Nasseri, Keyan; Tan, Yan Shuo; Tang, Tiffany; Yu, Bin (4 de mayo de 2021). "imodels: un paquete de Python para ajustar modelos interpretables". Revista de software de código abierto . 6 (61): 3192. Bibcode :2021JOSS....6.3192S. doi :10.21105/joss.03192. ISSN  2475-9066. S2CID  235529515.
  75. ^ Vidal, Thibaut; Schiffer, Maximilian (2020). "Conjuntos de árboles renacidos". Conferencia internacional sobre aprendizaje automático . 119 . PMLR: 9743–9753. arXiv : 2003.11132 .
  76. ^ Ustun, Berk; Rudin, Cynthia (1 de marzo de 2016). "Modelos enteros lineales superdispersos para sistemas de puntuación médica optimizados". Aprendizaje automático . 102 (3): 349–391. doi :10.1007/s10994-015-5528-6. ISSN  1573-0565. S2CID  207211836.
  77. ^ Bostrom, N., y Yudkowsky, E. (2014). La ética de la inteligencia artificial. The Cambridge Handbook of Artificial Intelligence , 316-334.
  78. ^ "Conferencia FAT*".
  79. ^ "Los programas informáticos reconocen mejor a los hombres blancos que a las mujeres negras". The Economist . 2018 . Consultado el 5 de agosto de 2018 .
  80. ^ Olah, Chris; Cammarata, Nick; Schubert, Ludwig; Goh, Gabriel; Petrov, Michael; Carter, Shan (10 de marzo de 2020). "Zoom In: Introducción a los circuitos". Distill . 5 (3): e00024.001. doi : 10.23915/distill.00024.001 . ISSN  2476-0757.
  81. ^ Li, Yixuan; Yosinski, Jason; Clune, Jeff; Lipson, Hod; Hopcroft, John (8 de diciembre de 2015). "Aprendizaje convergente: ¿Aprenden las distintas redes neuronales las mismas representaciones?". Extracción de características: preguntas y desafíos modernos . PMLR: 196–212.
  82. ^ Hendricks, Lisa Anne; Akata, Zeynep; Rohrbach, Marcus; Donahue, Jeff; Schiele, Bernt; Darrell, Trevor (2016). "Generación de explicaciones visuales". Visión artificial – ECCV 2016. Apuntes de clase en informática. Vol. 9908. Springer International Publishing. págs. 3–19. arXiv : 1603.08507 . doi :10.1007/978-3-319-46493-0_1. ISBN . 978-3-319-46492-3.S2CID12030503  .​
  83. ^ Koh, Pang Wei; Liang, Percy (17 de julio de 2017). "Comprensión de las predicciones de caja negra mediante funciones de influencia". Conferencia internacional sobre aprendizaje automático . PMLR: 1885–1894. arXiv : 1703.04730 .
  84. ^ Gouverneur, Philip; Li, Frédéric; Shirahama, Kimiaki; Luebke, Luisa; Adamczyk, Wacław M.; Szikszay, Tibor M.; Luedtke, Kerstin; Grzegorzek, Marcin (9 de febrero de 2023). "Inteligencia artificial explicable (XAI) en la investigación del dolor: comprensión del papel de la actividad electrodérmica para el reconocimiento automático del dolor". Sensores . 23 (4): 1959. Bibcode :2023Senso..23.1959G. doi : 10.3390/s23041959 . ISSN  1424-8220. PMC 9960387 . PMID  36850556. 
  85. ^ "Taller IJCAI 2017 sobre Inteligencia Artificial Explicable (XAI)" (PDF) . Earthlink . IJCAI. Archivado desde el original (PDF) el 4 de abril de 2019 . Consultado el 17 de julio de 2017 .
  86. ^ Kahn, Jeremy (12 de diciembre de 2018). "La inteligencia artificial tiene algunas explicaciones que dar". Bloomberg Businessweek . Consultado el 17 de diciembre de 2018 .
  87. ^ abc Bhatt, Umang; Xiang, Alice; Sharma, Shubham; Weller, Adrian; Taly, Ankur; Jia, Yunhan; Ghosh, Joydeep; Puri, Richir; MF Moura, José; Eckersley, Peter (2022). "Aprendizaje automático explicable en la implementación". Actas de la Conferencia de 2020 sobre equidad, rendición de cuentas y transparencia . págs. 648–657. doi :10.1145/3351095.3375624. ISBN . 9781450369367.S2CID202572724  .​
  88. ^ abc Burrel, Jenna (2016). "Cómo 'piensa' la máquina: comprensión de la opacidad en los algoritmos de aprendizaje automático". Big Data & Society. 3 (1). doi :10.1177/2053951715622512. S2CID  61330970. {{cite journal}}: Requiere citar revista |journal=( ayuda )
  89. ^ Veale, Michael; Van Kleek, Max; Binns, Reuben (2018). "Necesidades de diseño de equidad y rendición de cuentas para el soporte algorítmico en la toma de decisiones de alto riesgo en el sector público". Actas de la Conferencia CHI de 2018 sobre factores humanos en sistemas informáticos . Vol. 40. págs. 1–14. doi :10.1145/3173574.3174014. ISBN 9781450356206. Número de identificación del sujeto  3639135.
  90. ^ Hu, Tongxi; Zhang, Xuesong; Bohrer, Gil; Liu, Yanlan; Zhou, Yuyu; Martin, Jay; LI, Yang; Zhao, Kaiguang (2023). "Predicción del rendimiento de los cultivos mediante inteligencia artificial explicable y aprendizaje automático interpretable: peligros de los modelos de caja negra para evaluar los impactos del cambio climático en el rendimiento de los cultivos". Meteorología agrícola y forestal . 336 : 109458. doi :10.1016/j.agrformet.2023.109458. S2CID  258552400.
  91. ^ ab Cheng, Hao-Fei; Wang, Ruotang; Zhang, Zheng; O'Connell, Fiona; Gray, Terrance; Harper, F. Maxwell; Zhu, Haiyi (2019). Explicación de algoritmos de toma de decisiones a través de la interfaz de usuario: estrategias para ayudar a las partes interesadas no expertas. Actas de la Conferencia CHI de 2019 sobre factores humanos en sistemas informáticos. Vol. 559. págs. 1–12. doi :10.1145/3290605.3300789. ISBN 9781450359702. Número de identificación  S2C140281803.
  92. ^ Liel, Yotam; Zalmanson, Lior (agosto de 2023). "Desactivación del buen juicio: conformidad con las recomendaciones algorítmicas". Actas de la Academia de Administración . 2023 (1). doi :10.5465/AMPROC.2023.277bp. ISSN  0065-0668. S2CID  260212999.
  93. ^ ab McCoy, Liam G.; Brenna, Connor TA; Chen, Stacy S.; Vold, Karina; Das, Sunit (5 de noviembre de 2021). "Creer en las cajas negras: el aprendizaje automático para la atención médica no necesita explicabilidad para estar basado en evidencia". Journal of Clinical Epidemiology . 142 (en línea antes de la impresión): 252–257. doi :10.1016/j.jclinepi.2021.11.001. ISSN  0895-4356. PMID  34748907. S2CID  243810442.
  94. ^ Ghassemi, Marzyeh; Oakden-Rayner, Luke; Beam, Andrew L. (1 de noviembre de 2021). "La falsa esperanza de los enfoques actuales para la inteligencia artificial explicable en la atención médica". The Lancet Digital Health . 3 (11): e745–e750. doi :10.1016/S2589-7500(21)00208-9. ISSN  2589-7500. PMID  34711379. S2CID  239963176.
  95. ^ Sarkar, Advait (2022). "¿Es la IA explicable una carrera contra la complejidad de los modelos?" (PDF) . Taller sobre transparencia y explicaciones en sistemas inteligentes (TeXSS), en conjunción con interfaces de usuario inteligentes ACM (IUI 2022) : 192–199. arXiv : 2205.10119 – vía Actas del taller CEUR.
  96. ^ Procaccia, Ariel D. (2019), Laslier, Jean-François; Moulin, Hervé; Sanver, M. Remzi; Zwicker, William S. (eds.), "Los axiomas deberían explicar las soluciones", El futuro del diseño económico: el desarrollo continuo de un campo según lo imaginan sus investigadores , Estudios en diseño económico, Cham: Springer International Publishing, págs. 195-199, doi :10.1007/978-3-030-18050-8_27, ISBN 978-3-030-18050-8, consultado el 21 de marzo de 2024
  97. ^ Cailloux, Olivier; Endriss, Ulle (9 de mayo de 2016). "Discutiendo sobre las reglas de votación". Actas de la Conferencia internacional de 2016 sobre agentes autónomos y sistemas multiagente . AAMAS '16. Richland, SC: Fundación Internacional para Agentes Autónomos y Sistemas Multiagente: 287–295. ISBN 978-1-4503-4239-1.
  98. ^ Peters, Dominik; Procaccia, Ariel D; Psomas, Alexandros; Zhou, Zixin (2020). "Votación explicable". Avances en sistemas de procesamiento de información neuronal . 33 . Curran Associates, Inc.: 1525–1534.
  99. ^ Yang, Joshua C.; Hausladen, Carina I.; Peters, Dominik; Pournaras, Evangelos; Regula Häenggli Fricker; Helbing, Dirk (2023). "Diseño de sistemas de votación digital para los ciudadanos: lograr equidad y legitimidad en la elaboración de presupuestos participativos digitales". arXiv : 2310.03501 [cs.HC].
  100. ^ Nizri, Meir; Hazon, Noam; Azaria, Amos (28 de junio de 2022). "Asignación explicable basada en Shapley (resumen del estudiante)". Actas de la Conferencia AAAI sobre Inteligencia Artificial . 36 (11): 13023–13024. doi :10.1609/aaai.v36i11.21648. ISSN  2374-3468. S2CID  250296641.

Enlaces externos