Contrasta con el concepto de la "caja negra" en aprendizaje automático (en inglés: machine learning), donde ni siquiera sus diseñadores pueden explicar por qué la IA ha realizado una decisión concreta.
[3] Otra consideración es la sobrecarga informativa, así, la transparencia total no puede ser siempre posible o incluso requerida.
La IA puede aprender reglas generales útiles del conjunto de pruebas, como "las revisiones que contienen la palabra 'horrible'" probablemente sean negativas ".
Por esa razón, la interpretabilidad y la explicabilidad se postulan como objetivos intermedios para verificar otros criterios.
Además, el mismo término se ha utilizado para nombrar a un asistente de voz que produce declaraciones contrafactuales como explicaciones.
[1] Como resultado, muchos académicos y organizaciones están desarrollando herramientas para ayudar a detectar sesgos en sus sistemas.
[22] Las modernas técnicas complejas de IA, como el aprendizaje profundo y los algoritmos genéticos, son naturalmente opacas.
[28][29][30] Se han desarrollado otras técnicas para explicar una predicción particular realizada por un modelo de caja negra (no lineal), un objetivo denominado "interpretabilidad local".
[31][32][33][34][35][36] Además, se ha trabajado en árboles de decisión y redes bayesianas, que son más transparentes para la inspección.
La presentación de la primera conferencia mundial dedicada exclusivamente a esta disciplina emergente, la Conferencia Conjunta Internacional sobre Inteligencia Artificial: Taller sobre Inteligencia Artificial Explicable, es una muestra de que este requisito está ganando más impulso.
Esto se debe, en parte, a que los modelos post-hoc aumentan la complejidad en la vía de decisión, y también porque a menudo no está claro cuán fielmente una explicación post-hoc puede replicar los cálculos de un modelo completamente independiente.