Información de interacción

Diagrama de Venn de medidas teóricas de la información para tres variables x, y y z, representadas por los círculos inferior izquierdo, inferior derecho y superior, respectivamente. La información de interacción está representada por la región gris y es la única que puede ser negativa.

La información de interacción es una generalización de la información mutua para más de dos variables.

Hay muchos nombres para la información de interacción, incluida cantidad de información , ^[1] correlación de información , ^[2] co-información , ^[3] y simplemente información mutua . ^[4] La información de interacción expresa la cantidad de información (redundancia o sinergia) ligada a un conjunto de variables, más allá de la que está presente en cualquier subconjunto de esas variables. A diferencia de la información mutua, la información de interacción puede ser positiva o negativa. Estas funciones, su negatividad y mínimos tienen una interpretación directa en topología algebraica . ^[5]

Definición

La información mutua condicional se puede utilizar para definir inductivamente la información de interacción para cualquier número finito de variables de la siguiente manera:

${\displaystyle I(X_{1};\ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}\mid X_{n+1}),}$

dónde

${\displaystyle I(X_{1};\ldots ;X_{n}\mid X_{n+1})=\mathbb {E} _{X_{n+1}}{\big (}I(X_{1};\ldots ;X_{n})\mid X_{n+1}{\big )}.}$

Algunos autores ^[6] definen la información de interacción de manera diferente, intercambiando los dos términos que se restan en la ecuación anterior. Esto tiene el efecto de invertir el signo para un número impar de variables.

Para tres variables , la información de interacción viene dada por ${\displaystyle \{X,Y,Z\}}$ ${\displaystyle I(X;Y;Z)}$

${\displaystyle I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)}$

donde es la información mutua entre variables y , y es la información mutua condicional entre variables y dada . La información de interacción es simétrica , por lo que no importa a qué variable esté condicionada. Esto es fácil de ver cuando la información de interacción se escribe en términos de entropía y entropía conjunta, de la siguiente manera: ${\displaystyle I(X;Y)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle I(X;Y\mid Z)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$

${\displaystyle {\begin{alignedat}{3}I(X;Y;Z)&=&&\;{\bigl (}H(X)+H(Y)+H(Z){\bigr )}\\&&&-{\bigl (}H(X,Y)+H(X,Z)+H(Y,Z){\bigr )}\\&&&+H(X,Y,Z)\end{alignedat}}}$

En general, para el conjunto de variables , la información de interacción se puede escribir de la siguiente forma (compárese con la aproximación de Kirkwood ): ${\displaystyle {\mathcal {V}}=\{X_{1},X_{2},\ldots ,X_{n}\}}$

${\displaystyle I({\mathcal {V}})=\sum _{{\mathcal {T}}\subseteq {\mathcal {V}}}(-1)^{\left\vert {\mathcal {T}}\right\vert -1}H({\mathcal {T}})}$

Para tres variables, la información de interacción mide la influencia de una variable en la cantidad de información compartida entre y . Debido a que el término puede ser mayor que , la información de interacción puede ser tanto negativa como positiva. Esto sucederá, por ejemplo, cuando y sean independientes pero no condicionalmente independientes dado . La información de interacción positiva indica que la variable inhibe (es decir, explica o explica parte de) la correlación entre y , mientras que la información de interacción negativa indica que la variable facilita o mejora la correlación. ${\displaystyle Z}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle I(X;Y\mid Z)}$ ${\displaystyle I(X;Y)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$ ${\displaystyle Z}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Z}$

Propiedades

La información de interacción está limitada. En el caso de las tres variables, está acotado por ^[4]

${\displaystyle -\min\{I(X;Y\mid Z),I(Y;Z\mid X),I(X;Z\mid Y)\}\leq I(X;Y;Z)\leq \min\{I(X;Y),I(Y;Z),I(X;Z)\}}$

Si tres variables forman una cadena de Markov , entonces , pero . Por lo tanto ${\displaystyle X\to Y\to Z}$ ${\displaystyle I(X;Z\mid Y)=0}$ ${\displaystyle I(X;Z)\geq 0}$

${\displaystyle I(X;Y;Z)=I(X;Z)-I(X;Z\mid Y)=I(X;Z)\geq 0.}$

Ejemplos

Información de interacción positiva

La información de interacción positiva parece mucho más natural que la información de interacción negativa en el sentido de que tales efectos explicativos son típicos de estructuras de causa común. Por ejemplo, las nubes provocan lluvia y también bloquean el sol; por lo tanto, la correlación entre lluvia y oscuridad se explica en parte por la presencia de nubes . El resultado es información de interacción positiva . ${\displaystyle I({\text{rain}};{\text{dark}}\mid {\text{cloud}})<I({\text{rain}};{\text{dark}})}$ ${\displaystyle I({\text{rain}};{\text{dark}};{\text{cloud}})}$

Información de interacción negativa

El motor de un automóvil puede no arrancar debido a una batería agotada o a una bomba de combustible bloqueada. Normalmente, asumimos que la muerte de la batería y el bloqueo de la bomba de combustible son eventos independientes . Pero sabiendo que el coche no arranca, si una inspección muestra que la batería está en buen estado, podemos concluir que la bomba de combustible debe estar bloqueada. Por lo tanto , el resultado es información de interacción negativa. ${\displaystyle I({\text{blocked fuel}};{\text{dead battery}})=0}$ ${\displaystyle I({\text{blocked fuel}};{\text{dead battery}}\mid {\text{engine fails}})>0}$

Dificultad de interpretación

La posible negatividad de la información sobre la interacción puede ser fuente de cierta confusión. ^[3] Muchos autores han tomado la información de interacción cero como una señal de que tres o más variables aleatorias no interactúan, pero esta interpretación es errónea. ^[7]

Para ver cuán difícil puede ser la interpretación, considere un conjunto de ocho variables binarias independientes . Aglomere estas variables de la siguiente manera: ${\displaystyle \{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7},X_{8}\}}$

${\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\end{aligned}}}$

Debido a que los 's se superponen entre sí (son redundantes) en las tres variables binarias , esperaríamos que la información de interacción sea igual a bits, lo cual es así. Sin embargo, consideremos ahora las variables aglomeradas. ${\displaystyle Y_{i}}$ ${\displaystyle \{X_{5},X_{6},X_{7}\}}$ ${\displaystyle I(Y_{1};Y_{2};Y_{3})}$ ${\displaystyle 3}$

${\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\\Y_{4}&=\{X_{7},X_{8}\}\end{aligned}}}$

Estas son las mismas variables que antes con la adición de . Sin embargo, en este caso es realmente igual a un bit, lo que indica menos redundancia. Esto es correcto en el sentido de que ${\displaystyle Y_{4}=\{X_{7},X_{8}\}}$ ${\displaystyle I(Y_{1};Y_{2};Y_{3};Y_{4})}$ ${\displaystyle +1}$

${\displaystyle {\begin{aligned}I(Y_{1};Y_{2};Y_{3};Y_{4})&=I(Y_{1};Y_{2};Y_{3})-I(Y_{1};Y_{2};Y_{3}|Y_{4})\\&=3-2\\&=1\end{aligned}}}$

pero sigue siendo difícil de interpretar.

Usos

• Jakulin y Bratko (2003b) proporcionan un algoritmo de aprendizaje automático que utiliza información de interacción.
• Killian, Kravitz y Gilson (2007) utilizan la expansión mutua de información para extraer estimaciones de entropía a partir de simulaciones moleculares. ^[8]
• LeVine y Weinstein (2014) utilizan información de interacción y otras medidas de información de N-cuerpos para cuantificar acoplamientos alostéricos en simulaciones moleculares. ^[9]
• Moore y cols. (2006), Chanda P, Zhang A, Brazeau D, Sucheston L, Freudenheim JL, Ambrosone C, Ramanathan M. (2007) y Chanda P, Sucheston L, Zhang A, Brazeau D, Freudenheim JL, Ambrosone C, Ramanathan M. (2008) demuestran el uso de información sobre interacciones para analizar las interacciones gen-gen y gen-ambiental asociadas con enfermedades complejas.
• Pandey y Sarkar (2017) utilizan información de interacción en Cosmología para estudiar la influencia de entornos a gran escala en las propiedades de las galaxias.
• Está disponible un paquete de Python para calcular todas las interacciones multivariadas o información mutua, información mutua condicional, entropías conjuntas, correlaciones totales y distancia de información en un conjunto de datos de n variables. ^[10]

Ver también

• Información mutua
• correlación total
• Correlación total dual
• Descomposición parcial de la información

Referencias

1. Ting, Hu Kuo (enero de 1962). "Sobre la cantidad de información". Teoría de la probabilidad y sus aplicaciones . 7 (4): 439–447. doi :10.1137/1107041. ISSN  0040-585X.
2. Wolf, David (1 de mayo de 1996). La generalización de la información mutua como información entre un conjunto de variables: la jerarquía de la función de correlación de la información y la estructura de la información de los sistemas multiagente (informe técnico). Centro de Investigación Ames de la NASA.
3. Bell, Anthony (2003). La red de co-información . 4to Int. Síntoma. Análisis de componentes independientes y separación ciega de fuentes.
4. Yeung, RW (mayo de 1991). "Una nueva perspectiva sobre las medidas de información de Shannon". Transacciones IEEE sobre teoría de la información . 37 (3): 466–474. doi :10.1109/18.79902. ISSN  0018-9448.
5. Baudot, Pedro; Bennequin, Daniel (13 de mayo de 2015). "La naturaleza homológica de la entropía". Entropía . 17 (5): 3253–3318. Código Bib : 2015Entrp..17.3253B. doi : 10.3390/e17053253 . ISSN  1099-4300.
6. McGill, William J. (junio de 1954). "Transmisión de información multivariante". Psicometrika . 19 (2): 97-116. doi :10.1007/bf02289159. ISSN  0033-3123. S2CID  126431489.
7. Krippendorff, Klaus (agosto de 2009). "Información de interacciones en sistemas complejos". Revista Internacional de Sistemas Generales . 38 (6): 669–680. doi :10.1080/03081070902993160. ISSN  0308-1079. S2CID  13923485.
8. Killian, Benjamín J.; Yundenfreund Kravitz, Joslyn; Gilson, Michael K. (14 de julio de 2007). "Extracción de entropía configuracional a partir de simulaciones moleculares mediante una aproximación de expansión". La Revista de Física Química . 127 (2): 024107. Código bibliográfico : 2007JChPh.127b4107K. doi : 10.1063/1.2746329. ISSN  0021-9606. PMC 2707031 . PMID  17640119. 
9. LeVine, Michael V.; Pérez-Aguilar, José Manuel; Weinstein, Harel (18 de junio de 2014). "Análisis de la teoría de la información de N-cuerpos (NbIT) de la dinámica del cuerpo rígido en el bucle intracelular 2 del receptor 5-HT2A". arXiv : 1406.4730 [q-bio.BM].
10. "InfoTopo: Análisis de datos de información topológica. Aprendizaje estadístico profundo supervisado y no supervisado - Intercambio de archivos - Github". github.com/pierrebaudot/infotopopy/ . Consultado el 26 de septiembre de 2020 .

• Baudot, P.; Bennequin, D. (2015). "La naturaleza homológica de la entropía" (PDF) . Entropía . 17 (5): 1–66. Código Bib : 2015Entrp..17.3253B. doi : 10.3390/e17053253 .
• Bell, AJ (2003), La red de co-información [1]
• Fano, RM (1961), Transmisión de información: una teoría estadística de las comunicaciones , MIT Press, Cambridge, MA.
• Garner WR (1962). Incertidumbre y estructura como conceptos psicológicos , JohnWiley & Sons, Nueva York.
• Han, TS (1978). "Medidas de entropía no negativas de correlaciones simétricas multivariadas". Información y Control . 36 (2): 133-156. doi : 10.1016/s0019-9958(78)90275-9 .
• Han, TS (1980). "Múltiples información mutua y múltiples interacciones en datos de frecuencia". Información y Control . 46 : 26–45. doi : 10.1016/s0019-9958(80)90478-7 .
• Hu Kuo Tin (1962), Sobre la cantidad de información. Teoría probable. Appl., 7(4), 439-44. PDF
• Jakulin A y Bratko I (2003a). Analyzing Attribute Dependencies, en N Lavra\quad{c}, D Gamberger, L Todorovski & H Blockeel, eds, Actas de la 7ª Conferencia europea sobre principios y práctica del descubrimiento de conocimientos en bases de datos , Springer, Cavtat-Dubrovnik, Croacia, págs. 229–240.
• Jakulin A y Bratko I (2003b). Cuantificar y visualizar interacciones de atributos [2].
• Margolín, A; Wang, K; Califano, A; Nemenman, yo (2010). "Dependencia multivariada e inferencia de redes genéticas". IET Syst Biol . 4 (6): 428–440. arXiv : 1001.1681 . doi :10.1049/iet-syb.2010.0009. PMID  21073241. S2CID  14280921.
• McGill, WJ (1954). "Transmisión de información multivariante". Psicometrika . 19 (2): 97-116. doi :10.1007/bf02289159. S2CID  126431489.
• Moore JH, Gilbert JC, Tsai CT, Chiang FT, Holden T, Barney N, White BC (2006). Un marco computacional flexible para detectar, caracterizar e interpretar patrones estadísticos de epistasis en estudios genéticos de susceptibilidad a enfermedades humanas, Journal of Theoretical Biology 241 , 252-261. [3]
• Nemenman I (2004). Teoría de la información, dependencia multivariada e inferencia de redes genéticas [4].
• Pearl, J (1988), Razonamiento probabilístico en sistemas inteligentes: redes de inferencia plausible , Morgan Kaufmann, San Mateo, CA.
• Tsujishita, T (1995), Sobre la triple información mutua, Avances en matemáticas aplicadas 16 , 269-274.
• Chanda, P; Zhang, A; Brazeau, D; Sucheston, L; Freudenheim, JL; Ambrosón, C; Ramanathan, M (2007). "Métricas de teoría de la información para visualizar interacciones gen-ambiente". Revista Estadounidense de Genética Humana . 81 (5): 939–63. doi :10.1086/521878. PMC  2265645 . PMID  17924337.
• Chanda, P; Sucheston, L; Zhang, A; Brazeau, D; Freudenheim, JL; Ambrosón, C; Ramanathan, M (2008). "AMBIENTE: un enfoque novedoso y un algoritmo eficiente para identificar asociaciones genéticas y ambientales informativas con fenotipos complejos". Genética . 180 (2): 1191–210. doi : 10.1534/genética.108.088542. PMC  2567367 . PMID  18780753.
• Killian, BJ; Kravitz, JY; Gilson, MK (2007). "Extracción de entropía configuracional a partir de simulaciones moleculares mediante una aproximación de expansión". J. química. Física . 127 (2): 024107. Código bibliográfico : 2007JChPh.127b4107K. doi : 10.1063/1.2746329. PMC  2707031 . PMID  17640119.
• LeVine MV, Weinstein H (2014), NbIT: un nuevo análisis de los mecanismos alostéricos basado en la teoría de la información revela residuos que subyacen a la función en el transportador de leucina LeuT. Biología Computacional PLoS . [5]
• Pandey, Biswajit; Sarkar, Suman (2017). "¿Cuánto sabe una galaxia sobre su entorno a gran escala?: Una perspectiva teórica de la información". Avisos mensuales de cartas de la Royal Astronomical Society . 467 (1): L6. arXiv : 1611.00283 . Código Bib : 2017MNRAS.467L...6P. doi : 10.1093/mnrasl/slw250 . S2CID  119095496.
• https://www3.nd.edu/~jnl/ee80653/Fall2005/tutorials/sunil.pdf
• Yeung RW (1992). Una nueva perspectiva de las medidas informativas de Shannon. en Transacciones IEEE sobre Teoría de la Información. [6]