Descomposición parcial de información

La descomposición parcial de la información es una extensión de la teoría de la información , que tiene como objetivo generalizar las relaciones por pares descritas por la teoría de la información a la interacción de múltiples variables. ^[1]

Motivación

La teoría de la información puede cuantificar la cantidad de información que una única variable fuente tiene sobre una variable objetivo a través de la información mutua . Si ahora consideramos una segunda variable fuente , la teoría de la información clásica solo puede describir la información mutua de la variable conjunta con , dada por . En general, sin embargo, sería interesante saber exactamente cómo se relacionan las variables individuales y y sus interacciones con . ${\displaystyle X_{1}}$ ${\displaystyle Y}$ ${\displaystyle I(X_{1};Y)}$ ${\displaystyle X_{2}}$ ${\displaystyle \{X_{1},X_{2}\}}$ ${\displaystyle Y}$ ${\displaystyle I(X_{1},X_{2};Y)}$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle Y}$

Consideremos que se nos dan dos variables fuente y una variable destino . En este caso, la información mutua total , mientras que la información mutua individual . Es decir, hay información sinérgica que surge de la interacción de aproximadamente , que no se puede capturar fácilmente con cantidades teóricas de información clásica. ${\displaystyle X_{1},X_{2}\in \{0,1\}}$ ${\displaystyle Y=XOR(X_{1},X_{2})}$ ${\displaystyle I(X_{1},X_{2};Y)=1}$ ${\displaystyle I(X_{1};Y)=I(X_{2};Y)=0}$ ${\displaystyle X_{1},X_{2}}$ ${\displaystyle Y}$

Definición

La descomposición de información parcial descompone aún más la información mutua entre las variables de origen con la variable de destino como ${\displaystyle \{X_{1},X_{2}\}}$ ${\displaystyle Y}$

${\displaystyle I(X_{1},X_{2};Y)={\text{Unq}}(X_{1};Y\setminus X_{2})+{\text{Unq}}(X_{2};Y\setminus X_{1})+{\text{Syn}}(X_{1},X_{2};Y)+{\text{Red}}(X_{1},X_{2};Y)}$

Aquí los átomos de información individuales se definen como

• ${\displaystyle {\text{Unq}}(X_{1};Y\setminus X_{2})}$es la información única que tiene sobre , que no está en ${\displaystyle X_{1}}$ ${\displaystyle Y}$ ${\displaystyle X_{2}}$
• ${\displaystyle {\text{Syn}}(X_{1},X_{2};Y)}$es la información sinérgica que está en la interacción de y sobre ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle Y}$
• ${\displaystyle {\text{Red}}(X_{1},X_{2};Y)}$es la información redundante que está en ambos o sobre ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle Y}$

Hasta el momento no existe un acuerdo universal sobre cómo deben definirse estos términos, y en la literatura aparecen diferentes enfoques que descomponen la información en componentes redundantes, únicos y sinérgicos. ^{[1] [2] [3] [4]}

Aplicaciones

A pesar de la falta de un acuerdo universal, la descomposición parcial de la información se ha aplicado a diversos campos, incluida la climatología, ^[5] la neurociencia ^{[6] [7] [8]} la sociología ^[9] y el aprendizaje automático ^[10]. La descomposición parcial de la información también se ha propuesto como una posible base sobre la cual construir una definición matemáticamente sólida de la emergencia en sistemas complejos ^[11] y puede ser relevante para las teorías formales de la conciencia. ^[12]

Véase también

• Información mutua
• Correlación total
• Correlación total dual
• Información de interacción

Referencias

1. Williams PL, Beer RD (14 de abril de 2010). "Descomposición no negativa de información multivariada". arXiv : 1004.2515 [cs.IT].
2. Quax R, Har-Shemesh O, Sloot PM (febrero de 2017). "Cuantificación de información sinérgica utilizando variables estocásticas intermedias". Entropy . 19 (2): 85. arXiv : 1602.01265 . doi : 10.3390/e19020085 . ISSN  1099-4300.
3. Rosas FE, Mediano PA, Rassouli B, Barrett AB (4 de diciembre de 2020). "Una descomposición de información operacional a través de la divulgación sinérgica". Journal of Physics A: Mathematical and Theoretical . 53 (48): 485001. arXiv : 2001.10387 . Código Bibliográfico :2020JPhA...53V5001R. doi :10.1088/1751-8121/abb723. ISSN  1751-8113. S2CID  210932609.
4. Kolchinsky A (marzo de 2022). "Un nuevo enfoque para la descomposición parcial de la información". Entropía . 24 (3): 403. arXiv : 1908.08642 . Código Bibliográfico :2022Entrp..24..403K. doi : 10.3390/e24030403 . PMC 8947370 . PMID  35327914. 
5. Goodwell AE, Jiang P, Ruddell BL, Kumar P (febrero de 2020). "Debates: ¿La teoría de la información proporciona un nuevo paradigma para las ciencias de la Tierra? Causalidad, interacción y retroalimentación". Investigación de recursos hídricos . 56 (2). Código Bibliográfico :2020WRR....5624940G. doi : 10.1029/2019WR024940 . ISSN  0043-1397. S2CID  216201598.
6. Newman EL, Varley TF, Parakkattu VK, Sherrill SP, Beggs JM (julio de 2022). "Revelando la dinámica del procesamiento de información neuronal con descomposición de información multivariante". Entropy . 24 (7): 930. Bibcode :2022Entrp..24..930N. doi : 10.3390/e24070930 . PMC 9319160 . PMID  35885153. 
7. Luppi AI, Mediano PA, Rosas FE, Holland N, Fryer TD, O'Brien JT, et al. (junio de 2022). "Un núcleo sinérgico para la evolución y la cognición del cerebro humano". Nature Neuroscience . 25 (6): 771–782. doi :10.1038/s41593-022-01070-0. PMC 7614771 . PMID  35618951. S2CID  249096746. 
8. Wibral M, Priesemann V, Kay JW, Lizier JT, Phillips WA (marzo de 2017). "Descomposición parcial de información como un enfoque unificado para la especificación de funciones neuronales objetivo". Cerebro y cognición . Perspectivas sobre inferencias probabilísticas humanas y el "cerebro bayesiano". 112 : 25–38. arXiv : 1510.00831 . doi : 10.1016/j.bandc.2015.09.004 . PMID  26475739. S2CID  4394452.
9. Varley TF, Kaminski P (octubre de 2022). "Desenredando los efectos sinérgicos de las identidades sociales entrecruzadas con la descomposición parcial de la información". Entropía . 24 (10): 1387. Bibcode :2022Entrp..24.1387V. doi : 10.3390/e24101387 . ISSN  1099-4300. PMC 9611752 . PMID  37420406. 
10. Tax TM, Mediano PA, Shanahan M (septiembre de 2017). "La descomposición parcial de la información de los modelos de redes neuronales generativas". Entropy . 19 (9): 474. Bibcode :2017Entrp..19..474T. doi : 10.3390/e19090474 . hdl : 10044/1/50586 . ISSN  1099-4300.
11. Mediano PA, Rosas FE, Luppi AI, Jensen HJ, Seth AK, Barrett AB, et al. (julio de 2022). "Mayor que las partes: una revisión del enfoque de descomposición de la información para la emergencia causal". Philosophical Transactions. Serie A, Ciencias matemáticas, físicas y de ingeniería . 380 (2227): 20210246. doi :10.1098/rsta.2021.0246. PMC 9125226. PMID  35599558 . 
12. Luppi AI, Mediano PA, Rosas FE, Harrison DJ, Carhart-Harris RL, Bor D, Stamatakis EA (2021). "Cómo es ser un bit: una explicación de la descomposición de la información integrada de los fenómenos mentales emergentes". Neurociencia de la conciencia . 2021 (2): niab027. doi :10.1093/nc/niab027. PMC 8600547 . PMID  34804593.