Diagrama de información

Diagrama de Venn para ilustrar la relación.

Un diagrama de información es un tipo de diagrama de Venn utilizado en teoría de la información para ilustrar las relaciones entre las medidas básicas de información de Shannon : entropía , entropía conjunta , entropía condicional e información mutua . ^{[1] [2]} Los diagramas de información son una herramienta pedagógica útil para enseñar y aprender sobre estas medidas básicas de información. Los diagramas de información también se han aplicado a problemas específicos, como para mostrar la similitud teórica de la información entre conjuntos de términos ontológicos . ^[3]

• 
  Diagrama de Venn que muestra relaciones aditivas y sustractivas entre varias medidas de información asociadas con variables correlacionadas X e Y. El área contenida por ambos círculos es la entropía conjunta ‍ ‍ . El círculo de la izquierda (rojo y violeta) es la entropía individual ‍ ‍, siendo el rojo la entropía condicional . El círculo de la derecha (azul y violeta) es ‍ ‍, siendo el azul . El violeta es la información mutua ‍ ‍ . ${\displaystyle H(X,Y)}$ ${\displaystyle H(X)}$ ${\displaystyle H(X|Y)}$ ${\displaystyle H(Y)}$ ${\displaystyle H(Y|X)}$ ${\displaystyle I(X;Y)}$
• 
  Diagrama de Venn de medidas teóricas de la información para tres variables x, y y z . Cada círculo representa una entropía individual : ‍ ‍ es el círculo inferior izquierdo, ‍ ‍ el inferior derecho y ‍ ‍ es el círculo superior. Las intersecciones de dos círculos cualesquiera representan la información mutua de las dos variables asociadas (por ejemplo, ‍ ‍ es amarillo y gris). La unión de dos círculos cualesquiera es la entropía conjunta de las dos variables asociadas (por ejemplo, ‍ ‍ es todo menos verde). La entropía conjunta ‍ ‍ de las tres variables es la unión de los tres círculos. Está dividido en 7 partes, siendo rojo, azul y verde las entropías condicionales respectivamente, amarillo, magenta y cian siendo la información mutua condicional y respectivamente, y gris siendo la información de interacción ‍ ‍. La información de interacción es la única de todas que puede ser negativa. ${\displaystyle H(x)}$ ${\displaystyle H(y)}$ ${\displaystyle H(z)}$ ${\displaystyle I(x;z)}$ ${\displaystyle H(x,y)}$ ${\displaystyle H(x,y,z)}$ ${\displaystyle H(x|y,z),H(y|x,z),H(z|x,y)}$ ${\displaystyle I(x;z|y),I(y;z|x)}$ ${\displaystyle I(x;y|z)}$ ${\displaystyle I(x;y;z)}$

Referencias

1. Fazlollah Reza. Introducción a la teoría de la información. Nueva York: McGraw-Hill 1961. Nueva York: Dover 1994. ISBN  0-486-68210-2
2. RW Yeung, primer curso de teoría de la información. Norwell, MA/Nueva York: Kluwer/Plenum, 2002.
3. Gardeux, Vicente; Halonen, H; Jackson, D; Martínez, FD; Lussier, YA (1 de junio de 2015). "Hacia un" ensayo de virograma "de PBMC para la medicina de precisión: concordancia entre transcriptomas de infección viral ex vivo e in vivo". Revista de Informática Biomédica . 1 : 94-103. doi :10.1016/j.jbi.2015.03.003. PMC 4951181 . PMID  25797143.