Diagrama de información

Diagrama de Venn para ilustrar la relación

Un diagrama de información es un tipo de diagrama de Venn utilizado en la teoría de la información para ilustrar las relaciones entre las medidas básicas de información de Shannon : entropía , entropía conjunta , entropía condicional e información mutua . ^{[1] [2]} Los diagramas de información son una herramienta pedagógica útil para enseñar y aprender sobre estas medidas básicas de información. Los diagramas de información también se han aplicado a problemas específicos, como para mostrar la similitud teórica de la información entre conjuntos de términos ontológicos . ^[3]

• 
  Diagrama de Venn que muestra relaciones aditivas y sustractivas entre varias medidas de información asociadas con las variables correlacionadas X e Y. El área contenida por ambos círculos es la entropía conjunta ⁠ ⁠ ${\displaystyle H(X,Y)}$ . El círculo de la izquierda (rojo y violeta) es la entropía individual ⁠ ⁠ ${\displaystyle H(X)}$ , siendo el rojo la entropía condicional . El círculo de la derecha (azul y violeta) es ⁠ ⁠ , siendo el azul . El violeta es la información mutua ⁠ ⁠ . ${\displaystyle H(X|Y)}$ ${\displaystyle H(Y)}$ ${\displaystyle H(Y|X)}$ ${\displaystyle I(X;Y)}$
• 
  Diagrama de Venn de medidas teóricas de la información para tres variables x, y y z . Cada círculo representa una entropía individual : ⁠ ⁠ ${\displaystyle H(x)}$ es el círculo inferior izquierdo, ⁠ ⁠ ${\displaystyle H(y)}$ el inferior derecho y ⁠ ⁠ ${\displaystyle H(z)}$ es el círculo superior. Las intersecciones de dos círculos cualesquiera representan la información mutua para las dos variables asociadas (por ejemplo , ⁠ ⁠ ${\displaystyle I(x;z)}$ es amarillo y gris). La unión de dos círculos cualesquiera es la entropía conjunta para las dos variables asociadas (por ejemplo, ⁠ ⁠ ${\displaystyle H(x,y)}$ es todo menos verde). La entropía conjunta ⁠ ⁠ ${\displaystyle H(x,y,z)}$ de las tres variables es la unión de los tres círculos. Está dividida en 7 partes, rojo, azul y verde son las entropías condicionales respectivamente, amarillo, magenta y cian son las informaciones mutuas condicionales y respectivamente, y gris es la información de interacción ⁠ ⁠ . La información de interacción es la única de todas que puede ser negativa. ${\displaystyle H(x|y,z),H(y|x,z),H(z|x,y)}$ ${\displaystyle I(x;z|y),I(y;z|x)}$ ${\displaystyle I(x;y|z)}$ ${\displaystyle I(x;y;z)}$

Referencias

1. Fazlollah Reza. Introducción a la teoría de la información. Nueva York: McGraw-Hill 1961. Nueva York: Dover 1994. ISBN  0-486-68210-2
2. RW Yeung, Un primer curso de teoría de la información. Norwell, MA/Nueva York: Kluwer/Plenum, 2002.
3. Gardeux, Vincent; Halonen, H; Jackson, D; Martinez, FD; Lussier, YA (1 de junio de 2015). "Hacia un "ensayo de virogramas" de PBMC para medicina de precisión: concordancia entre transcriptomas de infecciones virales ex vivo e in vivo". Journal of Biomedical Informatics . 1 : 94–103. doi :10.1016/j.jbi.2015.03.003. PMC 4951181 . PMID  25797143.