Entropía conjunta

Medida de información en probabilidad y teoría de la información.

Un diagrama de Venn ^[1] engañoso que muestra relaciones aditivas y sustractivas entre varias medidas de información asociadas con variables correlacionadas X e Y. El área contenida por ambos círculos es la entropía conjunta H(X,Y). El círculo de la izquierda (rojo y violeta) es la entropía individual H(X), siendo el rojo la entropía condicional H(X|Y). El círculo de la derecha (azul y violeta) es H(Y), y el azul es H(Y|X). El violeta es la información mutua I(X;Y).

En teoría de la información , la entropía conjunta es una medida de la incertidumbre asociada con un conjunto de variables . ^[2]

Definición

La entropía de Shannon conjunta (en bits ) de dos variables aleatorias discretas y con imágenes se define como ^{[3] : 16} ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {Y}}}$

donde y son valores particulares de y , respectivamente, es la probabilidad conjunta de que estos valores ocurran juntos, y se define como 0 si . ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle P(x,y)}$ ${\displaystyle P(x,y)\log _{2}[P(x,y)]}$ ${\displaystyle P(x,y)=0}$

Para más de dos variables aleatorias, esto se expande a ${\displaystyle X_{1},...,X_{n}}$

donde son valores particulares de , respectivamente, es la probabilidad de que estos valores ocurran juntos, y se define como 0 si . ${\displaystyle x_{1},...,x_{n}}$ ${\displaystyle X_{1},...,X_{n}}$ ${\displaystyle P(x_{1},...,x_{n})}$ ${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$ ${\displaystyle P(x_{1},...,x_{n})=0}$

Propiedades

No negatividad

La entropía conjunta de un conjunto de variables aleatorias es un número no negativo.

${\displaystyle \mathrm {H} (X,Y)\geq 0}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\geq 0}$

Mayor que las entropías individuales

La entropía conjunta de un conjunto de variables es mayor o igual al máximo de todas las entropías individuales de las variables del conjunto.

${\displaystyle \mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}$

${\displaystyle \mathrm {H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}}$

Menor o igual a la suma de entropías individuales

La entropía conjunta de un conjunto de variables es menor o igual a la suma de las entropías individuales de las variables del conjunto. Este es un ejemplo de subaditividad . Esta desigualdad es una igualdad si y sólo si y son estadísticamente independientes . ^{[3] : 30} ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})}$

Relaciones con otras medidas de entropía

La entropía conjunta se utiliza en la definición de entropía condicional ^{[3] : 22}

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}$,

y

${\displaystyle \mathrm {H} (X_{1},\dots ,X_{n})=\sum _{k=1}^{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})}$.

También se utiliza en la definición de información mutua ^{[3] : 21}

${\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}$.

En la teoría de la información cuántica , la entropía conjunta se generaliza en entropía cuántica conjunta .

Entropía diferencial conjunta

Definición

La definición anterior es para variables aleatorias discretas e igualmente válida en el caso de variables aleatorias continuas. La versión continua de la entropía conjunta discreta se llama entropía diferencial conjunta (o continua) . Sea y una variable aleatoria continua con una función de densidad de probabilidad conjunta . La entropía conjunta diferencial se define como ^{[3] : 249} ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle f(x,y)}$ ${\displaystyle h(X,Y)}$

Para más de dos variables aleatorias continuas, la definición se generaliza a: ${\displaystyle X_{1},...,X_{n}}$

La integral se toma sobre el soporte de . Es posible que la integral no exista en cuyo caso decimos que la entropía diferencial no está definida. ${\displaystyle f}$

Propiedades

Como en el caso discreto, la entropía diferencial conjunta de un conjunto de variables aleatorias es menor o igual que la suma de las entropías de las variables aleatorias individuales:

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})\leq \sum _{i=1}^{n}h(X_{i})}$^{[3] : 253}

La siguiente regla de la cadena se cumple para dos variables aleatorias:

${\displaystyle h(X,Y)=h(X|Y)+h(Y)}$

En el caso de más de dos variables aleatorias, esto se generaliza a: ^{[3] : 253}

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1})}$

La entropía diferencial conjunta también se utiliza en la definición de información mutua entre variables aleatorias continuas:

${\displaystyle \operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)}$

Referencias

1. DJC Mackay (2003). Teoría de la información, inferencias y algoritmos de aprendizaje . Código bibliográfico : 2003itil.book.....M.^{: 141}
2. Teresa M. Korn ; Korn, Granino Arthur (enero de 2000). Manual de matemáticas para científicos e ingenieros: definiciones, teoremas y fórmulas para referencia y revisión . Nueva York: Publicaciones de Dover. ISBN 0-486-41147-8.
3. Thomas M. Portada; Joy A. Thomas (18 de julio de 2006). Elementos de la teoría de la información . Hoboken, Nueva Jersey: Wiley. ISBN 0-471-24195-4.