Cantidades de información

Diagrama de información engañoso ^[1] que muestra relaciones aditivas y sustractivas entre las cantidades básicas de información de Shannon para variables correlacionadas y . El área contenida por ambos círculos es la entropía conjunta . El círculo de la izquierda (rojo y violeta) es la entropía individual , siendo el rojo la entropía condicional . El círculo de la derecha (azul y violeta) es , siendo el azul . El violeta es la información mutua . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \mathrm {H} (X,Y)}$ ${\displaystyle \mathrm {H} (X)}$ ${\displaystyle \mathrm {H} (X|Y)}$ ${\displaystyle \mathrm {H} (Y)}$ ${\displaystyle \mathrm {H} (Y|X)}$ ${\displaystyle \operatorname {I} (X;Y)}$

La teoría matemática de la información se basa en la teoría de la probabilidad y la estadística , y mide la información con varias cantidades de información . La elección de la base logarítmica en las siguientes fórmulas determina la unidad de entropía de la información que se utiliza. La unidad de información más común es el bit , o más correctamente el shannon , ^[2] basado en el logaritmo binario . Aunque "bit" se utiliza con más frecuencia en lugar de "shannon", su nombre no se distingue del bit que se utiliza en el procesamiento de datos para referirse a un valor binario o flujo independientemente de su entropía (contenido de información). Otras unidades incluyen el nat , basado en el logaritmo natural , y el hartley , basado en la base 10 o logaritmo común .

En lo que sigue, una expresión de la forma se considera por convención igual a cero siempre que sea cero. Esto se justifica porque para cualquier base logarítmica. ^[3] ${\displaystyle p\log p\,}$ ${\displaystyle p}$ ${\displaystyle \lim _{p\rightarrow 0+}p\log p=0}$

Autoinformación

Shannon derivó una medida del contenido de información llamada autoinformación o " sorpresa" de un mensaje : ${\displaystyle m}$

${\displaystyle \operatorname {I} (m)=\log \left({\frac {1}{p(m)}}\right)=-\log(p(m))\,}$

donde es la probabilidad de que se elija un mensaje entre todas las opciones posibles en el espacio de mensajes . La base del logaritmo solo afecta a un factor de escala y, en consecuencia, a las unidades en las que se expresa el contenido de información medido. Si el logaritmo es de base 2, la medida de la información se expresa en unidades de shannons o, más a menudo, simplemente "bits" (un bit en otros contextos se define más bien como un "dígito binario", cuyo contenido de información promedio es como máximo 1 shannon). ${\displaystyle p(m)=\mathrm {Pr} (M=m)}$ ${\displaystyle m}$ ${\displaystyle M}$

El receptor obtiene información de una fuente sólo si no la tenía ya antes. Los mensajes que transmiten información sobre un determinado evento (P=1) (o uno que se conoce con certeza, por ejemplo, a través de un canal secundario) no proporcionan información, como indica la ecuación anterior. Los mensajes que se producen con poca frecuencia contienen más información que los mensajes que se producen con más frecuencia.

También se puede demostrar que un mensaje compuesto de dos (o más) mensajes no relacionados tendría una cantidad de información que es la suma de las medidas de información de cada mensaje individualmente. Esto se puede derivar utilizando esta definición al considerar un mensaje compuesto que proporciona información sobre los valores de dos variables aleatorias M y N utilizando un mensaje que es la concatenación de los mensajes elementales m y n , cada uno de cuyos contenidos de información están dados por y respectivamente. Si los mensajes m y n dependen cada uno solo de M y N, y los procesos M y N son independientes , entonces como (la definición de independencia estadística) es claro a partir de la definición anterior que . ${\displaystyle m\&n}$ ${\displaystyle \operatorname {I} (m)}$ ${\displaystyle \operatorname {I} (n)}$ ${\displaystyle P(m\&n)=P(m)P(n)}$ ${\displaystyle \operatorname {I} (m\&n)=\operatorname {I} (m)+\operatorname {I} (n)}$

Un ejemplo: el pronóstico del tiempo que se transmite es: "Pronóstico para esta noche: oscuro. Oscuridad continua hasta que se aclare ampliamente por la mañana". Este mensaje casi no contiene información. Sin embargo, un pronóstico de una tormenta de nieve contendrá información, ya que esto no sucede todas las noches. Habría una cantidad aún mayor de información en un pronóstico preciso de nieve para un lugar cálido, como Miami . La cantidad de información en un pronóstico de nieve para un lugar donde nunca nieva (evento imposible) es la más alta (infinita).

Entropía

La entropía de un espacio de mensajes discretos es una medida de la cantidad de incertidumbre que uno tiene sobre qué mensaje será elegido. Se define como la autoinformación promedio de un mensaje de ese espacio de mensajes: ${\displaystyle M}$ ${\displaystyle m}$

${\displaystyle \mathrm {H} (M)=\mathbb {E} \left[\operatorname {I} (M)\right]=\sum _{m\in M}p(m)\operatorname {I} (m)=-\sum _{m\in M}p(m)\log p(m)}$

dónde

${\displaystyle \mathbb {E} [-]}$denota la operación de valor esperado .

Una propiedad importante de la entropía es que se maximiza cuando todos los mensajes en el espacio de mensajes son equiprobables (por ejemplo, ). En este caso . ${\displaystyle p(m)=1/|M|}$ ${\displaystyle \mathrm {H} (M)=\log |M|}$

A veces la función se expresa en términos de las probabilidades de la distribución: ${\displaystyle \mathrm {H} }$

${\displaystyle \mathrm {H} (p_{1},p_{2},\ldots ,p_{k})=-\sum _{i=1}^{k}p_{i}\log p_{i},}$donde cada uno y ${\displaystyle p_{i}\geq 0}$ ${\displaystyle \sum _{i=1}^{k}p_{i}=1}$

Un caso especial importante de esto es la función de entropía binaria :

${\displaystyle \mathrm {H} _{\mbox{b}}(p)=\mathrm {H} (p,1-p)=-p\log p-(1-p)\log(1-p)\,}$

Entropía conjunta

La entropía conjunta de dos variables aleatorias discretas y se define como la entropía de la distribución conjunta de y : ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \mathrm {H} (X,Y)=\mathbb {E} _{X,Y}\left[-\log p(x,y)\right]=-\sum _{x,y}p(x,y)\log p(x,y)\,}$

Si y son independientes , entonces la entropía conjunta es simplemente la suma de sus entropías individuales. ${\displaystyle X}$ ${\displaystyle Y}$

(Nota: La entropía conjunta no debe confundirse con la entropía cruzada , a pesar de que tienen notaciones similares).

Entropía condicional (equivocación)

Dado un valor particular de una variable aleatoria , la entropía condicional de dado se define como: ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y=y}$

${\displaystyle \mathrm {H} (X|y)=\mathbb {E} _{\left[X|Y\right]}[-\log p(x|y)]=-\sum _{x\in X}p(x|y)\log p(x|y)}$

donde es la probabilidad condicional de dado . ${\displaystyle p(x|y)={\frac {p(x,y)}{p(y)}}}$ ${\displaystyle x}$ ${\displaystyle y}$

La entropía condicional de dado , también llamada equivocación de aproximadamente, viene dada por: ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \mathrm {H} (X|Y)=\mathbb {E} _{Y}\left[\mathrm {H} \left(X|y\right)\right]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=\sum _{x,y}p(x,y)\log {\frac {p(y)}{p(x,y)}}.}$

Aquí se utiliza la expectativa condicional de la teoría de probabilidad.

Una propiedad básica de la entropía condicional es que:

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y).\,}$

Divergencia de Kullback-Leibler (ganancia de información)

La divergencia de Kullback-Leibler (o divergencia de información , ganancia de información o entropía relativa ) es una forma de comparar dos distribuciones, una distribución de probabilidad "real" y una distribución de probabilidad arbitraria . Si comprimimos los datos de una manera que supone que es la distribución subyacente a algunos datos, cuando, en realidad, es la distribución correcta, la divergencia de Kullback-Leibler es el número de bits adicionales promedio por dato necesario para la compresión o, matemáticamente, ${\displaystyle p}$ ${\displaystyle q}$ ${\displaystyle q}$ ${\displaystyle p}$

${\displaystyle D_{\mathrm {KL} }{\bigl (}p(X)\|q(X){\bigr )}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.}$

Es en cierto sentido la "distancia" de a , aunque no es una métrica verdadera debido a que no es simétrica. ${\displaystyle q}$ ${\displaystyle p}$

Información mutua (transinformación)

Resulta que una de las medidas de información más útiles e importantes es la información mutua o transinformación . Esta es una medida de cuánta información se puede obtener sobre una variable aleatoria observando otra. La información mutua de relativa a (que representa conceptualmente la cantidad promedio de información sobre que se puede obtener observando ) viene dada por: ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}p(y)\sum _{x\in X}{p(x|y)\log {\frac {p(x|y)}{p(x)}}}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}.}$

Una propiedad básica de la información mutua es que:

${\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)-\mathrm {H} (X|Y).\,}$

Es decir, sabiendo , podemos ahorrar un promedio de bits en la codificación en comparación con no saber . La información mutua es simétrica : ${\displaystyle Y}$ ${\displaystyle \operatorname {I} (X;Y)}$ ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \operatorname {I} (X;Y)=\operatorname {I} (Y;X)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y).\,}$

La información mutua se puede expresar como la divergencia promedio de Kullback-Leibler (ganancia de información) de la distribución de probabilidad posterior de dado el valor de con respecto a la distribución previa en : ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle \operatorname {I} (X;Y)=\mathbb {E} _{p(y)}\left[D_{\mathrm {KL} }{\bigl (}p(X|Y=y)\|p(X){\bigr )}\right].}$

En otras palabras, se trata de una medida de cuánto, en promedio, cambiará la distribución de probabilidad de si se nos da el valor de . Esto se suele recalcular como la divergencia del producto de las distribuciones marginales con la distribución conjunta real: ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \operatorname {I} (X;Y)=D_{\mathrm {KL} }{\bigl (}p(X,Y)\|p(X)p(Y){\bigr )}.}$

La información mutua está estrechamente relacionada con la prueba de razón de verosimilitud logarítmica en el contexto de las tablas de contingencia y la distribución multinomial y con la prueba χ 2 de Pearson : la información mutua puede considerarse una estadística para evaluar la independencia entre un par de variables y tiene una distribución asintótica bien especificada.

Entropía diferencial

Las medidas básicas de la entropía discreta se han extendido por analogía a los espacios continuos , reemplazando las sumas por integrales y las funciones de masa de probabilidad por funciones de densidad de probabilidad . Aunque, en ambos casos, la información mutua expresa el número de bits de información comunes a las dos fuentes en cuestión, la analogía no implica propiedades idénticas; por ejemplo, la entropía diferencial puede ser negativa.

Las analogías diferenciales de la entropía, la entropía conjunta, la entropía condicional y la información mutua se definen de la siguiente manera:

${\displaystyle h(X)=-\int _{X}f(x)\log f(x)\,dx}$

${\displaystyle h(X,Y)=-\int _{Y}\int _{X}f(x,y)\log f(x,y)\,dx\,dy}$

${\displaystyle h(X|y)=-\int _{X}f(x|y)\log f(x|y)\,dx}$

${\displaystyle h(X|Y)=\int _{Y}\int _{X}f(x,y)\log {\frac {f(y)}{f(x,y)}}\,dx\,dy}$

${\displaystyle \operatorname {I} (X;Y)=\int _{Y}\int _{X}f(x,y)\log {\frac {f(x,y)}{f(x)f(y)}}\,dx\,dy}$

donde es la función de densidad conjunta, y son las distribuciones marginales, y es la distribución condicional. ${\displaystyle f(x,y)}$ ${\displaystyle f(x)}$ ${\displaystyle f(y)}$ ${\displaystyle f(x|y)}$

Véase también

• Teoría de la información

Referencias

1. DJC Mackay (2003). Teoría de la información, inferencias y algoritmos de aprendizaje . Bibcode :2003itil.book.....M.^:141
2. Stam, AJ (1959). "Algunas desigualdades satisfechas por las cantidades de información de Fisher y Shannon". Información y Control . 2 (2): 101–112. doi :10.1016/S0019-9958(59)90348-1.
3. "Tres aproximaciones a la definición del concepto "cantidad de información"" (PDF) .