Función de entropía binaria

Entropía de un proceso con sólo dos valores probables

Entropía de una prueba de Bernoulli en función de la probabilidad de resultado binario, denominada función de entropía binaria .

En teoría de la información , la función de entropía binaria , denotada o , se define como la entropía de un proceso de Bernoulli con probabilidad de uno de dos valores. Es un caso especial de la función de entropía . Matemáticamente, el ensayo de Bernoulli se modela como una variable aleatoria que puede tomar sólo dos valores: 0 y 1, que son mutuamente excluyentes y exhaustivos. ${\displaystyle \operatorname {H} (p)}$ ${\displaystyle \operatorname {H} _{\text{b}}(p)}$ ${\displaystyle p}$ ${\displaystyle \mathrm {H} (X)}$ ${\displaystyle X}$

Si , entonces y la entropía de (en shannons ) está dada por ${\displaystyle \operatorname {Pr} (X=1)=p}$ ${\displaystyle \operatorname {Pr} (X=0)=1-p}$ ${\displaystyle X}$

${\displaystyle \operatorname {H} (X)=\operatorname {H} _{\text{b}}(p)=-p\log _{2}p-(1-p)\log _{2}(1-p)}$,

donde se considera 0. Los logaritmos en esta fórmula generalmente se toman (como se muestra en el gráfico) en base 2. Consulte logaritmo binario . ${\displaystyle 0\log _{2}0}$

Cuando , la función de entropía binaria alcanza su valor máximo. Este es el caso del lanzamiento de una moneda imparcial . ${\displaystyle p={\tfrac {1}{2}}}$

${\displaystyle \operatorname {H} (p)}$Se distingue de la función de entropía en que la primera toma un único número real como parámetro, mientras que la segunda toma una distribución o una variable aleatoria como parámetro. A veces, la función de entropía binaria también se escribe como . Sin embargo, es diferente y no debe confundirse con la entropía de Rényi , que se denota como . ${\displaystyle \mathrm {H} (X)}$ ${\displaystyle \operatorname {H} _{2}(p)}$ ${\displaystyle \mathrm {H} _{2}(X)}$

Explicación

En términos de teoría de la información, se considera que la entropía es una medida de la incertidumbre de un mensaje. Para decirlo intuitivamente, supongamos . Con esta probabilidad, es seguro que el evento nunca ocurrirá, por lo que no hay incertidumbre alguna, lo que lleva a una entropía de 0. Si , el resultado es nuevamente seguro, entonces la entropía también es 0 aquí. Cuando , la incertidumbre es máxima; Si uno hiciera una apuesta justa sobre el resultado en este caso, no se obtendría ninguna ventaja con el conocimiento previo de las probabilidades. En este caso, la entropía es máxima con un valor de 1 bit. Los valores intermedios se encuentran entre estos casos; por ejemplo, si , todavía hay una medida de incertidumbre sobre el resultado, pero todavía se puede predecir el resultado correctamente la mayoría de las veces, por lo que la medida de incertidumbre, o entropía, es inferior a 1 bit completo. ${\displaystyle p=0}$ ${\displaystyle p=1}$ ${\displaystyle p=1/2}$ ${\displaystyle p=1/4}$

Derivado

La derivada de la función de entropía binaria se puede expresar como la negativa de la función logit :

${\displaystyle {d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)}$.

${\displaystyle {d^{2} \over dp^{2}}\operatorname {H} _{\text{b}}(p)=-{\frac {1}{p(1-p)\ln 2}}}$

serie de taylor

La serie de Taylor de la función de entropía binaria en una vecindad de 1/2 es

${\displaystyle \operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}}$

para . ${\displaystyle 0\leq p\leq 1}$

Límites

Los siguientes límites son válidos para : ^[1] ${\displaystyle 0<p<1}$

${\displaystyle \ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)}$

y

${\displaystyle 4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}}$

donde denota logaritmo natural. ${\displaystyle \ln }$

Ver también

• Entropía métrica
• Teoría de la información
• Entropía de la información
• Cantidades de información

Referencias

1. Topsøe, Flemming (2001). "Límites de entropía y divergencia para distribuciones en un conjunto de dos elementos". JIPAM. Revista de desigualdades en matemáticas puras y aplicadas . 2 (2): Trabajo No. 25, 13 p.- Trabajo No. 25, 13 p.

Otras lecturas

• MacKay, David JC Teoría de la información, inferencia y algoritmos de aprendizaje Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1