Desigualdad de potencia de entropía

En teoría de la información , la desigualdad de potencia de entropía ( EPI ) es un resultado que se relaciona con el llamado "poder de entropía" de las variables aleatorias . Muestra que el poder de entropía de las variables aleatorias adecuadamente comportadas es una función superaditiva . La desigualdad de potencia de entropía fue demostrada en 1948 por Claude Shannon en su artículo seminal " Una teoría matemática de la comunicación ". Shannon también proporcionó una condición suficiente para que se cumpla la igualdad; Stam (1959) demostró que la condición es de hecho necesaria.

Enunciado de la desigualdad

Para un vector aleatorio X  : Ω →  R ⁿ con función de densidad de probabilidad f  :  R ⁿ  →  R , la entropía diferencial de X , denotada h ( X ), se define como

${\displaystyle h(X)=-\int _{\mathbb {R} ^{n}}f(x)\log f(x)\,dx}$

y la potencia de entropía de X , denotada N ( X ), se define como

${\displaystyle N(X)={\frac {1}{2\pi e}}e^{{\frac {2}{n}}h(X)}.}$

En particular, N ( X ) = | K | ^{1/ n} cuando X  se distribuye normalmente con matriz de covarianza K .

Sean X e Y variables aleatorias independientes con funciones de densidad de probabilidad en el espacio L p L ^p ( R ⁿ ) para algún p  > 1. Entonces

${\displaystyle N(X+Y)\geq N(X)+N(Y).\,}$

Además, la igualdad se cumple si y sólo si X e Y son variables aleatorias normales multivariadas con matrices de covarianza proporcionales .

Forma alternativa de la desigualdad

La desigualdad de potencia de entropía se puede reescribir en una forma equivalente que no depende explícitamente de la definición de potencia de entropía (véase la referencia de Costa y Cover a continuación).

Sean X e Y variables aleatorias independientes , como se indicó anteriormente. Luego, sean X' e Y' variables aleatorias distribuidas independientemente con distribuciones gaussianas, tales que

${\displaystyle h(X')=h(X)}$y ${\displaystyle h(Y')=h(Y)}$

Entonces,

${\displaystyle h(X+Y)\geq h(X'+Y')}$

Véase también

• Entropía de la información
• Teoría de la información
• Limitación de la densidad de puntos discretos
• Autoinformación
• Divergencia de Kullback-Leibler
• Estimación de entropía

Referencias

• Dembo, Amir; Cover, Thomas M.; Thomas, Joy A. (1991). "Inequidades teóricas de la información". IEEE Trans. Inf. Theory . 37 (6): 1501–1518. doi :10.1109/18.104312. MR  1134291. S2CID  845669.
• Costa, Max HM; Cover, Thomas M. (1984). "Sobre la similitud de la desigualdad entropía-potencia y la desigualdad Brunn-Minkowski". IEEE Trans. Inf. Theory . 30 (6): 837–839. doi :10.1109/TIT.1984.1056983.
• Gardner, Richard J. (2002). "La desigualdad de Brunn-Minkowski". Bull. Amer. Math. Soc. (NS) . 39 (3): 355–405 (electrónico). doi : 10.1090/S0273-0979-02-00941-2 .
• Shannon, Claude E. (1948). "Una teoría matemática de la comunicación". Bell System Tech. J. 27 (3): 379–423, 623–656. doi :10.1002/j.1538-7305.1948.tb01338.x. hdl : 10338.dmlcz/101429 .
• Stam, AJ (1959). "Algunas desigualdades satisfechas por las cantidades de información de Fisher y Shannon". Información y Control . 2 (2): 101–112. doi : 10.1016/S0019-9958(59)90348-1 .