Entropía de Rényi

Concepto en teoría de la información.

En teoría de la información , la entropía de Rényi es una cantidad que generaliza varias nociones de entropía , incluida la entropía de Hartley , la entropía de Shannon , la entropía de colisión y la entropía mínima . La entropía de Rényi lleva el nombre de Alfréd Rényi , quien buscó la forma más general de cuantificar información preservando la aditividad para eventos independientes. ^{[1] [2]} En el contexto de la estimación de dimensiones fractales , la entropía de Rényi forma la base del concepto de dimensiones generalizadas . ^[3]

La entropía de Rényi es importante en ecología y estadística como índice de diversidad . La entropía de Rényi también es importante en la información cuántica , donde puede usarse como medida de entrelazamiento . En el modelo de cadena de espín XY de Heisenberg, la entropía de Rényi en función de α se puede calcular explícitamente porque es una función automórfica con respecto a un subgrupo particular del grupo modular . ^{[4] [5]} En informática teórica , la entropía mínima se utiliza en el contexto de extractores de aleatoriedad .

Definición

La entropía de orden de Rényi , donde y , se define como ^[1] ${\displaystyle \alpha }$ ${\displaystyle 0<\alpha <\infty }$ ${\displaystyle \alpha \neq 1}$

${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log {\Bigg (}\sum _{i=1}^{n}p_{i}^{\alpha }{\Bigg )}.}$

Se define además como ${\displaystyle \alpha =0,1,\infty }$

${\displaystyle \mathrm {H} _{\alpha }(X)=\lim _{\gamma \to \alpha }\mathrm {H} _{\gamma }(X).}$

Aquí hay una variable aleatoria discreta con posibles resultados en el conjunto y las probabilidades correspondientes para . La unidad de información resultante está determinada por la base del logaritmo , por ejemplo, shannon para base 2 o nat para base e . Si las probabilidades son para todos , entonces todas las entropías de Rényi de la distribución son iguales: . En general, para todas las variables aleatorias discretas , es una función no creciente en . ${\displaystyle X}$ ${\displaystyle {\mathcal {A}}=\{x_{1},x_{2},...,x_{n}\}}$ ${\displaystyle p_{i}\doteq \Pr(X=x_{i})}$ ${\displaystyle i=1,\dots ,n}$ ${\displaystyle p_{i}=1/n}$ ${\displaystyle i=1,\dots ,n}$ ${\displaystyle \mathrm {H} _{\alpha }(X)=\log n}$ ${\displaystyle X}$ ${\displaystyle \mathrm {H} _{\alpha }(X)}$ ${\displaystyle \alpha }$

Las aplicaciones suelen explotar la siguiente relación entre la entropía de Rényi y la norma α del vector de probabilidades:

${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {\alpha }{1-\alpha }}\log \left(\|P\|_{\alpha }\right)}$.

Aquí, la distribución de probabilidad discreta se interpreta como un vector en with y . ${\displaystyle P=(p_{1},\dots ,p_{n})}$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle p_{i}\geq 0}$ ${\textstyle \sum _{i=1}^{n}p_{i}=1}$

La entropía de Rényi para cualquiera es la cóncava de Schur . Probado por el criterio de Schur-Ostrowski. ${\displaystyle \alpha \geq 0}$

Casos especiales

Entropía de Rényi de una variable aleatoria con dos resultados posibles frente a p ₁ , donde P = ( p ₁ , 1 − p ₁ ) . Se muestran Η ₀ , Η ₁ , Η ₂ y Η _∞ , siendo la unidad en el eje vertical el shannon .

A medida que se acerca a cero, la entropía de Rényi pesa cada vez más todos los eventos con probabilidad distinta de cero de manera más equitativa, independientemente de sus probabilidades. En el límite de , la entropía de Rényi es justamente el logaritmo del tamaño del soporte de X . El límite es la entropía de Shannon . A medida que se acerca al infinito, la entropía de Rényi está cada vez más determinada por los eventos de mayor probabilidad. ${\displaystyle \alpha }$ ${\displaystyle \alpha \to 0}$ ${\displaystyle \alpha \to 1}$ ${\displaystyle \alpha }$

Hartley o máxima entropía

Siempre que las probabilidades sean distintas de cero, ^[6] es el logaritmo de la cardinalidad del alfabeto ( ) de , a veces llamada entropía de Hartley de , ${\displaystyle \mathrm {H} _{0}}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle X}$ ${\displaystyle X}$

${\displaystyle \mathrm {H} _{0}(X)=\log n=\log |{\mathcal {A}}|\,}$

Entropía de Shannon

El valor límite de as es la entropía de Shannon : ^[7] ${\displaystyle \mathrm {H} _{\alpha }}$ ${\displaystyle \alpha \to 1}$

${\displaystyle \mathrm {H} _{1}(X)\equiv \lim _{\alpha \to 1}\mathrm {H} _{\alpha }(X)=-\sum _{i=1}^{n}p_{i}\log p_{i}}$

Entropía de colisión

La entropía de colisión , a veces llamada simplemente "entropía de Rényi", se refiere al caso , ${\displaystyle \alpha =2}$

${\displaystyle \mathrm {H} _{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log P(X=Y),}$

donde X e Y son independientes y están idénticamente distribuidos . La entropía de colisión está relacionada con el índice de coincidencia .

Min-entropía

En el límite as , la entropía de Rényi converge a la min-entropía : ${\displaystyle \alpha \rightarrow \infty }$ ${\displaystyle \mathrm {H} _{\alpha }}$ ${\displaystyle \mathrm {H} _{\infty }}$

${\displaystyle \mathrm {H} _{\infty }(X)\doteq \min _{i}(-\log p_{i})=-(\max _{i}\log p_{i})=-\log \max _{i}p_{i}\,.}$

De manera equivalente, la entropía mínima es el mayor número real b tal que todos los eventos ocurren con probabilidad como máximo . ${\displaystyle \mathrm {H} _{\infty }(X)}$ ${\displaystyle 2^{-b}}$

El nombre min-entropía proviene del hecho de que es la medida de entropía más pequeña de la familia de las entropías de Rényi. En este sentido, es la forma más sólida de medir el contenido de información de una variable aleatoria discreta. En particular, la entropía mínima nunca es mayor que la entropía de Shannon .

La mínima entropía tiene aplicaciones importantes para los extractores de aleatoriedad en la informática teórica : los extractores pueden extraer aleatoriedad de fuentes aleatorias que tienen una gran entropía mínima; Para esta tarea no basta con tener una entropía de Shannon grande .

Desigualdades para diferentes órdenes α

Eso no aumenta para ninguna distribución de probabilidades dada , lo que puede demostrarse mediante diferenciación, ^[8] como ${\displaystyle \mathrm {H} _{\alpha }}$ ${\displaystyle \alpha }$ ${\displaystyle p_{i}}$

${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}={\frac {1}{(1-\alpha )^{2}}}\sum _{i=1}^{n}z_{i}\log(z_{i}/p_{i})={\frac {1}{(1-\alpha )^{2}}}D_{KL}(z\|p)}$

que es proporcional a la divergencia de Kullback-Leibler (que siempre es no negativa), donde . En particular, es estrictamente positivo excepto cuando la distribución es uniforme. ${\displaystyle z_{i}=p_{i}^{\alpha }/\sum _{j=1}^{n}p_{j}^{\alpha }}$

En el límite tenemos . ${\displaystyle \alpha \to 1}$ ${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}\to {\frac {1}{2}}\sum _{i}p_{i}(\ln p_{i}+H(p))^{2}}$

En casos particulares, las desigualdades también pueden demostrarse mediante la desigualdad de Jensen : ^{[9] [10]}

${\displaystyle \log n=\mathrm {H} _{0}\geq \mathrm {H} _{1}\geq \mathrm {H} _{2}\geq \mathrm {H} _{\infty }.}$

Para valores de , las desigualdades en la otra dirección también se cumplen. En particular, tenemos ^{[11] [12]} ${\displaystyle \alpha >1}$

${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }.}$

Por otro lado, la entropía de Shannon puede ser arbitrariamente alta para una variable aleatoria que tiene una entropía mínima determinada. Un ejemplo de esto lo da la secuencia de variables aleatorias para tal que y desde pero . ${\displaystyle \mathrm {H} _{1}}$ ${\displaystyle X}$ ${\displaystyle X_{n}\sim \{0,\ldots ,n\}}$ ${\displaystyle n\geq 1}$ ${\displaystyle P(X_{n}=0)=1/2}$ ${\displaystyle P(X_{n}=x)=1/(2n)}$ ${\displaystyle \mathrm {H} _{\infty }(X_{n})=\log 2}$ ${\displaystyle \mathrm {H} _{1}(X_{n})=(\log 2+\log 2n)/2}$

Divergencia de Rényi

Además de las entropías absolutas de Rényi, Rényi también definió un espectro de medidas de divergencia que generalizan la divergencia Kullback-Leibler . ^[13]

La divergencia de Rényi de orden α o divergencia alfa de una distribución P de una distribución Q se define como

${\displaystyle D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log {\Bigg (}\sum _{i=1}^{n}{\frac {p_{i}^{\alpha }}{q_{i}^{\alpha -1}}}{\Bigg )}={\frac {1}{\alpha -1}}\log \mathbb {E} _{i\sim p}[(p_{i}/q_{i})^{\alpha -1}]\,}$

cuando 0 < α < ∞ y α ≠ 1 . Podemos definir la divergencia de Rényi para los valores especiales α = 0, 1, ∞ tomando un límite y, en particular, el límite α → 1 da la divergencia Kullback-Leibler.

Algunos casos especiales:

${\displaystyle D_{0}(P\|Q)=-\log Q(\{i:p_{i}>0\})}$ : menos la probabilidad logarítmica bajo Q de que p _i > 0 ;

${\displaystyle D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}}$ : menos el doble del logaritmo del coeficiente de Bhattacharyya ; (Nielsen y Boltz (2010))

${\displaystyle D_{1}(P\|Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}}$ : la divergencia Kullback-Leibler ;

${\displaystyle D_{2}(P\|Q)=\log {\Big \langle }{\frac {p_{i}}{q_{i}}}{\Big \rangle }}$ : el logaritmo de la relación esperada de las probabilidades;

${\displaystyle D_{\infty }(P\|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}}$ : el logaritmo de la relación máxima de las probabilidades.

La divergencia de Rényi es de hecho una divergencia , lo que significa simplemente que es mayor o igual a cero, y cero sólo cuando P = Q. Para cualquier distribución fija P y Q , la divergencia de Rényi no es decreciente en función de su orden α , y es continua en el conjunto de α para el cual es finita, ^[13] o, en aras de la brevedad, la información de orden α se obtiene si la distribución P se reemplaza por la distribución Q. ^[1] ${\displaystyle D_{\alpha }(P\|Q)}$

Interpretación financiera

Un par de distribuciones de probabilidad pueden verse como un juego de azar en el que una de las distribuciones define las probabilidades oficiales y la otra contiene las probabilidades reales. El conocimiento de las probabilidades reales permite al jugador sacar provecho del juego. La tasa de beneficio esperada está relacionada con la divergencia de Rényi de la siguiente manera ^[14]

${\displaystyle {\rm {ExpectedRate}}={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,,}$

donde es la distribución que define las probabilidades oficiales (es decir, el "mercado") para el juego, es la distribución que creen los inversores y es la aversión al riesgo del inversor (la aversión relativa al riesgo de Arrow-Pratt ). ${\displaystyle m}$ ${\displaystyle b}$ ${\displaystyle R}$

Si la verdadera distribución es (no necesariamente coincide con la creencia del inversor ), la tasa realizada a largo plazo converge a la verdadera expectativa que tiene una estructura matemática similar ^[14] ${\displaystyle p}$ ${\displaystyle b}$

${\displaystyle {\rm {RealizedRate}}={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,.}$

Propiedades específicas de α = 1

El valor α = 1 , que da la entropía de Shannon y la divergencia Kullback-Leibler , es el único valor en el que la regla de la cadena de probabilidad condicional se cumple exactamente:

${\displaystyle \mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{a\sim A}{\big [}\mathrm {H} (X|A=a){\big ]}}$

para las entropías absolutas, y

${\displaystyle D_{\mathrm {KL} }(p(x|a)p(a)\|m(x,a))=D_{\mathrm {KL} }(p(a)\|m(a))+\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)\|m(x|a))\},}$

para las entropías relativas.

Esto último en particular significa que si buscamos una distribución p ( x , a ) que minimice la divergencia de alguna medida anterior subyacente m ( x , a ) y adquirimos nueva información que sólo afecta la distribución de a , entonces la distribución de p ( x | a ) permanece m ( x | a ) , sin cambios.

Las otras divergencias de Rényi satisfacen los criterios de ser positivas y continuas, ser invariantes bajo transformaciones de coordenadas 1 a 1 y combinarse aditivamente cuando A y X son independientes, de modo que si p ( A , X ) = p ( A ) p ( X ) , entonces

${\displaystyle \mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)\;}$

y

${\displaystyle D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X)).}$

Las propiedades más fuertes de las cantidades α = 1 permiten la definición de información condicional e información mutua a partir de la teoría de la comunicación.

Familias exponenciales

Las entropías y divergencias de Rényi para una familia exponencial admiten expresiones simples ^[15]

${\displaystyle \mathrm {H} _{\alpha }(p_{F}(x;\theta ))={\frac {1}{1-\alpha }}\left(F(\alpha \theta )-\alpha F(\theta )+\log E_{p}[e^{(\alpha -1)k(x)}]\right)}$

y

${\displaystyle D_{\alpha }(p:q)={\frac {J_{F,\alpha }(\theta :\theta ')}{1-\alpha }}}$

dónde

${\displaystyle J_{F,\alpha }(\theta :\theta ')=\alpha F(\theta )+(1-\alpha )F(\theta ')-F(\alpha \theta +(1-\alpha )\theta ')}$

es una divergencia de diferencia de Jensen.

Significado físico

La entropía de Rényi en física cuántica no se considera observable , debido a su dependencia no lineal de la matriz de densidad. (Esta dependencia no lineal se aplica incluso en el caso especial de la entropía de Shannon). Sin embargo, se le puede dar un significado operativo mediante mediciones dobles (también conocidas como estadísticas de conteo completo) de las transferencias de energía ^{[ cita requerida ]} .

El límite de la entropía de Rényi en la mecánica cuántica es la entropía de von Neumann . ${\displaystyle \alpha \to 1}$

Ver también

• Índices de diversidad
• Entropía de Tsallis
• Índice de entropía generalizada

Notas

1. Rényi (1961)
2. Rioul (2021)
3. Barros, Vanessa; Rousseau, Jérôme (1 de junio de 2021). "Distancia más corta entre múltiples órbitas y dimensiones fractales generalizadas". Anales Henri Poincaré . 22 (6): 1853–1885. arXiv : 1912.07516 . Código Bib : 2021AnHP...22.1853B. doi :10.1007/s00023-021-01039-y. ISSN  1424-0661. S2CID  209376774.
4. Franchini, Its y Korepin (2008)
5. Es y Korepin (2010)
6. RFC 4086, página 6
7. Bromiley, Thacker y Bouhova-Thacker (2004)
8. Beck y Schlögl (1993)
9. se mantiene porque . ${\displaystyle \mathrm {H} _{1}\geq \mathrm {H} _{2}}$ ${\displaystyle \sum \limits _{i=1}^{M}{p_{i}\log p_{i}}\leq \log \sum \limits _{i=1}^{M}{p_{i}^{2}}}$
10. se mantiene porque . ${\displaystyle \mathrm {H} _{\infty }\leq \mathrm {H} _{2}}$ ${\displaystyle \log \sum \limits _{i=1}^{n}{p_{i}^{2}}\leq \log \sup _{i}p_{i}\left({\sum \limits _{i=1}^{n}{p_{i}}}\right)=\log \sup _{i}p_{i}}$
11. se mantiene porque ${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }}$ ${\displaystyle \log \sum \limits _{i=1}^{n}{p_{i}^{2}}\geq \log \sup _{i}p_{i}^{2}=2\log \sup _{i}p_{i}}$
12. Devroye, Luc; Györfi, Laszlo; Lugosi, Gabor (4 de abril de 1996). Una teoría probabilística del reconocimiento de patrones (edición corregida). Nueva York, Nueva York: Springer. ISBN 978-0-387-94618-4.
13. Van Erven, Tim; Harremoës, Peter (2014). "Divergencia de Rényi y divergencia de Kullback-Leibler". Transacciones IEEE sobre teoría de la información . 60 (7): 3797–3820. arXiv : 1206.2459 . doi :10.1109/TIT.2014.2320500. S2CID  17522805.
14. Soklakov (2018)
15. Nielsen y Nock (2011)

Referencias

• Beck, cristiano; Schlögl, Friedrich (1993). Termodinámica de sistemas caóticos: una introducción . Prensa de la Universidad de Cambridge. ISBN 0521433673.
• Jizba, P.; Arimitsu, T. (2004). "El mundo según Rényi: Termodinámica de sistemas multifractales". Anales de Física . 312 (1): 17–59. arXiv : cond-mat/0207707 . Código bibliográfico : 2004AnPhy.312...17J. doi :10.1016/j.aop.2004.01.002. S2CID  119704502.
• Jizba, P.; Arimitsu, T. (2004). "Sobre la observabilidad de la entropía de Rényi". Revisión física E. 69 (2): 026128. arXiv : cond-mat/0307698 . Código bibliográfico : 2004PhRvE..69b6128J. doi : 10.1103/PhysRevE.69.026128. PMID  14995541. S2CID  39231939.
• Bromiley, Pensilvania; Thacker, NA; Bouhova-Thacker, E. (2004), Entropía de Shannon, Entropía e información de Rényi , CiteSeerX  10.1.1.330.9856
• Franchini, F.; Es, AR; Korepin, VE (2008). "La entropía de Rényi como medida de entrelazamiento en la cadena de espín cuántico". Revista de Física A: Matemática y Teórica . 41 (25302): 025302. arXiv : 0707.2534 . Código Bib : 2008JPhA...41b5302F. doi :10.1088/1751-8113/41/2/025302. S2CID  119672750.
• "Prueba de Rényi", Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
• Héroe, AO; Michael, O.; Gorman, J. (2002). Divergencia alfa para clasificación, indexación y recuperación (PDF) (Informe técnico CSPL-328). Laboratorio de Procesamiento de Señales y Comunicaciones, Universidad de Michigan. CiteSeerX  10.1.1.373.2763 .
• Es, AR; Korepin, VE (2010). "Entropía generalizada de la cadena de espín de Heisenberg". Física Teórica y Matemática . 164 (3): 1136-1139. Código Bib : 2010TMP...164.1136I. doi :10.1007/s11232-010-0091-6. S2CID  119525704.
• Nielsen, F.; Boltz, S. (2010). "Los centroides de Burbea-Rao y Bhattacharyya". Transacciones IEEE sobre teoría de la información . 57 (8): 5455–5466. arXiv : 1004.5049 . doi :10.1109/TIT.2011.2159046. S2CID  14238708.
• Nielsen, Frank; Nock, Richard (2012). "Una expresión de forma cerrada para la entropía de familias exponenciales de Sharma-Mittal". Revista de Física A. 45 (3): 032003. arXiv : 1112.4221 . Código Bib : 2012JPhA...45c2003N. doi :10.1088/1751-8113/45/3/032003. S2CID  8653096.
• Nielsen, Frank; Nock, Richard (2011). "Sobre las entropías y divergencias de Rényi y Tsallis para familias exponenciales". Revista de Física A. 45 (3): 032003. arXiv : 1105.3259 . Código Bib : 2012JPhA...45c2003N. doi :10.1088/1751-8113/45/3/032003. S2CID  8653096.
• Rényi, Alfred (1961). «Sobre medidas de información y entropía» (PDF) . Actas del cuarto Simposio de Berkeley sobre Matemáticas, Estadística y Probabilidad 1960 . págs. 547–561.
• Rosso, OA (2006). "Análisis de EEG mediante herramientas de información basadas en wavelets". Revista de métodos de neurociencia . 153 (2): 163–182. doi :10.1016/j.jneumeth.2005.10.009. PMID  16675027. S2CID  7134638.
• Zachos, CK (2007). "Un límite clásico de la entropía cuántica". Revista de Física A. 40 (21): F407–F412. arXiv : hep-th/0609148 . Código Bib : 2007JPhA...40..407Z. doi :10.1088/1751-8113/40/21/F02. S2CID  1619604.
• Nazarov, Y. (2011). "Flujos de entropías de Rényi". Revisión física B. 84 (10): 205437. arXiv : 1108.3537 . Código Bib : 2015PhRvB..91j4303A. doi : 10.1103/PhysRevB.91.104303. S2CID  40312624.
• Ansari, Mohammad H.; Nazarov, Yuli V. (2015). "La entropía de Rényi fluye desde motores térmicos cuánticos". Revisión física B. 91 (10): 104303. arXiv : 1408.3910 . Código Bib : 2015PhRvB..91j4303A. doi : 10.1103/PhysRevB.91.104303. S2CID  40312624.
• Ansari, Mohammad H.; Nazarov, Yuli V. (2015). "Correspondencia exacta entre los flujos de entropía de Rényi y los flujos físicos". Revisión física B. 91 (17): 174307. arXiv : 1502.08020 . Código Bib : 2015PhRvB..91q4307A. doi : 10.1103/PhysRevB.91.174307. S2CID  36847902.
• Soklakov, AN (2020). "Economía del desacuerdo: intuición financiera para la divergencia de Rényi". Entropía . 22 (8): 860. arXiv : 1811.08308 . Código Bib : 2020Entrp..22..860S. doi : 10.3390/e22080860 . PMC  7517462 . PMID  33286632.
• Ansari, Mohammad H.; van Steensel, Alwin; Nazarov, Yuli V. (2019). "La producción de entropía en Quantum es diferente". Entropía . 21 (9): 854. arXiv : 1907.09241 . doi : 10.3390/e21090854 . S2CID  198148019.
• Rioul, Olivier (2021). "Esto es TI: introducción a la entropía y la información de Shannon" (PDF) . Teoría de la información . Progresos en Física Matemática. vol. 78. Birkhäuser. págs. 49–86. doi :10.1007/978-3-030-81480-9_2. ISBN 978-3-030-81479-3. S2CID  204783328.