stringtranslate.com

Entropía de Rényi

En teoría de la información , la entropía de Rényi es una cantidad que generaliza varias nociones de entropía , incluyendo la entropía de Hartley , la entropía de Shannon , la entropía de colisión y la min-entropía . La entropía de Rényi recibe su nombre de Alfréd Rényi , quien buscó la forma más general de cuantificar la información mientras se preservaba la aditividad para eventos independientes. [1] [2] En el contexto de la estimación de la dimensión fractal , la entropía de Rényi forma la base del concepto de dimensiones generalizadas . [3]

La entropía de Rényi es importante en ecología y estadística como índice de diversidad . La entropía de Rényi también es importante en información cuántica , donde puede usarse como una medida de entrelazamiento . En el modelo de cadena de espín XY de Heisenberg, la entropía de Rényi como función de α se puede calcular explícitamente porque es una función automórfica con respecto a un subgrupo particular del grupo modular . [4] [5] En informática teórica , la min-entropía se usa en el contexto de extractores de aleatoriedad .

Definición

La entropía de Rényi de orden , donde y , se define como [1]

Se define además como

Aquí, es una variable aleatoria discreta con resultados posibles en el conjunto y probabilidades correspondientes para . La unidad de información resultante está determinada por la base del logaritmo , por ejemplo, shannon para base 2, o nat para base e . Si las probabilidades son para todos , entonces todas las entropías de Rényi de la distribución son iguales: . En general, para todas las variables aleatorias discretas , es una función no creciente en .

Las aplicaciones a menudo explotan la siguiente relación entre la entropía de Rényi y la norma α del vector de probabilidades:

.

Aquí, la distribución de probabilidad discreta se interpreta como un vector en con y .

La entropía de Rényi para cualquier es cóncava de Schur . Se demuestra mediante el criterio de Schur-Ostrowski.

Casos especiales

Entropía de Rényi de una variable aleatoria con dos resultados posibles frente a p 1 , donde P = ( p 1 , 1 − p 1 ) . Se muestran Η 0 , Η 1 , Η 2 y Η , siendo la unidad en el eje vertical el shannon .

A medida que se acerca a cero, la entropía de Rényi pondera cada vez más equitativamente todos los eventos con probabilidad distinta de cero, independientemente de sus probabilidades. En el límite para , la entropía de Rényi es simplemente el logaritmo del tamaño del soporte de X . El límite para es la entropía de Shannon . A medida que se acerca al infinito, la entropía de Rényi está cada vez más determinada por los eventos de mayor probabilidad.

Hartley o máxima entropía

Siempre que las probabilidades sean distintas de cero, [6] es el logaritmo de la cardinalidad del alfabeto ( ) de , a veces llamada entropía de Hartley de ,

Entropía de Shannon

El valor límite de as es la entropía de Shannon : [7]

Entropía de colisión

La entropía de colisión , a veces simplemente llamada "entropía de Rényi", se refiere al caso ,

donde X e Y son independientes y se distribuyen de forma idéntica . La entropía de colisión está relacionada con el índice de coincidencia .

Min-entropía

En el límite cuando , la entropía de Rényi converge a la min-entropía :

De manera equivalente, la min-entropía es el número real más grande b tal que todos los eventos ocurren con una probabilidad como máximo de .

El nombre de min-entropía se debe a que es la medida de entropía más pequeña de la familia de entropías de Rényi. En este sentido, es la forma más sólida de medir el contenido de información de una variable aleatoria discreta. En particular, la min-entropía nunca es mayor que la entropía de Shannon .

La min-entropía tiene aplicaciones importantes para los extractores de aleatoriedad en la informática teórica : los extractores pueden extraer aleatoriedad de fuentes aleatorias que tienen una min-entropía grande; tener simplemente una entropía de Shannon grande no es suficiente para esta tarea.

Desigualdades para diferentes órdenesalfa

Esto no es creciente para ninguna distribución dada de probabilidades , lo que se puede demostrar mediante diferenciación, [8] como

que es proporcional a la divergencia de Kullback–Leibler (que siempre es no negativa), donde . En particular, es estrictamente positiva excepto cuando la distribución es uniforme.

En el límite, tenemos .

En casos particulares las desigualdades pueden demostrarse también mediante la desigualdad de Jensen : [9] [10]

Para valores de , también se cumplen las desigualdades en la otra dirección. En particular, tenemos [11] [12]

Por otra parte, la entropía de Shannon puede ser arbitrariamente alta para una variable aleatoria que tiene una entropía mínima dada. Un ejemplo de esto lo da la secuencia de variables aleatorias para tal que y puesto que pero .

Divergencia de Rényi

Además de las entropías absolutas de Rényi, Rényi también definió un espectro de medidas de divergencia que generalizan la divergencia de Kullback-Leibler . [13]

La divergencia de Rényi de orden α o divergencia alfa de una distribución P respecto de una distribución Q se define como

cuando 0 < α < ∞ y α ≠ 1. Podemos definir la divergencia de Rényi para los valores especiales α = 0, 1, ∞ tomando un límite, y en particular el límite α → 1 da la divergencia de Kullback–Leibler.

Algunos casos especiales:

 :menos la probabilidad logarítmica bajo Q de que p i > 0 ;
 :menos el doble del logaritmo del coeficiente de Bhattacharyya ; (Nielsen y Boltz (2010))
 :la divergencia de Kullback–Leibler ;
 :el logaritmo de la relación esperada de las probabilidades;
 :el logaritmo de la relación máxima de las probabilidades.

La divergencia de Rényi es de hecho una divergencia , es decir, simplemente es mayor o igual a cero, y cero solo cuando P = Q. Para cualquier distribución fija P y Q , la divergencia de Rényi es no decreciente en función de su orden α , y es continua en el conjunto de α para el cual es finita, [13] o, para abreviar, la información de orden α obtenida si la distribución P se reemplaza por la distribución Q. [1 ]

Interpretación financiera

Un par de distribuciones de probabilidad se puede considerar como un juego de azar en el que una de las distribuciones define las probabilidades oficiales y la otra contiene las probabilidades reales. El conocimiento de las probabilidades reales permite al jugador obtener beneficios del juego. La tasa de beneficio esperada está relacionada con la divergencia de Rényi de la siguiente manera [14]

donde es la distribución que define las probabilidades oficiales (es decir, el "mercado") para el juego, es la distribución estimada por el inversor y es la aversión al riesgo del inversor (la aversión al riesgo relativo de Arrow-Pratt ).

Si la distribución real es (no necesariamente coincidente con la creencia del inversor ), la tasa realizada a largo plazo converge a la expectativa real que tiene una estructura matemática similar [14]

Propiedades específicas dealfa= 1

El valor α = 1 , que da la entropía de Shannon y la divergencia de Kullback–Leibler , es el único valor en el que la regla de la cadena de probabilidad condicional se cumple exactamente:

para las entropías absolutas, y

para las entropías relativas.

Esto último en particular significa que si buscamos una distribución p ( x , a ) que minimice la divergencia con respecto a alguna medida previa subyacente m ( x , a ) , y adquirimos nueva información que sólo afecta a la distribución de a , entonces la distribución de p ( x | a ) permanece m ( x | a ) , sin cambios.

Las demás divergencias de Rényi satisfacen los criterios de ser positivas y continuas, ser invariantes bajo transformaciones de coordenadas 1 a 1 y combinarse aditivamente cuando A y X son independientes, de modo que si p ( A , X ) = p ( A ) p ( X ) , entonces

y

Las propiedades más fuertes de las cantidades α = 1 permiten la definición de información condicional e información mutua desde la teoría de la comunicación.

Familias exponenciales

Las entropías y divergencias de Rényi para una familia exponencial admiten expresiones simples [15]

y

dónde

es una divergencia de diferencia de Jensen.

Significado físico

La entropía de Rényi en física cuántica no se considera un observable , debido a su dependencia no lineal de la matriz de densidad. (Esta dependencia no lineal se aplica incluso en el caso especial de la entropía de Shannon). Sin embargo, se le puede dar un significado operativo a través de las mediciones de dos tiempos (también conocidas como estadísticas de conteo completo) de transferencias de energía [ cita requerida ] .

El límite de la entropía de Rényi de la mecánica cuántica es la entropía de von Neumann .

Véase también

Notas

  1. ^abc Renyi (1961)
  2. ^ Rioul (2021)
  3. ^ Barros, Vanessa; Rousseau, Jérôme (1 de junio de 2021). "Distancia más corta entre órbitas múltiples y dimensiones fractales generalizadas". Annales Henri Poincaré . 22 (6): 1853–1885. arXiv : 1912.07516 . Código Bibliográfico :2021AnHP...22.1853B. doi :10.1007/s00023-021-01039-y. ISSN  1424-0661. S2CID  209376774.
  4. ^ Franchini, Its y Korepin (2008)
  5. ^ Its & Korepin (2010)
  6. ^ RFC 4086, página 6
  7. ^ Bromeley, Thacker y Bouhova-Thacker (2004)
  8. ^ Beck y Schlögl (1993)
  9. ^ se cumple porque .
  10. ^ se cumple porque .
  11. ^ se mantiene porque
  12. ^ Devroye, Luc; Györfi, Laszlo; Lugosi, Gabor (4 de abril de 1996). Una teoría probabilística del reconocimiento de patrones (edición corregida). Nueva York, NY: Springer. ISBN 978-0-387-94618-4.
  13. ^ ab Van Erven, Tim; Harremoës, Peter (2014). "Divergencia de Rényi y divergencia de Kullback-Leibler". Transacciones IEEE sobre teoría de la información . 60 (7): 3797–3820. arXiv : 1206.2459 . doi :10.1109/TIT.2014.2320500. S2CID  17522805.
  14. ^Por Soklakov (2018)
  15. ^ Nielsen y Nock (2011)

Referencias