Entropía de Rényi
Las entropías cuantifican la diversidad, incertidumbre o aleatoriedad de un sistema.
La entropía de Rényi también es importante en información cuántica, donde se puede usar como medida del entrelazamiento.
[2][3] En ciencia computacional teórica, la entropía min se usa en el contexto de extractores de aleatoriedad.
es una variable aleatoria discreta con resultados posibles
En general, para todas las variables aleatorias discretas
Sus aplicaciones suelen utilizar la siguiente relación entre la entropía de Rényi y la norma p del vector de probabilidades: donde la distribución de probabilidad discreta
La entropía de Rényi para cualquier
Cuando α tiende a cero, la entropía de Rényi le da un peso cada vez más parejo a todos los eventos posibles, independientemente de sus probabilidades.
En el límite α → 0, la entropía de Rényi es simplemente el logaritmo del tamaño del soporte de X.
El límite α → 1 es la entropía de Shannon.
Cuando α tiende a infinito, la entropía de Rényi está determinada por los eventos de mayor probabilidad.
cuando α → 1 es la entropía de Shannon:[5] La entropía de colisión, a veces llamada simplemente entropía de Rényi, se refiere al caso α = 2, donde X e Y son independientes e idénticamente distribuidas.
: De forma equivalente, la entropía min
es el mayor número real b tal que todos los eventos ocurren con probabilidad a lo sumo
En este sentido, es la manera más fuerte de medir la información contenida en una variable aleatoria discreta.
La entropía min tiene importantes aplicaciones en extractores de aleatoriedad en ciencia computacional teórica: los extractores son capaces de extraer aleatoriedad de fuentes aleatorias que tienen gran entropía min.
Tener simplemente una entropía de Shannon grande no es suficiente para ello.
,[6] de la forma que es proporcional a la divergencia de Kullback-Leibler (que es siempre no negativa), donde
En particular, se tiene[9][cita requerida] Por otro lado, la entropía de Shannon
puede ser arbitrariamente grande para una variable aleatoria
Se puede definir la divergencia de Rényi para los valores particulares α = 0, 1, ∞ tomando el límite, y en particular el límite α → 1 da la divergencia de Kullback-Leibler.
Algunos casos particulares: La divergencia de Rényi es de hecho una divergencia, lo que quiere decir simplemente que
Para un par de distribuciones cualesquiera pero fijas P y Q, la divergencia de Rényi es no decreciente como función de su orden α, y es continua en elconjunto de α para los que es finita.
El valor α = 1, que da la entropía de Shannon y la divergencia de Kullback-Leibler, es especial ya que es solo con α = 1 con que se cumple la regla de la cadena de la probabilidad condicionada de forma exacta: para las entropías absolutas, y para las entropías relativas.
Esto último en particular significa que si buscamos una distribución p(x, a) que minimice la divergencia de alguna medida previa subyacente m(x, a), y obtenemos nueva información que solo afecta a la distribución a, entonces la distribución de p(x|a) permanece m(x|a), sin cambios.
Las otras divergencias de Rényi satisfacen los criterios de ser positivas y continuas; ser invariantes bajo transformaciones coordinadas inyectivas; y de combinarse aditivamente cuando A y X son independientes, de forma que p(A, X) = p(A)p(X), luego y Las propiedades más fuertes de las cantidades α = 1, que permiten definir la información condicional y la información mutua en teoría de comunicación, pueden ser muy importantes en otras aplicaciones, o completamente irrelevantes, dependiendo de las necesidades de tales aplicaciones.
Las entropías de Rényi y las divergencias para una familia exponencial admiten expresiones simples[11] y donde es la divergencia de Jensen.
La entropía de Rényi en física cuántica no se considera un observable, debido a su dependencia no lineal con la matriz de densidad.
La entropía de Shannon comparte esta dependencia no lineal.
Ansari y Nazarov mostraron una correspondencia que revela el significado físico del flujo de entropía de Renyi en el tiempo.
