Divergencia Kullback-Leibler

Medida de distancia de estadística matemática

En estadística matemática , la divergencia de Kullback-Leibler ( KL ) (también llamada entropía relativa y divergencia I ^[1] ), denotada , es un tipo de distancia estadística : una medida de cómo una distribución de probabilidad P es diferente de una segunda referencia. distribución de probabilidad Q . ^{[2] [3]} Una interpretación simple de la divergencia KL de P de Q es el exceso de sorpresa esperado al usar Q como modelo en lugar de P cuando la distribución real es P. Si bien es una medida de cuán diferentes son dos distribuciones y, en cierto sentido, es una "distancia", en realidad no es una métrica , que es el tipo de distancia más familiar y formal. En particular, no es simétrica en las dos distribuciones (a diferencia de la variación de la información ) y no satisface la desigualdad triangular . En cambio, en términos de geometría de la información , es un tipo de divergencia , ^[4] una generalización de la distancia al cuadrado , y para ciertas clases de distribuciones (en particular, una familia exponencial ), satisface un teorema de Pitágoras generalizado (que se aplica a distancias al cuadrado) . ^[5] ${\displaystyle D_{\text{KL}}(P\parallel Q)}$

Una entropía relativa de 0 indica que las dos distribuciones en cuestión son idénticas. La entropía relativa es una función no negativa de dos distribuciones o medidas. Tiene diversas aplicaciones, tanto teóricas, como caracterizar la entropía relativa (Shannon) en sistemas de información, la aleatoriedad en series de tiempo continuas y la ganancia de información al comparar modelos estadísticos de inferencia ; y prácticos, como estadística aplicada, mecánica de fluidos , neurociencia y bioinformática .

Introducción y contexto

Considere dos distribuciones de probabilidad P y Q. Generalmente, P representa los datos, las observaciones o una distribución de probabilidad medida. La distribución Q representa en cambio una teoría, un modelo, una descripción o una aproximación de P. Luego , la divergencia de Kullback-Leibler se interpreta como la diferencia promedio del número de bits necesarios para codificar muestras de P utilizando un código optimizado para Q en lugar de uno optimizado para P. Tenga en cuenta que los roles de P y Q se pueden invertir en algunas situaciones en las que es más fácil de calcular, como con los cálculos del algoritmo de maximización de expectativas (EM) y del límite inferior de evidencia (ELBO) . ${\displaystyle D_{\text{KL}}(P\parallel Q)}$

Etimología

La entropía relativa fue introducida por Solomon Kullback y Richard Leibler en Kullback & Leibler (1951) como "la información media para la discriminación entre y por observación de ", ^[6] donde se comparan dos medidas de probabilidad , y son las hipótesis de que se está comparando dos medidas de probabilidad. seleccionando de la medida (respectivamente). Denotaron esto por y definieron la "'divergencia' entre y " como la cantidad simetrizada , que ya había sido definida y utilizada por Harold Jeffreys en 1948. ^[7] En Kullback (1959), la forma simetrizada se denomina nuevamente la "divergencia" y las entropías relativas en cada dirección se denominan "divergencias dirigidas" entre dos distribuciones; ^[8] Kullback prefirió el término información sobre discriminación . ^[9] El término "divergencia" contrasta con una distancia (métrica), ya que la divergencia simetrizada no satisface la desigualdad del triángulo. ^[10] En Kullback (1959, págs. 6–7, §1.3 Divergencia) se dan numerosas referencias a usos anteriores de la divergencia simetrizada y a otras distancias estadísticas . La "divergencia dirigida" asimétrica se conoce como divergencia Kullback-Leibler, mientras que la "divergencia" simetrizada ahora se conoce como divergencia de Jeffreys . ${\displaystyle H_{1}}$ ${\displaystyle H_{2}}$ ${\displaystyle \mu _{1}}$ ${\displaystyle \mu _{1},\mu _{2}}$ ${\displaystyle H_{1},H_{2}}$ ${\displaystyle \mu _{1},\mu _{2}}$ ${\displaystyle I(1:2)}$ ${\displaystyle \mu _{1}}$ ${\displaystyle \mu _{2}}$ ${\displaystyle J(1,2)=I(1:2)+I(2:1)}$

Definición

Para distribuciones de probabilidad discretas P y Q definidas en el mismo espacio muestral , la entropía relativa de Q a P se define ^[11] como ${\displaystyle \ {\mathcal {X}}\ ,}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\ \log \left({\frac {\ P(x)\ }{Q(x)}}\right)\ ,}$

que es equivalente a

${\displaystyle D_{\text{KL}}(P\parallel Q)=-\sum _{x\in {\mathcal {X}}}P(x)\ \log \left({\frac {\ Q(x)\ }{P(x)}}\right)~.}$

En otras palabras, es la expectativa de la diferencia logarítmica entre las probabilidades P y Q , donde la expectativa se toma usando las probabilidades P.

La entropía relativa sólo se define de esta manera si, para todo x , implica ( continuidad absoluta ). De lo contrario, a menudo se define como , ^[1] pero el valor es posible incluso en todas partes, ^{[12] [13]} siempre que sea infinito en extensión. Comentarios análogos se aplican a los casos de medidas continuas y generales definidos a continuación. ${\displaystyle \ Q(x)=0\ }$ ${\displaystyle \ P(x)=0\ }$ ${\displaystyle +\infty }$ ${\displaystyle \ +\infty \ }$ ${\displaystyle \ Q(x)\neq 0\ }$ ${\displaystyle \ {\mathcal {X}}\ }$

Siempre que sea cero la contribución del término correspondiente se interpreta como cero porque ${\displaystyle \ P(x)\ }$

${\displaystyle \lim _{x\to 0^{+}}x\log(x)=0~.}$

Para las distribuciones P y Q de una variable aleatoria continua , la entropía relativa se define como la integral ^[14]

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{-\infty }^{\infty }p(x)\ \log \left({\frac {p(x)}{q(x)}}\right)\ \mathrm {d} \ \!x\ ,}$

donde p y q denotan las densidades de probabilidad de P y Q.

De manera más general, si P y Q son medidas de probabilidad en un espacio mensurable y P es absolutamente continua con respecto a Q , entonces la entropía relativa de Q a P se define como ${\displaystyle \ {\mathcal {X}}\ ,}$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}\ \log \left({\frac {P(\mathrm {d} \ \!x)}{Q(\mathrm {d} \ \!x)}}\right)\ P(\mathrm {d} \ \!x)\ ,}$

¿Dónde está la derivada Radon-Nikodym de P con respecto a Q , es decir, la única función Q definida en casi todas partes r tal que existe porque P es absolutamente continua con respecto a Q ? También asumimos que existe la expresión del lado derecho. De manera equivalente (según la regla de la cadena ), esto se puede escribir como ${\displaystyle \ {\frac {\ P(\mathrm {d} \ \!x)\ }{Q(\mathrm {d} \ \!x)\ }}}$ ${\displaystyle \ {\mathcal {X}}\ }$ ${\displaystyle \ P(\mathrm {d} \ \!x)=r(x)Q(\mathrm {d} \ \!x)\ }$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}{\frac {P(\mathrm {d} \ \!x)}{Q(\mathrm {d} \ \!x)}}\ \log \left({\frac {P(\mathrm {d} \ \!x)}{Q(\mathrm {d} \ \!x)}}\right)\ Q(\mathrm {d} \ \!x)\ ,}$

que es la entropía de P relativa a Q. Continuando en este caso, si hay alguna medida para la cual existen densidades p y q con y (lo que significa que P y Q son ambos absolutamente continuos con respecto a ), entonces la entropía relativa de Q a P está dada como ${\displaystyle \mu }$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle \ P(\mathrm {d} \ \!x)=p(x)\mu (\mathrm {d} \ \!x)\ }$ ${\displaystyle \ Q(\mathrm {d} \ \!x)=q(x)\mu (\mathrm {d} \ \!x)\ }$ ${\displaystyle \ \mu \ }$

${\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}p(x)\ \log \left({\frac {\ p(x)\ }{q(x)}}\right)\ \mu (\mathrm {d} \ \!x)~.}$

Tenga en cuenta que siempre existe una medida para la cual se pueden definir densidades, ya que se puede tomar, aunque en la práctica generalmente será una que en el contexto sea una medida de conteo para distribuciones discretas, o una medida de Lebesgue o una variante conveniente de la misma, como la medida gaussiana o la medida uniforme en la esfera , medida de Haar en un grupo de Lie , etc. para distribuciones continuas. Los logaritmos en estas fórmulas generalmente se llevan a base 2 si la información se mide en unidades de bits , o a base e si la información se mide en nats . La mayoría de las fórmulas que involucran entropía relativa se mantienen independientemente de la base del logaritmo. ${\displaystyle \mu }$ ${\displaystyle \ \mu ={\frac {1}{2}}\left(P+Q\right)\ }$

Existen varias convenciones para referirse a palabras. A menudo se hace referencia a esto como la divergencia entre P y Q , pero esto no logra transmitir la asimetría fundamental en la relación. A veces , como en este artículo, puede describirse como la divergencia de P de Q o como la divergencia de Q a P. Esto refleja la asimetría en la inferencia bayesiana , que comienza desde una Q anterior y se actualiza a la P posterior . Otra forma común de referirse es como la entropía relativa de P con respecto a Q o la ganancia de información de P sobre Q. ${\displaystyle \ D_{\text{KL}}(P\parallel Q)\ }$ ${\displaystyle \ D_{\text{KL}}(P\parallel Q)\ }$

Ejemplo básico

Kullback ^[3] da el siguiente ejemplo (Tabla 2.1, Ejemplo 2.1). Sean P y Q las distribuciones que se muestran en la tabla y la figura. P es la distribución en el lado izquierdo de la figura, una distribución binomial con y . Q es la distribución en el lado derecho de la figura, una distribución uniforme discreta con los tres resultados posibles ${\displaystyle N=2}$ ${\displaystyle p=0.4}$ ${\displaystyle x=}$ 0 ,1 ,2 (es decir ), cada uno con probabilidad . ${\displaystyle {\mathcal {X}}=\{0,1,2\}}$ ${\displaystyle p=1/3}$

Dos distribuciones para ilustrar la entropía relativa.

Las entropías relativas y se calculan de la siguiente manera. Este ejemplo utiliza el registro natural con base e , designado ln para obtener resultados en nats (ver unidades de información ): ${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle D_{\text{KL}}(Q\parallel P)}$

${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}P(x)\ln \left({\frac {P(x)}{Q(x)}}\right)\\&={\frac {9}{25}}\ln \left({\frac {9/25}{1/3}}\right)+{\frac {12}{25}}\ln \left({\frac {12/25}{1/3}}\right)+{\frac {4}{25}}\ln \left({\frac {4/25}{1/3}}\right)\\&={\frac {1}{25}}\left(32\ln(2)+55\ln(3)-50\ln(5)\right)\approx 0.0852996,\end{aligned}}}$

${\displaystyle {\begin{aligned}D_{\text{KL}}(Q\parallel P)&=\sum _{x\in {\mathcal {X}}}Q(x)\ln \left({\frac {Q(x)}{P(x)}}\right)\\&={\frac {1}{3}}\ln \left({\frac {1/3}{9/25}}\right)+{\frac {1}{3}}\ln \left({\frac {1/3}{12/25}}\right)+{\frac {1}{3}}\ln \left({\frac {1/3}{4/25}}\right)\\&={\frac {1}{3}}\left(-4\ln(2)-6\ln(3)+6\ln(5)\right)\approx 0.097455.\end{aligned}}}$

Interpretaciones

Estadísticas

En el campo de la estadística, el lema de Neyman-Pearson establece que la forma más poderosa de distinguir entre las dos distribuciones P y Q basándose en una observación Y (extraída de una de ellas) es a través del logaritmo de la razón de sus probabilidades: . La divergencia KL es el valor esperado de esta estadística si Y realmente se extrae de P. Kullback motivó la estadística como una relación de probabilidad logarítmica esperada. ^[15] ${\displaystyle \log P(Y)-\log Q(Y)}$

Codificación

En el contexto de la teoría de la codificación , se puede construir midiendo el número esperado de bits adicionales necesarios para codificar muestras de P utilizando un código optimizado para Q en lugar del código optimizado para P. ${\displaystyle D_{\text{KL}}(P\parallel Q)}$

Inferencia

En el contexto del aprendizaje automático , a menudo se le llama ganancia de información lograda si se usara P en lugar de Q que se usa actualmente. Por analogía con la teoría de la información, se denomina entropía relativa de P con respecto a Q. ${\displaystyle D_{\text{KL}}(P\parallel Q)}$

Expresado en el lenguaje de la inferencia bayesiana , es una medida de la información obtenida al revisar las creencias de uno desde la distribución de probabilidad anterior Q a la distribución de probabilidad posterior P. En otras palabras, es la cantidad de información que se pierde cuando se utiliza Q para aproximar P. ^[dieciséis] ${\displaystyle D_{\text{KL}}(P\parallel Q)}$

Geometría de la información

En las aplicaciones, P normalmente representa la distribución "verdadera" de datos, observaciones o una distribución teórica calculada con precisión, mientras que Q normalmente representa una teoría, modelo, descripción o aproximación de P. Para encontrar una distribución Q que sea la más cercana a P , podemos minimizar la divergencia KL y calcular una proyección de información .

Si bien es una distancia estadística , no es una métrica , el tipo de distancia más familiar, sino que es una divergencia . ^[4] Mientras que las métricas son simétricas y generalizan la distancia lineal , satisfaciendo la desigualdad del triángulo , las divergencias son asimétricas y generalizan la distancia al cuadrado , satisfaciendo en algunos casos un teorema de Pitágoras generalizado . En general no es igual , y la asimetría es una parte importante de la geometría. ^[4] La forma infinitesimal de entropía relativa, específicamente su hessiana , da un tensor métrico que es igual a la métrica de información de Fisher ; ver § Métrica de información de Fisher. La entropía relativa satisface un teorema de Pitágoras generalizado para familias exponenciales (interpretadas geométricamente como variedades dualmente planas ), y esto permite minimizar la entropía relativa por medios geométricos, por ejemplo mediante proyección de información y estimación de máxima verosimilitud . ^[5] ${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle D_{\text{KL}}(Q\parallel P)}$

La entropía relativa es la divergencia de Bregman generada por la entropía negativa, pero también tiene la forma de una divergencia f . Para probabilidades sobre un alfabeto finito , es único por ser miembro de ambas clases de divergencias estadísticas .

Finanzas (teoría de juegos)

Consideremos un inversor que optimiza el crecimiento en un juego limpio con resultados mutuamente excluyentes (por ejemplo, una “carrera de caballos” en la que las probabilidades oficiales suman uno). La tasa de rendimiento esperada por dicho inversor es igual a la entropía relativa entre las probabilidades que cree el inversor y las probabilidades oficiales. ^[17] Éste es un caso especial de una conexión mucho más general entre los rendimientos financieros y las medidas de divergencia. ^[18]

Los riesgos financieros están conectados a través de la geometría de la información. ^[19] Las opiniones de los inversores, la opinión predominante en el mercado y los escenarios de riesgo forman triángulos en la correspondiente variedad de distribuciones de probabilidad. La forma de los triángulos determina los riesgos financieros clave (tanto cualitativa como cuantitativamente). Por ejemplo, los triángulos obtusos en los que las opiniones de los inversores y los escenarios de riesgo aparecen en "lados opuestos" en relación con el mercado describen riesgos negativos, los triángulos agudos describen una exposición positiva y la situación en ángulo recto en el medio corresponde a riesgo cero. ${\displaystyle D_{\text{KL}}}$

Motivación

Ilustración de la entropía relativa de dos distribuciones normales . La asimetría típica es claramente visible.

En teoría de la información, el teorema de Kraft-McMillan establece que cualquier esquema de codificación directamente decodificable para codificar un mensaje para identificar un valor de un conjunto de posibilidades X puede verse como una representación de una distribución de probabilidad implícita sobre X , donde es la longitud del código. por en pedazos. Por lo tanto, la entropía relativa puede interpretarse como la longitud adicional esperada del mensaje por dato que debe comunicarse si se usa un código que es óptimo para una distribución Q dada (incorrecta) , en comparación con el uso de un código basado en la distribución verdadera P : es el exceso de entropía. ${\displaystyle x_{i}}$ ${\displaystyle q(x_{i})=2^{-\ell _{i}}}$ ${\displaystyle \ell _{i}}$ ${\displaystyle x_{i}}$

${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{q(x)}}-\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{p(x)}}\\[5pt]&=\mathrm {H} (P,Q)-\mathrm {H} (P)\end{aligned}}}$

donde es la entropía cruzada de P y Q , y es la entropía de P (que es la misma que la entropía cruzada de P consigo mismo). ${\displaystyle \mathrm {H} (P,Q)}$ ${\displaystyle \mathrm {H} (P)}$

La entropía relativa puede considerarse geométricamente como una distancia estadística , una medida de qué tan lejos está la distribución Q de la distribución P. Geométricamente es una divergencia : una forma asimétrica y generalizada de distancia al cuadrado. La entropía cruzada es en sí misma una medida de este tipo (formalmente una función de pérdida ), pero no puede considerarse como una distancia, ya que no es cero. Esto se puede solucionar restando para que coincida más con nuestra noción de distancia, como pérdida excesiva . La función resultante es asimétrica y, si bien se puede simetrizar (ver § Divergencia simetrizada), la forma asimétrica es más útil. Consulte § Interpretaciones para obtener más información sobre la interpretación geométrica. ${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle H(P,Q)}$ ${\displaystyle H(P,P)=:H(P)}$ ${\displaystyle H(P)}$ ${\displaystyle D_{\text{KL}}(P\parallel Q)}$

La entropía relativa se relaciona con la " función de tasa " en la teoría de las grandes desviaciones . ^{[20] [21]}

Arthur Hobson demostró que la entropía relativa es la única medida de diferencia entre distribuciones de probabilidad que satisface algunas propiedades deseadas, que son la extensión canónica de las que aparecen en una caracterización de entropía comúnmente utilizada . ^[22] En consecuencia, la información mutua es la única medida de dependencia mutua que obedece a ciertas condiciones relacionadas, ya que puede definirse en términos de la divergencia Kullback-Leibler .

Propiedades

• La entropía relativa siempre es no negativa .
  $${\displaystyle D_{\text{KL}}(P\parallel Q)\geq 0,}$$
  un resultado conocido como desigualdad de Gibbs , con iguales a cero si y sólo si como medidas. ${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle P=Q}$

En particular, si y , entonces , en casi todas partes . La entropía establece así un valor mínimo para la entropía cruzada , el número esperado de bits necesarios cuando se utiliza un código basado en Q en lugar de P ; y la divergencia Kullback-Leibler, por lo tanto, representa el número esperado de bits adicionales que deben transmitirse para identificar un valor x extraído de X , si se utiliza un código correspondiente a la distribución de probabilidad Q , en lugar de la distribución "verdadera " P. ${\displaystyle P(dx)=p(x)\mu (dx)}$ ${\displaystyle Q(dx)=q(x)\mu (dx)}$ ${\displaystyle p(x)=q(x)}$ ${\displaystyle \mu }$ ${\displaystyle \mathrm {H} (P)}$ ${\displaystyle \mathrm {H} (P,Q)}$

• No existe ningún límite superior para el caso general. Sin embargo, se muestra que si P y Q son dos distribuciones de probabilidad discretas construidas distribuyendo la misma cantidad discreta, entonces se puede calcular el valor máximo de. ^[23] ${\displaystyle D_{\text{KL}}(P\parallel Q)}$
• La entropía relativa permanece bien definida para distribuciones continuas y, además, es invariante bajo transformaciones de parámetros . Por ejemplo, si se realiza una transformación de la variable x a la variable , entonces, dado que y dónde está el valor absoluto de la derivada o, más generalmente, del jacobiano , la entropía relativa puede reescribirse: ${\displaystyle y(x)}$ ${\displaystyle P(dx)=p(x)\,dx={\tilde {p}}(y)\,dy={\tilde {p}}(y(x))|{\tfrac {dy}{dx}}(x)|\,dx}$ ${\displaystyle Q(dx)=q(x)\,dx={\tilde {q}}(y)\,dy={\tilde {q}}(y)|{\tfrac {dy}{dx}}(x)|dx}$ ${\displaystyle |{\tfrac {dy}{dx}}(x)|}$
  $${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\int _{x_{a}}^{x_{b}}p(x)\log \left({\frac {p(x)}{q(x)}}\right)\,dx\\[6pt]&=\int _{x_{a}}^{x_{b}}{\tilde {p}}(y(x))|{\frac {dy}{dx}}(x)|\log \left({\frac {{\tilde {p}}(y(x))\,|{\frac {dy}{dx}}(x)|}{{\tilde {q}}(y(x))\,|{\frac {dy}{dx}}(x)|}}\right)\,dx\\&=\int _{y_{a}}^{y_{b}}{\tilde {p}}(y)\log \left({\frac {{\tilde {p}}(y)}{{\tilde {q}}(y)}}\right)\,dy\end{aligned}}}$$
  dónde y . Aunque se suponía que la transformación era continua, no tenía por qué ser así. Esto también muestra que la entropía relativa produce una cantidad dimensionalmente consistente , ya que si x es una variable dimensionada, y también están dimensionadas, ya que, por ejemplo, no tiene dimensiones. El argumento del término logarítmico es y sigue siendo adimensional, como debe ser. Por lo tanto, puede verse en cierto modo como una cantidad más fundamental que algunas otras propiedades de la teoría de la información ^[24] (como la autoinformación o la entropía de Shannon ), que pueden volverse indefinidas o negativas para probabilidades no discretas. ${\displaystyle y_{a}=y(x_{a})}$ ${\displaystyle y_{b}=y(x_{b})}$ ${\displaystyle p(x)}$ ${\displaystyle q(x)}$ ${\displaystyle P(dx)=p(x)\,dx}$
• La entropía relativa es aditiva para distribuciones independientes de la misma manera que la entropía de Shannon. Si son distribuciones independientes, y , y lo mismo para distribuciones independientes , entonces ${\displaystyle P_{1},P_{2}}$ ${\displaystyle P(dx,dy)=P_{1}(dx)P_{2}(dy)}$ ${\displaystyle Q(dx,dy)=Q_{1}(dx)Q_{2}(dy)}$ ${\displaystyle Q_{1},Q_{2}}$
  $${\displaystyle D_{\text{KL}}(P\parallel Q)=D_{\text{KL}}(P_{1}\parallel Q_{1})+D_{\text{KL}}(P_{2}\parallel Q_{2}).}$$
• La entropía relativa es convexa en el par de medidas de probabilidad , es decir, si y son dos pares de medidas de probabilidad, entonces ${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle (P,Q)}$ ${\displaystyle (P_{1},Q_{1})}$ ${\displaystyle (P_{2},Q_{2})}$
  $${\displaystyle D_{\text{KL}}(\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2})\leq \lambda D_{\text{KL}}(P_{1}\parallel Q_{1})+(1-\lambda )D_{\text{KL}}(P_{2}\parallel Q_{2}){\text{ for }}0\leq \lambda \leq 1.}$$
• ${\displaystyle D_{\text{KL}}(P\parallel Q)}$puede expandirse Taylor alrededor de su mínimo (es decir , ) como ${\displaystyle P=Q}$
  $${\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}}$$
  que converge si y sólo si casi seguramente wrt . ${\displaystyle P\leq 2Q}$ ${\displaystyle Q}$

[Prueba]

Denota y observa que . La primera derivada de puede derivarse y evaluarse de la siguiente manera ${\displaystyle f(\alpha ):=D_{\text{KL}}((1-\alpha )Q+\alpha P\parallel Q)}$ ${\displaystyle D_{\text{KL}}(P\parallel Q)=f(1)}$ ${\displaystyle f}$

$${\displaystyle {\begin{aligned}f'(\alpha )&=\sum _{x\in {\mathcal {X}}}(P(x)-Q(x))\left(\log \left({\frac {(1-\alpha )Q(x)+\alpha P(x)}{Q(x)}}\right)+1\right)\\&=\sum _{x\in {\mathcal {X}}}(P(x)-Q(x))\log \left({\frac {(1-\alpha )Q(x)+\alpha P(x)}{Q(x)}}\right)\\f'(0)&=0\end{aligned}}}$$

Se pueden derivar y evaluar más derivados de la siguiente manera

$${\displaystyle {\begin{aligned}f''(\alpha )&=\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{2}}{(1-\alpha )Q(x)+\alpha P(x)}}\\f''(0)&=\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{2}}{Q(x)}}\\f^{(n)}(\alpha )&=(-1)^{n}(n-2)!\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{n}}{\left((1-\alpha )Q(x)+\alpha P(x)\right)^{n-1}}}\\f^{(n)}(0)&=(-1)^{n}(n-2)!\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{n}}{Q(x)^{n-1}}}\end{aligned}}}$$

Por lo tanto, resolviendo mediante la expansión de Taylor de aproximadamente evaluado con rendimientos ${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle f}$ ${\displaystyle 0}$ ${\displaystyle \alpha =1}$

$${\displaystyle {\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{n=0}^{\infty }{\frac {f^{(n)}(0)}{n!}}\\&=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}\end{aligned}}}$$

${\displaystyle P\leq 2Q}$como es una condición suficiente para la convergencia de la serie según el siguiente argumento de convergencia absoluta

$${\displaystyle {\begin{aligned}\sum _{n=2}^{\infty }\left\vert {\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}\right\vert &=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}\left\vert Q(x)-P(x)\right\vert \left\vert 1-{\frac {P(x)}{Q(x)}}\right\vert ^{n-1}\\&\leq \sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}\left\vert Q(x)-P(x)\right\vert \\&\leq \sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\\&=1\end{aligned}}}$$

${\displaystyle P\leq 2Q}$como también es condición necesaria para la convergencia de la serie mediante la siguiente prueba por contradicción. Supongamos que con una medida estrictamente mayor que . Entonces se deduce que deben existir algunos valores , , y tales que y con medida . La prueba de suficiencia anterior demostró que el componente de medida de la serie donde está acotado, por lo que sólo debemos preocuparnos por el comportamiento del componente de medida de la serie donde . El valor absoluto del término ésimo de este componente de la serie está entonces acotado inferior por , que no está acotado como , por lo que la serie diverge. ${\displaystyle P>2Q}$ ${\displaystyle 0}$ ${\displaystyle \epsilon >0}$ ${\displaystyle \rho >0}$ ${\displaystyle U<\infty }$ ${\displaystyle P\geq 2Q+\epsilon }$ ${\displaystyle Q\leq U}$ ${\displaystyle \rho }$ ${\displaystyle 1-\rho }$ ${\displaystyle P\leq 2Q}$ ${\displaystyle \rho }$ ${\displaystyle P\geq 2Q+\epsilon }$ ${\displaystyle n}$ ${\displaystyle {\frac {1}{n(n-1)}}\rho \left(1+{\frac {\epsilon }{U}}\right)^{n}}$ ${\displaystyle n\to \infty }$

Fórmula de dualidad para la inferencia variacional.

El siguiente resultado, debido a Donsker y Varadhan, ^[25] se conoce como fórmula variacional de Donsker y Varadhan .

Teorema [Fórmula de dualidad para la inferencia variacional]  -  Seacampoapropiadoy dos medidas de probabilidad P y Q , que formulan dos espacios de probabilidad y, con. (indica que Q es absolutamente continua con respecto a P .) Sea h una variable aleatoria integrable de valor realen. Entonces se cumple la siguiente igualdad ${\displaystyle \Theta }$ ${\displaystyle \sigma }$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle (\Theta ,{\mathcal {F}},P)}$ ${\displaystyle (\Theta ,{\mathcal {F}},Q)}$ ${\displaystyle Q\ll P}$ ${\displaystyle Q\ll P}$ ${\displaystyle (\Theta ,{\mathcal {F}},P)}$

${\displaystyle \log E_{P}[\exp h]={\text{sup}}_{Q\ll P}\{E_{Q}[h]-D_{\text{KL}}(Q\parallel P)\}.}$

Además, el supremo del lado derecho se alcanza si y sólo si se cumple

${\displaystyle {\frac {Q(d\theta )}{P(d\theta )}}={\frac {\exp h(\theta )}{E_{P}[\exp h]}},}$

casi seguramente con respecto a la medida de probabilidad P , donde denota la derivada radón-Nikodym de Q con respecto a P . ${\displaystyle {\frac {Q(d\theta )}{P(d\theta )}}}$

Prueba

Para una prueba breve asumiendo integrabilidad de con respecto a P , tengamos P -densidad , es decir, entonces ${\displaystyle \exp(h)}$ ${\displaystyle Q^{*}}$ ${\displaystyle {\frac {\exp h(\theta )}{E_{P}[\exp h]}}}$ ${\displaystyle Q^{*}(d\theta )={\frac {\exp h(\theta )}{E_{P}[\exp h]}}P(d\theta )}$

${\displaystyle D_{\text{KL}}(Q\parallel Q^{*})-D_{\text{KL}}(Q\parallel P)=-E_{Q}[h]+\log E_{P}[\exp h].}$

Por lo tanto,

${\displaystyle E_{Q}[h]-D_{\text{KL}}(Q\parallel P)=\log E_{P}[\exp h]-D_{\text{KL}}(Q\parallel Q^{*})\leq \log E_{P}[\exp h],}$

de donde se sigue la última desigualdad , para la cual la igualdad ocurre si y solo si . La conclusión sigue. ${\displaystyle D_{\text{KL}}(Q\parallel Q^{*})\geq 0}$ ${\displaystyle Q=Q^{*}}$

Para una prueba alternativa utilizando la teoría de la medida , consulte. ^[26]

Ejemplos

Distribuciones normales multivariadas

Supongamos que tenemos dos distribuciones normales multivariadas , con medias y con matrices de covarianza (no singulares). Si las dos distribuciones tienen la misma dimensión, k , entonces la entropía relativa entre las distribuciones es la siguiente: ^[27] ${\displaystyle \mu _{0},\mu _{1}}$ ${\displaystyle \Sigma _{0},\Sigma _{1}.}$

${\displaystyle D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left(\operatorname {tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)-k+\left(\mu _{1}-\mu _{0}\right)^{\mathsf {T}}\Sigma _{1}^{-1}\left(\mu _{1}-\mu _{0}\right)+\ln \left({\frac {\det \Sigma _{1}}{\det \Sigma _{0}}}\right)\right).}$

El logaritmo en el último término debe tomarse en base e, ya que todos los términos, excepto el último, son logaritmos en base e de expresiones que son factores de la función de densidad o que surgen de forma natural. Por tanto, la ecuación da un resultado medido en nats . Al dividir toda la expresión anterior por se obtiene la divergencia en bits . ${\displaystyle \ln(2)}$

En una implementación numérica, es útil expresar el resultado en términos de descomposiciones de Cholesky tales que y . Luego con M e y soluciones a los sistemas lineales triangulares , y , ${\displaystyle L_{0},L_{1}}$ ${\displaystyle \Sigma _{0}=L_{0}L_{0}^{T}}$ ${\displaystyle \Sigma _{1}=L_{1}L_{1}^{T}}$ ${\displaystyle L_{1}M=L_{0}}$ ${\displaystyle L_{1}y=\mu _{1}-\mu _{0}}$

${\displaystyle D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left(\sum _{i,j=1}^{k}(M_{ij})^{2}-k+|y|^{2}+2\sum _{i=1}^{k}\ln {\frac {(L_{1})_{ii}}{(L_{0})_{ii}}}\right).}$

Un caso especial, y una cantidad común en la inferencia variacional , es la entropía relativa entre una distribución normal multivariada diagonal y una distribución normal estándar (con media cero y varianza unitaria):

${\displaystyle D_{\text{KL}}\left({\mathcal {N}}\left(\left(\mu _{1},\ldots ,\mu _{k}\right)^{\mathsf {T}},\operatorname {diag} \left(\sigma _{1}^{2},\ldots ,\sigma _{k}^{2}\right)\right)\parallel {\mathcal {N}}\left(\mathbf {0} ,\mathbf {I} \right)\right)={1 \over 2}\sum _{i=1}^{k}\left(\sigma _{i}^{2}+\mu _{i}^{2}-1-\ln \left(\sigma _{i}^{2}\right)\right).}$

Para dos distribuciones normales univariadas p y q lo anterior se simplifica a ^[28]

${\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log {\frac {\sigma _{1}}{\sigma _{0}}}+{\frac {\sigma _{0}^{2}+(\mu _{0}-\mu _{1})^{2}}{2\sigma _{1}^{2}}}-{\frac {1}{2}}}$

En el caso de distribuciones normales cocéntricas con , esto se simplifica ^[29] a: ${\displaystyle k=\sigma _{1}/\sigma _{0}}$

${\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log _{2}k+(k^{-2}-1)/2/\ln(2)\mathrm {bits} }$

Distribuciones uniformes

Considere dos distribuciones uniformes, con el apoyo de encerrado dentro de ( ). Entonces la ganancia de información es: ${\displaystyle p=[A,B]}$ ${\displaystyle q=[C,D]}$ ${\displaystyle C\leq A<B\leq D}$

${\displaystyle D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log {\frac {D-C}{B-A}}}$

Intuitivamente, ^[29] la ganancia de información a una distribución uniforme k veces más estrecha contiene bits. Esto se relaciona con el uso de bits en informática, donde se necesitarían bits para identificar un elemento de un flujo de k longitud. ${\displaystyle \log _{2}k}$ ${\displaystyle \log _{2}k}$

Relación con las métricas

Si bien la entropía relativa es una distancia estadística , no es una métrica en el espacio de distribuciones de probabilidad, sino que es una divergencia . ^[4] Mientras que las métricas son simétricas y generalizan la distancia lineal , satisfaciendo la desigualdad del triángulo , las divergencias son asimétricas en general y generalizan la distancia al cuadrado , satisfaciendo en algunos casos un teorema de Pitágoras generalizado . En general no es igual , y si bien esto se puede simetrizar (ver § Divergencia simetrizada), la asimetría es una parte importante de la geometría. ^[4] ${\displaystyle D_{\text{KL}}(P\parallel Q)}$ ${\displaystyle D_{\text{KL}}(Q\parallel P)}$

Genera una topología en el espacio de distribuciones de probabilidad . Más concretamente, si es una secuencia de distribuciones tal que ${\displaystyle \{P_{1},P_{2},\ldots \}}$

${\displaystyle \lim _{n\to \infty }D_{\text{KL}}(P_{n}\parallel Q)=0}$,

entonces se dice que

${\displaystyle P_{n}{\xrightarrow {D}}Q}$.

La desigualdad de Pinsker implica que

${\displaystyle P_{n}\xrightarrow {D} P\Rightarrow P_{n}\xrightarrow {TV} P}$,

donde este último representa la convergencia habitual en la variación total .

Métrica de información de Fisher

La entropía relativa está directamente relacionada con la métrica de información de Fisher . Esto se puede hacer explícito de la siguiente manera. Supongamos que las distribuciones de probabilidad P y Q están parametrizadas por algún parámetro (posiblemente multidimensional) . Consideremos entonces dos valores cercanos de y de modo que el parámetro difiera sólo una pequeña cantidad del valor del parámetro . Específicamente, hasta el primer orden se tiene (usando la convención de suma de Einstein ) ${\displaystyle \theta }$ ${\displaystyle P=P(\theta )}$ ${\displaystyle Q=P(\theta _{0})}$ ${\displaystyle \theta }$ ${\displaystyle \theta _{0}}$

${\displaystyle P(\theta )=P(\theta _{0})+\Delta \theta _{j}\,P_{j}(\theta _{0})+\cdots }$

con un pequeño cambio en la dirección j y la correspondiente tasa de cambio en la distribución de probabilidad. Dado que la entropía relativa tiene un mínimo absoluto de 0 para , es decir , cambia sólo al segundo orden en los parámetros pequeños . Más formalmente, como para cualquier mínimo, las primeras derivadas de la divergencia desaparecen ${\displaystyle \Delta \theta _{j}=(\theta -\theta _{0})_{j}}$ ${\displaystyle \theta }$ ${\displaystyle P_{j}\left(\theta _{0}\right)={\frac {\partial P}{\partial \theta _{j}}}(\theta _{0})}$ ${\displaystyle P=Q}$ ${\displaystyle \theta =\theta _{0}}$ ${\displaystyle \Delta \theta _{j}}$

${\displaystyle \left.{\frac {\partial }{\partial \theta _{j}}}\right|_{\theta =\theta _{0}}D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))=0,}$

y por la expansión de Taylor se tiene hasta segundo orden

${\displaystyle D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))={\frac {1}{2}}\,\Delta \theta _{j}\,\Delta \theta _{k}\,g_{jk}(\theta _{0})+\cdots }$

donde la matriz hessiana de la divergencia

${\displaystyle g_{jk}(\theta _{0})=\left.{\frac {\partial ^{2}}{\partial \theta _{j}\,\partial \theta _{k}}}\right|_{\theta =\theta _{0}}D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))}$

debe ser semidefinido positivo . Dejando variar (y eliminando el subíndice 0), el hessiano define una métrica de Riemann (posiblemente degenerada) en el espacio de parámetros θ , llamada métrica de información de Fisher. ${\displaystyle \theta _{0}}$ ${\displaystyle g_{jk}(\theta )}$

Teorema de la métrica de información de Fisher

Cuando se cumplan las siguientes condiciones de regularidad: ${\displaystyle p_{(x,\rho )}}$

${\displaystyle {\frac {\partial \log(p)}{\partial \rho }},{\frac {\partial ^{2}\log(p)}{\partial \rho ^{2}}},{\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}}$existir,

${\displaystyle {\begin{aligned}\left|{\frac {\partial p}{\partial \rho }}\right|&<F(x):\int _{x=0}^{\infty }F(x)\,dx<\infty ,\\\left|{\frac {\partial ^{2}p}{\partial \rho ^{2}}}\right|&<G(x):\int _{x=0}^{\infty }G(x)\,dx<\infty \\\left|{\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}\right|&<H(x):\int _{x=0}^{\infty }p(x,0)H(x)\,dx<\xi <\infty \end{aligned}}}$

donde ξ es independiente de ρ

${\displaystyle \left.\int _{x=0}^{\infty }{\frac {\partial p(x,\rho )}{\partial \rho }}\right|_{\rho =0}\,dx=\left.\int _{x=0}^{\infty }{\frac {\partial ^{2}p(x,\rho )}{\partial \rho ^{2}}}\right|_{\rho =0}\,dx=0}$

entonces:

${\displaystyle {\mathcal {D}}(p(x,0)\parallel p(x,\rho ))={\frac {c\rho ^{2}}{2}}+{\mathcal {O}}\left(\rho ^{3}\right){\text{ as }}\rho \to 0.}$

Variación de información

Otra métrica de la teoría de la información es la variación de la información , que es aproximadamente una simetrización de la entropía condicional . Es una métrica sobre el conjunto de particiones de un espacio de probabilidad discreto .

Relación con otras cantidades de la teoría de la información.

Muchas de las otras cantidades de la teoría de la información pueden interpretarse como aplicaciones de entropía relativa a casos específicos.

Autoinformación

La autoinformación , también conocida como contenido de información de una señal, variable aleatoria o evento, se define como el logaritmo negativo de la probabilidad de que ocurra un resultado dado.

Cuando se aplica a una variable aleatoria discreta , la autoinformación se puede representar como ^{[ cita necesaria ]}

${\displaystyle \operatorname {\operatorname {I} } (m)=D_{\text{KL}}\left(\delta _{\text{im}}\parallel \{p_{i}\}\right),}$

es la entropía relativa de la distribución de probabilidad de un delta de Kronecker que representa la certeza de que , es decir, el número de bits adicionales que deben transmitirse para identificar i si sólo la distribución de probabilidad está disponible para el receptor, no el hecho de que . ${\displaystyle P(i)}$ ${\displaystyle i=m}$ ${\displaystyle P(i)}$ ${\displaystyle i=m}$

Información mutua

La información mutua ,

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&=D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))\\[5pt]&=\operatorname {E} _{X}\{D_{\text{KL}}(P(Y\mid X)\parallel P(Y))\}\\[5pt]&=\operatorname {E} _{Y}\{D_{\text{KL}}(P(X\mid Y)\parallel P(X))\}\end{aligned}}}$

es la entropía relativa de la distribución de probabilidad conjunta del producto de las dos distribuciones de probabilidad marginal , es decir, el número esperado de bits adicionales que deben transmitirse para identificar X e Y si se codifican utilizando sólo sus distribuciones marginales en lugar de la distribución conjunta. De manera equivalente, si se conoce la probabilidad conjunta , es el número esperado de bits adicionales que deben enviarse en promedio para identificar Y si el receptor aún no conoce el valor de X. ${\displaystyle P(X,Y)}$ ${\displaystyle P(X)P(Y)}$ ${\displaystyle P(X,Y)}$

Entropía de Shannon

La entropía de Shannon ,

${\displaystyle {\begin{aligned}\mathrm {H} (X)&=\operatorname {E} \left[\operatorname {I} _{X}(x)\right]\\&=\log(N)-D_{\text{KL}}\left(p_{X}(x)\parallel P_{U}(X)\right)\end{aligned}}}$

es el número de bits que tendrían que transmitirse para identificar X entre N posibilidades igualmente probables, menos la entropía relativa de la distribución uniforme en las variables aleatorias de X , , de la distribución verdadera , es decir, menos el número esperado de bits guardados, que habría tenido que enviarse si el valor de X estuviera codificado según la distribución uniforme en lugar de la distribución verdadera . Esta definición de entropía de Shannon forma la base de la generalización alternativa de ET Jaynes a las distribuciones continuas, la densidad límite de puntos discretos (a diferencia de la entropía diferencial habitual ), que define la entropía continua como ${\displaystyle P_{U}(X)}$ ${\displaystyle P(X)}$ ${\displaystyle P_{U}(X)}$ ${\displaystyle P(X)}$

${\displaystyle \lim _{N\rightarrow \infty }H_{N}(X)=\log(N)-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx,}$

que equivale a:

${\displaystyle \log(N)-D_{\text{KL}}(p(x)||m(x))}$

Entropía condicional

La entropía condicional ^[30] ,

${\displaystyle {\begin{aligned}\mathrm {H} (X\mid Y)&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P_{U}(X)P(Y))\\[5pt]&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\text{KL}}(P(X)\parallel P_{U}(X))\\[5pt]&=\mathrm {H} (X)-\operatorname {I} (X;Y)\\[5pt]&=\log(N)-\operatorname {E} _{Y}\left[D_{\text{KL}}\left(P\left(X\mid Y\right)\parallel P_{U}(X)\right)\right]\end{aligned}}}$

es el número de bits que tendrían que transmitirse para identificar X entre N posibilidades igualmente probables, menos la entropía relativa de la distribución del producto de la distribución conjunta verdadera , es decir, menos el número esperado de bits guardados que habrían tenido que enviarse si el valor de X se codificó de acuerdo con la distribución uniforme en lugar de la distribución condicional de X dado Y. ${\displaystyle P_{U}(X)P(Y)}$ ${\displaystyle P(X,Y)}$ ${\displaystyle P_{U}(X)}$ ${\displaystyle P(X|Y)}$

Entropía cruzada

Cuando tenemos un conjunto de eventos posibles, provenientes de la distribución p , podemos codificarlos (con una compresión de datos sin pérdidas ) usando codificación de entropía . Esto comprime los datos reemplazando cada símbolo de entrada de longitud fija con un código único, de longitud variable y sin prefijos (por ejemplo: los eventos (A, B, C) con probabilidades p = (1/2, 1/4, 1/4) se puede codificar como los bits (0, 10, 11)). Si conocemos la distribución p de antemano, podemos diseñar una codificación que sea óptima (por ejemplo, usando la codificación de Huffman ). Lo que significa que los mensajes que codificamos tendrán la longitud más corta en promedio (asumiendo que los eventos codificados se muestrean a partir de p ), lo que será igual a la entropía de Shannon de p (denotada como ). Sin embargo, si utilizamos una distribución de probabilidad diferente ( q ) al crear el esquema de codificación de entropía, entonces se utilizará una mayor cantidad de bits (en promedio) para identificar un evento entre un conjunto de posibilidades. Este nuevo número (más grande) se mide por la entropía cruzada entre p y q . ${\displaystyle \mathrm {H} (p)}$

La entropía cruzada entre dos distribuciones de probabilidad ( p y q ) mide el número promedio de bits necesarios para identificar un evento entre un conjunto de posibilidades, si se utiliza un esquema de codificación basado en una distribución de probabilidad q determinada , en lugar de la distribución "verdadera". pag . La entropía cruzada para dos distribuciones p y q en el mismo espacio de probabilidad se define de la siguiente manera.

${\displaystyle \mathrm {H} (p,q)=\operatorname {E} _{p}[-\log(q)]=\mathrm {H} (p)+D_{\text{KL}}(p\parallel q).}$

Para obtener una derivación explícita de esto, consulte la sección Motivación anterior.

En este escenario, las entropías relativas (kl-divergencia) se pueden interpretar como la cantidad adicional de bits, en promedio, que se necesitan (más allá de ) para codificar los eventos debido al uso de q para construir el esquema de codificación en lugar de p . ${\displaystyle \mathrm {H} (p)}$

actualización bayesiana

En la estadística bayesiana , la entropía relativa se puede utilizar como medida de la ganancia de información al pasar de una distribución anterior a una distribución posterior : . Si se descubre algún hecho nuevo , se puede utilizar para actualizar la distribución posterior de X a una nueva distribución posterior utilizando el teorema de Bayes : ${\displaystyle p(x)\to p(x\mid I)}$ ${\displaystyle Y=y}$ ${\displaystyle p(x\mid I)}$ ${\displaystyle p(x\mid y,I)}$

${\displaystyle p(x\mid y,I)={\frac {p(y\mid x,I)p(x\mid I)}{p(y\mid I)}}}$

Esta distribución tiene una nueva entropía :

${\displaystyle \mathrm {H} {\big (}p(x\mid y,I){\big )}=-\sum _{x}p(x\mid y,I)\log p(x\mid y,I),}$

que puede ser menor o mayor que la entropía original . Sin embargo, desde el punto de vista de la nueva distribución de probabilidad se puede estimar que de haber utilizado el código original basado en en lugar de un nuevo código basado en se habría añadido un número esperado de bits: ${\displaystyle \mathrm {H} (p(x\mid I))}$ ${\displaystyle p(x\mid I)}$ ${\displaystyle p(x\mid y,I)}$

${\displaystyle D_{\text{KL}}{\big (}p(x\mid y,I)\parallel p(x\mid I){\big )}=\sum _{x}p(x\mid y,I)\log \left({\frac {p(x\mid y,I)}{p(x\mid I)}}\right)}$

a la longitud del mensaje. Por lo tanto, esto representa la cantidad de información útil, o ganancia de información, sobre X , que se ha aprendido al descubrir . ${\displaystyle Y=y}$

Si posteriormente llega otro dato , la distribución de probabilidad de x se puede actualizar aún más, para dar una nueva mejor estimación . Si uno vuelve a investigar la ganancia de información por usar en lugar de , resulta que puede ser mayor o menor que lo estimado previamente: ${\displaystyle Y_{2}=y_{2}}$ ${\displaystyle p(x\mid y_{1},y_{2},I)}$ ${\displaystyle p(x\mid y_{1},I)}$ ${\displaystyle p(x\mid I)}$

${\displaystyle \sum _{x}p(x\mid y_{1},y_{2},I)\log \left({\frac {p(x\mid y_{1},y_{2},I)}{p(x\mid I)}}\right)}$puede ser ≤ o > que ${\displaystyle \displaystyle \sum _{x}p(x\mid y_{1},I)\log \left({\frac {p(x\mid y_{1},I)}{p(x\mid I)}}\right)}$

y entonces la ganancia de información combinada no obedece a la desigualdad del triángulo:

${\displaystyle D_{\text{KL}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid I){\big )}}$puede ser <, = o > que ${\displaystyle D_{\text{KL}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid y_{1},I){\big )}+D_{\text{KL}}{\big (}p(x\mid y_{1},I)\parallel p(x\mid I){\big )}}$

Todo lo que se puede decir es que en promedio , al promediar usando , las dos partes promediarán. ${\displaystyle p(y_{2}\mid y_{1},x,I)}$

Diseño experimental bayesiano

Un objetivo común en el diseño experimental bayesiano es maximizar la entropía relativa esperada entre el anterior y el posterior. ^[31] Cuando las distribuciones posteriores se aproximan a distribuciones gaussianas, un diseño que maximiza la entropía relativa esperada se denomina Bayes d-óptimo .

Información sobre discriminación

La entropía relativa también se puede interpretar como la información de discriminación esperada para más : la información media por muestra para discriminar a favor de una hipótesis contra una hipótesis , cuando la hipótesis es verdadera. ^[32] Otro nombre para esta cantidad, que le dio IJ Good , es el peso esperado de la evidencia para el exceso que se espera de cada muestra. ${\textstyle D_{\text{KL}}{\bigl (}p(x\mid H_{1})\parallel p(x\mid H_{0}){\bigr )}}$ ${\displaystyle H_{1}}$ ${\displaystyle H_{0}}$ ${\displaystyle H_{1}}$ ${\displaystyle H_{0}}$ ${\displaystyle H_{1}}$ ${\displaystyle H_{1}}$ ${\displaystyle H_{0}}$

El peso esperado de la evidencia para over no es el mismo que la ganancia de información esperada por muestra sobre la distribución de probabilidad de las hipótesis. ${\displaystyle H_{1}}$ ${\displaystyle H_{0}}$ ${\displaystyle p(H)}$

${\displaystyle D_{\text{KL}}(p(x\mid H_{1})\parallel p(x\mid H_{0}))\neq IG=D_{\text{KL}}(p(H\mid x)\parallel p(H\mid I)).}$

Cualquiera de las dos cantidades puede usarse como función de utilidad en el diseño experimental bayesiano, para elegir la siguiente pregunta óptima a investigar, pero en general conducirán a estrategias experimentales bastante diferentes.

En la escala de entropía de la ganancia de información hay muy poca diferencia entre certeza cercana y certeza absoluta: codificar según una certeza casi requiere apenas más bits que codificar según una certeza absoluta. Por otro lado, en la escala logit implícita en el peso de la evidencia, la diferencia entre los dos es enorme –quizás infinita–; esto podría reflejar la diferencia entre estar casi seguro (en un nivel probabilístico) de que, digamos, la hipótesis de Riemann es correcta, en comparación con estar seguro de que es correcta porque se tiene una prueba matemática. Estas dos escalas diferentes de función de pérdida para la incertidumbre son útiles , según qué tan bien refleje cada una las circunstancias particulares del problema en cuestión.

Principio de información mínima de discriminación.

La idea de la entropía relativa como información de discriminación llevó a Kullback a proponer el Principio deInformación de discriminación mínima (MDIse debe elegiruna nueva distribuciónfposible; para que los nuevos datos produzcan la menor ganancia de informaciónposible. ${\displaystyle f_{0}}$ ${\displaystyle D_{\text{KL}}(f\parallel f_{0})}$

Por ejemplo, si uno tuviera una distribución previa sobre x y a , y posteriormente supiera que la verdadera distribución de a era , entonces la entropía relativa entre la nueva distribución conjunta para x y a , y la distribución anterior anterior sería: ${\displaystyle p(x,a)}$ ${\displaystyle u(a)}$ ${\displaystyle q(x\mid a)u(a)}$

${\displaystyle D_{\text{KL}}(q(x\mid a)u(a)\parallel p(x,a))=\operatorname {E} _{u(a)}\left\{D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))\right\}+D_{\text{KL}}(u(a)\parallel p(a)),}$

es decir, la suma de la entropía relativa de la distribución anterior para a de la distribución actualizada , más el valor esperado (usando la distribución de probabilidad ) de la entropía relativa de la distribución condicional anterior de la nueva distribución condicional . (Tenga en cuenta que a menudo el valor esperado posterior se denomina entropía relativa condicional (o divergencia condicional de Kullback-Leibler ) y se denota por ^{[3] [30]} ). Esto se minimiza si se encuentra sobre todo el soporte de ; y observamos que este resultado incorpora el teorema de Bayes, si la nueva distribución es de hecho una función δ que representa la certeza de que a tiene un valor particular. ${\displaystyle p(a)}$ ${\displaystyle u(a)}$ ${\displaystyle u(a)}$ ${\displaystyle p(x\mid a)}$ ${\displaystyle q(x\mid a)}$ ${\displaystyle D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))}$ ${\displaystyle q(x\mid a)=p(x\mid a)}$ ${\displaystyle u(a)}$ ${\displaystyle u(a)}$

El MDI puede verse como una extensión del Principio de Razón Insuficiente de Laplace y del Principio de Máxima Entropía de ET Jaynes . En particular, es la extensión natural del principio de máxima entropía de distribuciones discretas a continuas, para la cual la entropía de Shannon deja de ser tan útil (ver entropía diferencial ), pero la entropía relativa sigue siendo igual de relevante.

En la literatura de ingeniería, el MDI a veces se denomina Principio de entropía cruzada mínima (MCE) o Minxent para abreviar. Minimizar la entropía relativa de m a p con respecto a m es equivalente a minimizar la entropía cruzada de p y m , ya que

${\displaystyle \mathrm {H} (p,m)=\mathrm {H} (p)+D_{\text{KL}}(p\parallel m),}$

lo cual es apropiado si se intenta elegir una aproximación adecuada a p . Sin embargo, muchas veces ésta no es la tarea que uno intenta lograr. En cambio, con la misma frecuencia m es una medida de referencia previa fija, yp lo que se intenta optimizar minimizando sujeto a alguna restricción. Esto ha generado cierta ambigüedad en la literatura, y algunos autores intentaron resolver la inconsistencia redefiniendo la entropía cruzada como ser , en lugar de ^{[ cita necesaria ]} . ${\displaystyle D_{\text{KL}}(p\parallel m)}$ ${\displaystyle D_{\text{KL}}(p\parallel m)}$ ${\displaystyle \mathrm {H} (p,m)}$

Relación con el trabajo disponible

Gráfico de presión versus volumen del trabajo disponible de un mol de gas argón en relación con el ambiente, calculado como multiplicado por la divergencia Kullback-Leibler ${\displaystyle T_{o}}$

Las sorpresas ^[33] se suman donde las probabilidades se multiplican. La sorpresa para un evento de probabilidad p se define como . Si k es entonces la sorpresa está en nats, bits, o de modo que, por ejemplo, hay N bits de sorpresa por sacar todas las "caras" en un lanzamiento de N monedas. ${\displaystyle s=k\ln(1/p)}$ ${\displaystyle \left\{1,1/\ln 2,1.38\times 10^{-23}\right\}}$ ${\displaystyle \{}$ ${\displaystyle J/K\}}$

Los estados de mejor estimación (por ejemplo, para los átomos en un gas) se infieren maximizando la sorpresa promedio S ( entropía ) para un conjunto dado de parámetros de control (como la presión P o el volumen V ). Esta maximización de entropía restringida , tanto clásicamente ^[34] como mecánica cuántica, ^[35] minimiza la disponibilidad de Gibbs en unidades de entropía ^[36] donde Z es una función de multiplicidad o partición restringida . ${\displaystyle A\equiv -k\ln(Z)}$

Cuando la temperatura T es fija, la energía libre ( ) también se minimiza. Así, si y el número de moléculas N son constantes, la energía libre de Helmholtz (donde U es energía y S es entropía) se minimiza a medida que un sistema se "equilibra". Si T y P se mantienen constantes (digamos durante los procesos en su cuerpo), la energía libre de Gibbs se minimiza. El cambio de energía libre en estas condiciones es una medida del trabajo disponible que podría realizarse en el proceso. Por tanto, el trabajo disponible para un gas ideal a temperatura y presión constantes es donde y (ver también desigualdad de Gibbs ). ${\displaystyle T\times A}$ ${\displaystyle T,V}$ ${\displaystyle F\equiv U-TS}$ ${\displaystyle G=U+PV-TS}$ ${\displaystyle T_{o}}$ ${\displaystyle P_{o}}$ ${\displaystyle W=\Delta G=NkT_{o}\Theta (V/V_{o})}$ ${\displaystyle V_{o}=NkT_{o}/P_{o}}$ ${\displaystyle \Theta (x)=x-1-\ln x\geq 0}$

De manera más general, ^[37] el trabajo disponible en relación con algún ambiente se obtiene multiplicando la temperatura ambiente por la entropía relativa o sorpresa neta definida como el valor promedio de dónde está la probabilidad de un estado dado en condiciones ambientales. Por ejemplo, el trabajo disponible para equilibrar un gas ideal monoatómico con los valores ambientales de y es, por lo tanto , donde la entropía relativa ${\displaystyle T_{o}}$ ${\displaystyle \Delta I\geq 0,}$ ${\displaystyle k\ln(p/p_{o})}$ ${\displaystyle p_{o}}$ ${\displaystyle V_{o}}$ ${\displaystyle T_{o}}$ ${\displaystyle W=T_{o}\Delta I}$

${\displaystyle \Delta I=Nk\left[\Theta \left({\frac {V}{V_{o}}}\right)+{\frac {3}{2}}\Theta \left({\frac {T}{T_{o}}}\right)\right].}$

Los contornos resultantes de entropía relativa constante, que se muestran a la derecha para un mol de argón a temperatura y presión estándar, por ejemplo, ponen límites a la conversión de calor a frío como en el aire acondicionado accionado por llama o en el dispositivo sin alimentación para convertir el calor en ebullición. agua a agua helada que se analiza aquí. ^[38] Así, la entropía relativa mide la disponibilidad termodinámica en bits.

Teoría de la información cuántica

Para las matrices de densidad P y Q en un espacio de Hilbert , la entropía relativa cuántica de Q a P se define como

${\displaystyle D_{\text{KL}}(P\parallel Q)=\operatorname {Tr} (P(\log(P)-\log(Q))).}$

En la ciencia de la información cuántica, el mínimo de todos los estados separables Q también se puede utilizar como medida de entrelazamiento en el estado P. ${\displaystyle D_{\text{KL}}(P\parallel Q)}$

Relación entre modelos y realidad

Así como la entropía relativa de "lo real a partir del ambiente" mide la disponibilidad termodinámica, la entropía relativa de la "realidad a partir de un modelo" también es útil incluso si las únicas pistas que tenemos sobre la realidad son algunas mediciones experimentales. En el primer caso, la entropía relativa describe la distancia al equilibrio o (cuando se multiplica por la temperatura ambiente) la cantidad de trabajo disponible , mientras que en el segundo caso te habla de las sorpresas que la realidad tiene bajo la manga o, en otras palabras, cuánto cuesta el modelo. todavía tiene que aprender .

Aunque esta herramienta para evaluar modelos frente a sistemas accesibles experimentalmente puede aplicarse en cualquier campo, su aplicación para seleccionar un modelo estadístico mediante el criterio de información de Akaike está particularmente bien descrita en artículos ^[39] y en un libro ^[40] de Burnham y Anderson. En pocas palabras, la entropía relativa de la realidad de un modelo puede estimarse, dentro de un término aditivo constante, en función de las desviaciones observadas entre los datos y las predicciones del modelo (como la desviación cuadrática media ). Las estimaciones de dicha divergencia para modelos que comparten el mismo término aditivo pueden, a su vez, usarse para seleccionar entre modelos.

Cuando se intenta ajustar modelos parametrizados a los datos, existen varios estimadores que intentan minimizar la entropía relativa, como los estimadores de máxima verosimilitud y máximo espaciado . ^{[ cita necesaria ]}

Divergencia simetrizada

Kullback y Leibler (1951) también consideraron la función simetrizada: ^[6]

${\displaystyle D_{\text{KL}}(P\parallel Q)+D_{\text{KL}}(Q\parallel P)}$

a la que se referían como "divergencia", aunque hoy la "divergencia KL" se refiere a la función asimétrica (ver § Etimología para la evolución del término). Esta función es simétrica y no negativa, y ya había sido definida y utilizada por Harold Jeffreys en 1948; ^[7] En consecuencia, se denomina divergencia de Jeffreys .

Esta cantidad se ha utilizado a veces para la selección de características en problemas de clasificación , donde P y Q son las PDF condicionales de una característica en dos clases diferentes. En las industrias bancaria y financiera, esta cantidad se conoce como índice de estabilidad de la población ( PSI ) y se utiliza para evaluar los cambios distributivos en las características del modelo a lo largo del tiempo.

Se da una alternativa a través de la divergencia, ${\displaystyle \lambda }$

${\displaystyle D_{\lambda }(P\parallel Q)=\lambda D_{\text{KL}}(P\parallel \lambda P+(1-\lambda )Q)+(1-\lambda )D_{\text{KL}}(Q\parallel \lambda P+(1-\lambda )Q),}$

que puede interpretarse como la ganancia de información esperada sobre X al descubrir de qué distribución de probabilidad se extrae X , P o Q , si actualmente tienen probabilidades y respectivamente. ^{[ se necesita aclaración ] [ se necesita cita ]} ${\displaystyle \lambda }$ ${\displaystyle 1-\lambda }$

El valor da la divergencia de Jensen-Shannon , definida por ${\displaystyle \lambda =0.5}$

${\displaystyle D_{\text{JS}}={\frac {1}{2}}D_{\text{KL}}(P\parallel M)+{\frac {1}{2}}D_{\text{KL}}(Q\parallel M)}$

donde M es el promedio de las dos distribuciones,

${\displaystyle M={\frac {1}{2}}(P+Q).}$

También podemos interpretarlo como la capacidad de un canal de información ruidoso con dos entradas que dan las distribuciones de salida P y Q. La divergencia de Jensen-Shannon, como todas las f -divergencias, es localmente proporcional a la métrica de información de Fisher . Es similar a la métrica de Hellinger (en el sentido de que induce la misma conexión afín en una variedad estadística ). ${\displaystyle D_{\text{JS}}}$

Además, la divergencia de Jensen-Shannon se puede generalizar utilizando mezclas M estadísticas abstractas basadas en una media abstracta M. ^{[41] [42]}

Relación con otras medidas de probabilidad-distancia

Hay muchas otras medidas importantes de distancia de probabilidad . Algunos de ellos están particularmente relacionados con la entropía relativa. Por ejemplo:

• La distancia de variación total , . Esto está relacionado con la divergencia a través de la desigualdad de Pinsker : ${\displaystyle \delta (p,q)}$
  $${\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\text{KL}}(P\parallel Q)}}.}$$
  La desigualdad de Pinsker es vacía para cualquier distribución donde , ya que la distancia de variación total es como máximo 1 . Para tales distribuciones, se puede utilizar un límite alternativo, debido a Bretagnolle y Huber ^[43] (ver también Tsybakov ^[44] ): ${\displaystyle D_{\mathrm {KL} }(P\parallel Q)>2}$
  $${\displaystyle \delta (P,Q)\leq {\sqrt {1-e^{-D_{\mathrm {KL} }(P\parallel Q)}}}.}$$
• La familia de divergencias de Rényi generaliza la entropía relativa. Dependiendo del valor de un determinado parámetro, se pueden deducir diversas desigualdades. ${\displaystyle \alpha }$

Otras medidas notables de distancia incluyen la distancia de Hellinger , la intersección de histogramas , la estadística de chi-cuadrado , la distancia en forma cuadrática , la distancia de coincidencia , la distancia de Kolmogorov-Smirnov y la distancia del motor de tierra . ^[45]

Diferenciación de datos

Así como la entropía absoluta sirve como base teórica para la compresión de datos , la entropía relativa sirve como base teórica para la diferenciación de datos : la entropía absoluta de un conjunto de datos en este sentido son los datos necesarios para reconstruirlo (tamaño mínimo comprimido), mientras que la entropía relativa de un conjunto de datos de destino, dado un conjunto de datos de origen, son los datos necesarios para reconstruir el objetivo dada la fuente (tamaño mínimo de un parche ).

Ver también

• Criterio de información de Akaike
• Criterio de información bayesiano
• Divergencia de Bregman
• entropía cruzada
• Criterio de información de desviación
• Valor entrópico en riesgo
• Desigualdad del poder de la entropía
• distancia Hellinger
• Ganancia de información en árboles de decisión.
• Relación de ganancia de información
• Teoría de la información y teoría de la medida.
• Divergencia de Jensen-Shannon
• Entropía relativa cuántica
• Salomón Kullback y Richard Leibler

• distancia de bhattacharyya

Referencias

1. Csiszar, I (febrero de 1975). "Geometría I-divergencia de distribuciones de probabilidad y problemas de minimización". Ana. Probablemente . 3 (1): 146-158. doi : 10.1214/aop/1176996454 .
2. Kullback, S .; Leibler, RA (1951). "Sobre la información y la suficiencia". Anales de estadística matemática . 22 (1): 79–86. doi : 10.1214/aoms/1177729694 . JSTOR  2236703. SEÑOR  0039968.
3. Kullback 1959.
4. Amari 2016, pag. 11.
5. Amari 2016, pag. 28.
6. Kullback y Leibler 1951, pág. 80.
7. Jeffreys 1948, pág. 158.
8. Kullback 1959, pag. 7.
9. Kullback, S. (1987). "Carta al editor: la distancia Kullback-Leibler". El estadístico estadounidense . 41 (4): 340–341. doi :10.1080/00031305.1987.10475510. JSTOR  2684769.
10. Kullback 1959, pag. 6.
11. MacKay, David JC (2003). Teoría de la información, inferencia y algoritmos de aprendizaje (1ª ed.). Prensa de la Universidad de Cambridge. pag. 34.ISBN​ 9780521642989- a través de libros de Google.
12. "¿Cuál es el valor máximo de la divergencia Kullback-Leibler (KL)?". Aprendizaje automático. Intercambio de pila de estadísticas (stats.stackexchange.com) . Validado cruzadamente.
13. "¿En qué situaciones la integral es igual al infinito?". Integración. Intercambio de pila de matemáticas (math.stackexchange.com) .
14. Bishop, Christopher M. Reconocimiento de patrones y aprendizaje automático. pag. 55. OCLC  1334664824.
15. Kullback 1959, pag. 5.
16. Burnham, KP; Anderson, DR (2002). Selección de modelos e inferencia multimodelo (2ª ed.). Saltador. pag. 51.ISBN​ 9780387953649.
17. Kelly, JL Jr. (1956). "Una nueva interpretación de la tasa de información". Sistema de campana. Tecnología. J.​ 2 (4): 917–926. doi :10.1002/j.1538-7305.1956.tb03809.x.
18. Soklakov, AN (2020). "Economía del desacuerdo: intuición financiera para la divergencia de Rényi". Entropía . 22 (8): 860. arXiv : 1811.08308 . Código Bib : 2020Entrp..22..860S. doi : 10.3390/e22080860 . PMC 7517462 . PMID  33286632. 
19. Soklakov, AN (2023). "Geometría de la Información de Riesgos y Rentabilidades". Riesgo . Junio ​​. SSRN  4134885.
20. Sanov, IN (1957). "Sobre la probabilidad de grandes desviaciones de magnitudes aleatorias". Estera. Sbornik . 42 (84): 11–44.
21. Novak SY (2011), Métodos de valor extremo con aplicaciones a las finanzas , cap. 14.5 ( Chapman y Hall ). ISBN 978-1-4398-3574-6 . 
22. Hobson, Arturo (1971). Conceptos en mecánica estadística . Nueva York: Gordon y Breach. ISBN 978-0677032405.
23. Bonnici, V. (2020). "Divergencia de Kullback-Leibler entre distribuciones cuánticas y su límite superior". arXiv : 2008.05932 [cs.LG].
24. Ver la sección "entropía diferencial - 4" en video conferencia sobre Entropía relativa de Sergio Verdú NIPS 2009
25. Donsker, Monroe D.; Varadhan, SR Srinivasa (1983). "Evaluación asintótica de determinadas expectativas del proceso de Markov a largo plazo. IV". Comunicaciones sobre Matemática Pura y Aplicada . 36 (2): 183–212. doi :10.1002/cpa.3160360204.
26. Lee, Se Yoon (2021). "Muestreador de Gibbs e inferencia variacional de ascenso de coordenadas: una revisión de la teoría de conjuntos". Comunicaciones en Estadística - Teoría y Métodos . 51 (6): 1549-1568. arXiv : 2008.01006 . doi :10.1080/03610926.2021.1921214. S2CID  220935477.
27. Duchi J. "Derivaciones para optimización y álgebra lineal" (PDF) . pag. 13.
28. Belov, Dmitry I.; Armstrong, Ronald D. (15 de abril de 2011). "Distribuciones de la divergencia Kullback-Leibler con aplicaciones". Revista británica de psicología matemática y estadística . 64 (2): 291–309. doi :10.1348/000711010x522227. ISSN  0007-1102. PMID  21492134.
29. Buchner, Johannes (29 de abril de 2022). Una intuición para los físicos: obtención de información a partir de experimentos. OCLC  1363563215.
30. Portada, Thomas M.; Thomas, Joy A. (1991), Elementos de la teoría de la información , John Wiley & Sons , p. 22
31. Chaloner, K.; Verdinelli, I. (1995). "Diseño experimental bayesiano: una revisión". Ciencia estadística . 10 (3): 273–304. doi : 10.1214/ss/1177009939 . hdl : 11299/199630 .
32. Prensa, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007). "Sección 14.7.2. Distancia Kullback-Leibler". Recetas numéricas: el arte de la informática científica (3ª ed.). Prensa de la Universidad de Cambridge. ISBN 978-0-521-88068-8.
33. Tribus, Myron (1959). Termostática y termodinámica: una introducción a la energía, la información y los estados de la materia, con aplicaciones de ingeniería. Van Nostrand.
34. Jaynes, et (1957). «Teoría de la información y mecánica estadística» (PDF) . Revisión física . 106 (4): 620–630. Código bibliográfico : 1957PhRv..106..620J. doi : 10.1103/physrev.106.620. S2CID  17870175.
35. Jaynes, et (1957). «Teoría de la información y mecánica estadística II» (PDF) . Revisión física . 108 (2): 171-190. Código bibliográfico : 1957PhRv..108..171J. doi : 10.1103/physrev.108.171.
36. Gibbs, Josías Willard (1871). Un método de representación geométrica de las propiedades termodinámicas de sustancias mediante superficies. La Academia.nota al pie de la página 52.
37. Tribus, M.; McIrvine, CE (1971). "Energía e información". Científico americano . 224 (3): 179–186. Código bibliográfico : 1971SciAm.225c.179T. doi : 10.1038/scientificamerican0971-179.
38. Fraundorf, P. (2007). "Raíces térmicas de la complejidad basada en correlaciones". Complejidad . 13 (3): 18–26. arXiv : 1103.2481 . Código Bib : 2008Cmplx..13c..18F. doi :10.1002/cplx.20195. S2CID  20794688. Archivado desde el original el 13 de agosto de 2011.
39. Burnham, KP; Anderson, DR (2001). "La información de Kullback-Leibler como base para una inferencia sólida en estudios ecológicos". Investigación de vida silvestre . 28 (2): 111-119. doi : 10.1071/WR99107 .
40. Burnham, Kenneth P. (diciembre de 2010). Selección de modelos e inferencia multimodelo: un enfoque práctico de teoría de la información. Saltador. ISBN 978-1-4419-2973-0. OCLC  878132909.
41. Nielsen, Frank (2019). "Sobre la simetrización de distancias de Jensen-Shannon basándose en medios abstractos". Entropía . 21 (5): 485. arXiv : 1904.04017 . Código Bib : 2019Entrp..21..485N. doi : 10.3390/e21050485 . PMC 7514974 . PMID  33267199. 
42. Nielsen, Frank (2020). "Sobre una generalización de la divergencia Jensen-Shannon y el centroide Jensen-Shannon". Entropía . 22 (2): 221. arXiv : 1912.00610 . Código Bib : 2020Entrp..22..221N. doi : 10.3390/e22020221 . PMC 7516653 . PMID  33285995. 
43. Bretagnolle, J.; Huber, C. (1978), "Estimation des densités : Risque minimax", Séminaire de Probabilités XII, Lecture Notes in Mathematics (en francés), vol. 649, Berlín, Heidelberg: Springer Berlin Heidelberg, págs. 342–363, doi :10.1007/bfb0064610, ISBN 978-3-540-08761-8, S2CID  122597694 , consultado el 14 de febrero de 2023Lema 2.1
44. B.), Tsybakov, AB (Alexandre (2010). Introducción a la estimación no paramétrica. Springer. ISBN 978-1-4419-2709-5. OCLC  757859245.{{cite book}}: CS1 maint: multiple names: authors list (link)Ecuación 2.25.
45. Rubner, Y.; Tomasi, C.; Guibas, LJ (2000). "La distancia del transportador como métrica para la recuperación de imágenes". Revista Internacional de Visión por Computadora . 40 (2): 99-121. doi :10.1023/A:1026543900054. S2CID  14106275.

• Amari, Shun-ichi (2016). Geometría de la información y sus aplicaciones . Ciencias Matemáticas Aplicadas. vol. 194. Springer Japón. págs. XIII, 374. doi :10.1007/978-4-431-55978-8. ISBN 978-4-431-55977-1.
• Kullback, Solomon (1959), Teoría de la información y estadística , John Wiley & Sons. Republicado por Dover Publications en 1968; reimpreso en 1978: ISBN 0-8446-5625-9 . 
• Jeffreys, Harold (1948). Teoría de la probabilidad (Segunda ed.). Prensa de la Universidad de Oxford.

enlaces externos

• Caja de herramientas de estimadores teóricos de información
• Gema de rubí para calcular la divergencia Kullback-Leibler
• Tutorial de Jon Shlens sobre la teoría de la probabilidad y divergencia de Kullback-Leibler
• Código Matlab para calcular la divergencia Kullback-Leibler para distribuciones discretas
• Sergio Verdú , Entropía relativa, NIPS 2009. Videoconferencia de una hora de duración.
• Un resumen moderno de medidas de divergencia infoteóricas.