Distribución de probabilidad de máxima entropía

Distribución de probabilidad que tiene la mayor entropía de una clase

En estadística y teoría de la información , una distribución de probabilidad de máxima entropía tiene una entropía que es al menos tan grande como la de todos los demás miembros de una clase específica de distribuciones de probabilidad . De acuerdo con el principio de máxima entropía , si no se sabe nada sobre una distribución excepto que pertenece a una cierta clase (generalmente definida en términos de propiedades o medidas específicas), entonces la distribución con la mayor entropía debe elegirse como la distribución predeterminada menos informativa. La motivación es doble: primero, maximizar la entropía minimiza la cantidad de información previa incorporada en la distribución; segundo, muchos sistemas físicos tienden a moverse hacia configuraciones de entropía máxima con el tiempo.

Definición de entropía y entropía diferencial

Si es una variable aleatoria continua con densidad de probabilidad , entonces la entropía diferencial de se define como ^{[1] [2] [3]} ${\displaystyle X}$ ${\displaystyle p(x)}$ ${\displaystyle \ X\ }$

${\displaystyle H(X)~=~-\int _{-\infty }^{\infty }p(x)\ \log p(x)\ \mathrm {d} \,\!x~.}$

Si es una variable aleatoria discreta con distribución dada por ${\displaystyle \ X\ }$

${\displaystyle \operatorname {Pr} \{\ X=x_{k}\}=p_{k}\qquad ~{\mbox{ for }}~\quad k=1,\ 2,\ \ldots ~}$

entonces la entropía de se define como ${\displaystyle \ X\ }$

${\displaystyle H(X)=-\sum _{k\geq 1}\ p_{k}\ \log p_{k}~.}$

El término aparentemente divergente se reemplaza por cero, siempre que ${\displaystyle \ p(x)\ \log p(x)\ }$ ${\displaystyle \ p(x)=0~.}$

Este es un caso especial de las formas más generales descritas en los artículos Entropía (teoría de la información) , Principio de máxima entropía y Entropía diferencial. En relación con las distribuciones de máxima entropía, esta es la única necesaria, porque la maximización también maximizará las formas más generales. ${\displaystyle \ H(X)\ }$

La base del logaritmo no es importante, siempre que se utilice la misma de forma sistemática: el cambio de base solo da como resultado un reescalamiento de la entropía. Los teóricos de la información pueden preferir utilizar la base 2 para expresar la entropía en bits ; los matemáticos y físicos suelen preferir el logaritmo natural , lo que da como resultado una unidad de "nat" para la entropía.

Sin embargo, la medida elegida es crucial, aunque el uso típico de la medida de Lebesgue se defiende a menudo como una elección "natural": la medida elegida determina la entropía y la consiguiente distribución máxima de entropía. ${\displaystyle \ \mathrm {d} \,\!x\ }$

Distribuciones con constantes medidas

Muchas distribuciones estadísticas de interés aplicable son aquellas en las que los momentos u otras cantidades mensurables están sujetos a restricciones constantes. El siguiente teorema de Ludwig Boltzmann proporciona la forma de la densidad de probabilidad bajo estas restricciones.

Caso continuo

Supongamos que es un subconjunto continuo y cerrado de los números reales y elegimos especificar funciones y números mensurables. Consideramos la clase de todas las variables aleatorias de valor real que se apoyan en (es decir, cuya función de densidad es cero fuera de ) y que satisfacen las condiciones del momento: ${\displaystyle \ S\ }$ ${\displaystyle \ \mathbb {R} \ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ f_{1},\ \cdots ,\ f_{n}\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ a_{1},\ \ldots ,\ a_{n}~.}$ ${\displaystyle \ C\ }$ ${\displaystyle \ S\ }$ ${\displaystyle \ S\ }$ ${\displaystyle \ n\ }$

${\displaystyle \mathbb {E} \{\ f_{j}(X)\}\ \geq a_{j}\qquad ~{\mbox{ for }}~\quad j=1,\ \ldots ,\ n}$

Si hay un miembro en cuya función de densidad es positiva en todas partes y si existe una distribución de entropía máxima para entonces su densidad de probabilidad tiene la siguiente forma: ${\displaystyle \ C\ }$ ${\displaystyle \ S\ ,}$ ${\displaystyle \ C\ ,}$ ${\displaystyle \ p(x)\ }$

${\displaystyle p(x)=\exp \left(\ \sum _{j=0}^{n}\ \lambda _{j}f_{j}(x)\ \right)\qquad ~{\mbox{ for all }}~\quad x\in S}$

donde asumimos que la constante y los multiplicadores de Lagrange resuelven el problema de optimización restringida con (lo que garantiza que se integra a la unidad): ^[4] ${\displaystyle \ f_{0}(x)=1~.}$ ${\displaystyle \ \lambda _{0}\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ {\boldsymbol {\lambda }}=(\lambda _{1},\ \ldots ,\ \lambda _{n})\ }$ ${\displaystyle \ a_{0}=1\ }$ ${\displaystyle \ p\ }$

${\displaystyle \ \max _{\ \lambda _{0};\ {\boldsymbol {\lambda }}\ }\ \left\{\ \sum _{j=0}^{n}\lambda _{j}a_{j}-\int \ \exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\ \mathrm {d} \,\!x\ \right\}\qquad ~\mathrm {subject\ to} ~\quad {\boldsymbol {\lambda }}\geq \mathbf {0} \ }$

Utilizando las condiciones de Karush–Kuhn–Tucker , se puede demostrar que el problema de optimización tiene una solución única porque la función objetivo en la optimización es cóncava en ${\displaystyle \ {\boldsymbol {\lambda }}~.}$

Nótese que cuando las restricciones de momento son igualdades (en lugar de desigualdades), es decir,

${\displaystyle \ \mathbb {E} \{\ f_{j}(X)\ \}~=~a_{j}\qquad ~{\mbox{ for }}~\quad j=1,\ \ldots ,\ n\ ,}$

entonces se puede eliminar la condición de restricción , lo que hace que la optimización sobre los multiplicadores de Lagrange no tenga restricciones. ${\displaystyle \ {\boldsymbol {\lambda }}\geq \mathbf {0} \ }$

Caso discreto

Supongamos que es un subconjunto discreto (finito o infinito) de los números reales, y que elegimos especificar funciones y números. Consideramos la clase de todas las variables aleatorias discretas que se apoyan en y que satisfacen las condiciones del momento. ${\displaystyle \ S=\{\ x_{1},\ x_{2},\ \ldots \ \}\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ f_{1},\ \ldots \ ,f_{n}\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ a_{1},\ \ldots \ ,a_{n}~.}$ ${\displaystyle \ C\ }$ ${\displaystyle \ X\ }$ ${\displaystyle \ S\ }$ ${\displaystyle \ n\ }$

${\displaystyle \ \operatorname {\mathbb {E} } \{\ f_{j}(X)\ \}\geq a_{j}\qquad ~{\mbox{ for }}~\quad j=1,\ \ldots \ ,n\ }$

Si existe un miembro de la clase que asigna probabilidad positiva a todos los miembros de y si existe una distribución de entropía máxima para entonces esta distribución tiene la siguiente forma: ${\displaystyle \ C\ }$ ${\displaystyle \ S\ }$ ${\displaystyle \ C\ ,}$

${\displaystyle \ \operatorname {\mathbb {P} } \{\ X=x_{k}\ \}=\exp \left(\ \sum _{j=0}^{n}\lambda _{j}\ f_{j}(x_{k})\ \right)\qquad ~{\mbox{ for }}~\quad k=1,\ 2,\ \ldots \ }$

donde asumimos que y las constantes resuelven el problema de optimización restringida con ^[5] ${\displaystyle f_{0}=1}$ ${\displaystyle \ \lambda _{0},\;{\boldsymbol {\lambda }}\equiv (\lambda _{1},\ \ldots \ ,\lambda _{n})\ }$ ${\displaystyle \ a_{0}=1~:}$

${\displaystyle \ \max _{\lambda _{0};\ {\boldsymbol {\lambda }}}\left\{\ \sum _{j=0}^{n}\ \lambda _{j}\ a_{j}-\sum _{k\geq 1}\ \exp \left(\ \sum _{j=0}^{n}\ \lambda _{j}\ f_{j}(x_{k})\ \right)\ \right\}\qquad ~\mathrm {for\ which} ~\quad {\boldsymbol {\lambda }}\geq \mathbf {0} \ }$

Nuevamente como se mencionó anteriormente, si las condiciones del momento son igualdades (en lugar de desigualdades), entonces la condición de restricción no está presente en la optimización. ${\displaystyle \ {\boldsymbol {\lambda }}\geq \mathbf {0} \ }$

Prueba en el caso de restricciones de igualdad

En el caso de restricciones de igualdad, este teorema se demuestra con el cálculo de variaciones y los multiplicadores de Lagrange . Las restricciones se pueden escribir como

${\displaystyle \int _{-\infty }^{\infty }f_{j}(x)p(x)dx=a_{j}}$

Consideramos lo funcional

${\displaystyle J(p)=\int _{-\infty }^{\infty }p(x)\ln {p(x)}dx-\eta _{0}\left(\int _{-\infty }^{\infty }p(x)dx-1\right)-\sum _{j=1}^{n}\lambda _{j}\left(\int _{-\infty }^{\infty }f_{j}(x)p(x)dx-a_{j}\right)}$

donde y son los multiplicadores de Lagrange. La restricción cero asegura el segundo axioma de probabilidad . Las otras restricciones son que las medidas de la función son constantes hasta el orden . La entropía alcanza un extremo cuando la derivada funcional es igual a cero: ${\displaystyle \eta _{0}}$ ${\displaystyle \lambda _{j},j\geq 1}$ ${\displaystyle n}$

${\displaystyle {\frac {\delta J}{\delta p}}\left(p\right)=\ln {p(x)}+1-\eta _{0}-\sum _{j=1}^{n}\lambda _{j}f_{j}(x)=0}$

Por lo tanto, la distribución de probabilidad de entropía extrema en este caso debe ser de la forma ( ), ${\displaystyle \lambda _{0}:=\eta _{0}-1}$

${\displaystyle p(x)=e^{-1+\eta _{0}}\cdot e^{\sum _{j=1}^{n}\lambda _{j}f_{j}(x)}=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\;,}$

recordando que . Se puede verificar que esta es la solución máxima comprobando que la variación alrededor de esta solución es siempre negativa. ${\displaystyle f_{0}(x)=1}$

Unicidad del máximo

Supongamos que hay distribuciones que satisfacen las restricciones de expectativa. Si tomamos y consideramos la distribución, queda claro que esta distribución satisface las restricciones de expectativa y además tiene como soporte A partir de hechos básicos sobre la entropía, se cumple que Tomando límites y respectivamente, se obtiene ${\displaystyle \ p,\ p'\ }$ ${\displaystyle \ \alpha \in {\bigl (}0,1{\bigr )}\ }$ ${\displaystyle \ q=\alpha \cdot p+(1-\alpha )\cdot p'\ }$ ${\displaystyle \ \mathrm {supp} (q)=\mathrm {supp} (p)\cup \mathrm {supp} (p')~.}$ ${\displaystyle \ {\mathcal {H}}(q)\geq \alpha \ {\mathcal {H}}(p)+(1-\alpha )\ {\mathcal {H}}(p')~.}$ ${\displaystyle \ \alpha \longrightarrow 1\ }$ ${\displaystyle \ \alpha \longrightarrow 0\ ,}$ ${\displaystyle \ {\mathcal {H}}(q)\geq {\mathcal {H}}(p),{\mathcal {H}}(p')~.}$

De ello se deduce que una distribución que satisface las restricciones de expectativa y maximiza la entropía necesariamente debe tener un soporte completo, es decir, la distribución es casi en todas partes estrictamente positiva. De ello se deduce que la distribución maximizadora debe ser un punto interno en el espacio de distribuciones que satisfacen las restricciones de expectativa, es decir, debe ser un extremo local. Por lo tanto, basta con demostrar que el extremo local es único, para demostrar que la distribución que maximiza la entropía es única (y esto también demuestra que el extremo local es el máximo global).

Supongamos que son extremos locales. Reformulando los cálculos anteriores, estos se caracterizan por parámetros a través de y de manera similar para donde Ahora notamos una serie de identidades: A través de 1 la satisfacción de las restricciones de expectativa y utilizando gradientes / derivadas direccionales, se tiene ${\displaystyle \ p,\ p'\ }$ ${\displaystyle \ {\vec {\lambda }},\ {\vec {\lambda }}'\in \mathbb {R} ^{n}\ }$ ${\displaystyle \ p(x)={\frac {\ \exp {{\Bigl \langle }{\vec {\lambda }},{\vec {f}}(x){\Bigr \rangle }}\ }{\ C({\vec {\lambda }})\ }}\ }$ ${\displaystyle \ p'\ ,}$ ${\displaystyle \ C({\vec {\lambda }})=\int _{x\in \mathbb {R} }\exp {{\Bigl \langle }{\vec {\lambda }},{\vec {f}}(x){\Bigr \rangle }}\ {\mathrm {d} }\,\!x~.}$

${\displaystyle \ {D\ \log C(\cdot )}\ {\bigg |}_{\vec {\lambda }}={\tfrac {D\ C(\cdot )}{C(\cdot )}}\ {\Bigg |}_{\vec {\lambda }}=\mathbb {E} _{p}\left\{\ {\vec {f}}(X)\ \right\}={\vec {a}}\ }$y de manera similar para Letting se obtiene: ${\displaystyle \ {\vec {\lambda }}'~.\ }$ ${\displaystyle \ u={\vec {\lambda }}'-{\vec {\lambda }}\in \mathbb {R} ^{n}\ }$

${\displaystyle 0={\Bigl \langle }u,{\vec {a}}-{\vec {a}}{\Bigr \rangle }=D_{u}\log C(\cdot )\ {\Big |}_{{\vec {\lambda }}'}-D_{u}\log C(\cdot )\ {\Big |}_{\vec {\lambda }}=D_{u}^{2}\log C(\cdot )\ {\Big |}_{\vec {\gamma }}}$

donde para un poco más de computación se tiene ${\displaystyle \ {\vec {\gamma }}=\theta \ {\vec {\lambda }}+(1-\theta ){\vec {\lambda }}'\ }$ ${\displaystyle \ \theta \in {\bigl (}0,1{\bigr )}~.}$

${\displaystyle {\begin{array}{rcl}0&=&D_{u}^{2}\ \log C(\cdot )\ {\bigg |}_{\vec {\gamma }}\\&=&D_{u}\ \left({\frac {\ \ D_{u}\ C(\cdot )\ }{C(\cdot )}}\right)\ {\Bigg |}_{\vec {\gamma }}\\&=&{\frac {\ D_{u}^{2}C(\cdot )\ }{C(\cdot )}}\ {\Bigg |}_{\vec {\gamma }}-{\frac {(\ D_{u}C(\cdot ))^{2}\ }{C(\cdot )^{2}}}\ {\Bigg |}_{\vec {\gamma }}\\&=&\mathbb {E} _{q}\left\{\ {{\Bigl \langle }u,{\vec {f}}(X){\Bigr \rangle }}^{2}\ \right\}-\left(\mathbb {E} _{q}\left\{\ {\Bigl \langle }u,{\vec {f}}(X){\Bigr \rangle }\ \right\}\right)^{2}\\{}\\&=&\operatorname {Var} _{q}\{\ {\Bigl \langle }u,{\vec {f}}(X){\Bigr \rangle }\ \}\\{}\end{array}}}$

donde es similar a la distribución anterior, solo parametrizada por Suponiendo que ninguna combinación lineal no trivial de los observables es casi en todas partes (ae) constante (lo que, por ejemplo, se cumple si los observables son independientes y no ae constante), se cumple que tiene varianza distinta de cero, a menos que Por la ecuación anterior queda claro que esto último debe ser el caso. Por lo tanto, los parámetros que caracterizan los extremos locales son idénticos, lo que significa que las distribuciones en sí mismas son idénticas. Por lo tanto, el extremo local es único y, por la discusión anterior, el máximo es único, siempre que realmente exista un extremo local. ${\displaystyle \ q\ }$ ${\displaystyle \ {\vec {\gamma }}~,}$ ${\displaystyle \ \langle u,{\vec {f}}(X)\rangle \ }$ ${\displaystyle \ u=0~.}$ ${\displaystyle \ {\vec {\lambda }}'-{\vec {\lambda }}=u=0\ ,}$ ${\displaystyle \ p,\ p'\ }$

Advertencias

Nótese que no todas las clases de distribuciones contienen una distribución de entropía máxima. Es posible que una clase contenga distribuciones de entropía arbitrariamente grande (por ejemplo, la clase de todas las distribuciones continuas en R con media 0 pero desviación estándar arbitraria), o que las entropías estén acotadas por encima pero no haya ninguna distribución que alcance la entropía máxima. ^[a] También es posible que las restricciones de valor esperado para la clase C fuercen a que la distribución de probabilidad sea cero en ciertos subconjuntos de S . En ese caso, nuestro teorema no se aplica, pero se puede solucionar esto reduciendo el conjunto S .

Ejemplos

Toda distribución de probabilidad es, en términos triviales, una distribución de probabilidad de entropía máxima bajo la restricción de que la distribución tiene su propia entropía. Para ver esto, reescribamos la densidad como y comparemos con la expresión del teorema anterior. Al elegir que sea la función medible y ${\displaystyle p(x)=\exp {(\ln {p(x)})}}$ ${\displaystyle \ln {p(x)}\rightarrow f(x)}$

${\displaystyle \int \exp {(f(x))}f(x)dx=-H}$

para ser la constante, es la distribución de probabilidad de entropía máxima bajo la restricción ${\displaystyle p(x)}$

${\displaystyle \int p(x)f(x)dx=-H}$.

Los ejemplos no triviales son distribuciones que están sujetas a múltiples restricciones que son diferentes de la asignación de la entropía. Estas se encuentran a menudo comenzando con el mismo procedimiento y descubriendo que se pueden separar en partes. ${\displaystyle \ln {p(x)}\rightarrow f(x)}$ ${\displaystyle f(x)}$

^{En Lisman (1972) [6]} y Park & ​​Bera (2009) se ofrece una tabla de ejemplos de distribuciones de entropía máxima . ^[7]

Distribuciones uniformes y uniformes por partes

La distribución uniforme en el intervalo [ a , b ] es la distribución de entropía máxima entre todas las distribuciones continuas que se admiten en el intervalo [ a , b ], y por lo tanto la densidad de probabilidad es 0 fuera del intervalo. Esta densidad uniforme se puede relacionar con el principio de indiferencia de Laplace , a veces llamado principio de razón insuficiente. De manera más general, si se nos da una subdivisión a = a ₀ < a ₁ < ... < a _k = b del intervalo [ a , b ] y probabilidades p ₁ ,..., p _k que suman uno, entonces podemos considerar la clase de todas las distribuciones continuas tales que

${\displaystyle \operatorname {Pr} (a_{j-1}\leq X<a_{j})=p_{j}\quad {\mbox{ for }}j=1,\ldots ,k}$

La densidad de la distribución de entropía máxima para esta clase es constante en cada uno de los intervalos [ a _{j -1} , a _j ). La distribución uniforme en el conjunto finito { x ₁ ,..., x _n } (que asigna una probabilidad de 1/ n a cada uno de estos valores) es la distribución de entropía máxima entre todas las distribuciones discretas admitidas en este conjunto.

Media positiva y especificada: la distribución exponencial

La distribución exponencial , para la cual la función de densidad es

${\displaystyle p(x|\lambda )={\begin{cases}\lambda e^{-\lambda x}&x\geq 0,\\0&x<0,\end{cases}}}$

es la distribución de entropía máxima entre todas las distribuciones continuas admitidas en [0,∞) que tienen una media especificada de 1/λ.

En el caso de distribuciones admitidas en [0,∞), la distribución de máxima entropía depende de las relaciones entre el primer y el segundo momento. En casos específicos, puede ser la distribución exponencial, o puede ser otra distribución, o puede ser indefinible. ^[8]

Media y varianza especificadas: la distribución normal

La distribución normal N(μ,σ ² ), para la cual la función de densidad es

${\displaystyle p(x|\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}},}$

tiene máxima entropía entre todas las distribuciones de valores reales admitidas en (−∞,∞) con una varianza especificada σ ^{2 (un} momento particular ). Lo mismo es cierto cuando se especifican la media μ y la varianza σ ² (los primeros dos momentos), ya que la entropía es invariante en la traslación en (−∞,∞). Por lo tanto, el supuesto de normalidad impone la restricción estructural previa mínima más allá de estos momentos. (Véase el artículo sobre entropía diferencial para una derivación).

Distribuciones discretas con media especificada

Entre todas las distribuciones discretas admitidas en el conjunto { x ₁ ,..., x _n } con una media especificada μ, la distribución de máxima entropía tiene la siguiente forma:

${\displaystyle \operatorname {Pr} (X=x_{k})=Cr^{x_{k}}\quad {\mbox{ for }}k=1,\ldots ,n}$

donde las constantes positivas C y r pueden determinarse mediante los requisitos de que la suma de todas las probabilidades debe ser 1 y el valor esperado debe ser μ.

Por ejemplo, si se lanza una gran cantidad N de dados y se le dice que la suma de todos los números mostrados es S . Basándose solo en esta información, ¿cuál sería una suposición razonable para la cantidad de dados que muestran 1, 2, ..., 6? Este es un ejemplo de la situación considerada anteriormente, con { x ₁ ,..., x ₆ } = {1,...,6} y μ = S / N .

Finalmente, entre todas las distribuciones discretas admitidas en el conjunto infinito con media μ, la distribución de máxima entropía tiene la forma: ${\displaystyle \{x_{1},x_{2},...\}}$

${\displaystyle \operatorname {Pr} (X=x_{k})=Cr^{x_{k}}\quad {\mbox{ for }}k=1,2,\ldots ,}$

donde nuevamente las constantes C y r se determinaron por los requisitos de que la suma de todas las probabilidades debe ser 1 y el valor esperado debe ser μ. Por ejemplo, en el caso de que x _k = k , esto da

${\displaystyle C={\frac {1}{\mu -1}},\quad \quad r={\frac {\mu -1}{\mu }},}$

de modo que la respectiva distribución de máxima entropía es la distribución geométrica .

Variables aleatorias circulares

Para una variable aleatoria continua distribuida alrededor del círculo unitario, la distribución de Von Mises maximiza la entropía cuando se especifican las partes reales e imaginarias del primer momento circular ^[9] o, equivalentemente, se especifican la media circular y la varianza circular . ${\displaystyle \theta _{i}}$

Cuando se especifican la media y la varianza del módulo de los ángulos, la distribución normal envuelta maximiza la entropía. ^[9] ${\displaystyle \theta _{i}}$ ${\displaystyle 2\pi }$

Maximizador para media, varianza y asimetría especificadas

Existe un límite superior para la entropía de las variables aleatorias continuas con una media, varianza y asimetría especificadas. Sin embargo, no existe ninguna distribución que alcance este límite superior , porque no tiene límites cuando (ver Cover y Thomas (2006: capítulo 12)). ${\displaystyle \mathbb {R} }$ ${\displaystyle p(x)=c\exp {(\lambda _{1}x+\lambda _{2}x^{2}+\lambda _{3}x^{3})}}$ ${\displaystyle \lambda _{3}\neq 0}$

Sin embargo, la entropía máxima es ε -alcanzable: la entropía de una distribución puede ser arbitrariamente cercana al límite superior. Comience con una distribución normal de la media y varianza especificadas. Para introducir una asimetría positiva, altere la distribución normal hacia arriba en una pequeña cantidad en un valor muchos σ mayor que la media. La asimetría, al ser proporcional al tercer momento, se verá afectada más que los momentos de orden inferior.

Este es un caso especial del caso general en el que la exponencial de cualquier polinomio de orden impar en x no estará acotada en . Por ejemplo, tampoco estará acotada en , pero cuando el soporte está limitado a un intervalo acotado o semiacotado, se puede alcanzar el límite superior de entropía (por ejemplo, si x se encuentra en el intervalo [0,∞] y λ< 0 , se obtendrá la distribución exponencial ). ${\displaystyle \mathbb {R} }$ ${\displaystyle ce^{\lambda x}}$ ${\displaystyle \mathbb {R} }$

Maximizador para la medida de riesgo de desviación y media especificada

Toda distribución con densidad logarítmica cóncava es una distribución de entropía máxima con una media μ especificada y una medida de riesgo de desviación D. ^[10  ]

En particular, la distribución de entropía máxima con media y desviación especificadas es: ${\displaystyle \ E(X)\equiv \mu \ }$ ${\displaystyle \ D(X)\equiv d\ }$

• La distribución normal si es la desviación estándar ; ${\displaystyle \ {\mathcal {N}}\left(m,d^{2}\right)\ ,}$ ${\displaystyle \ D(X)={\sqrt {\ \operatorname {\mathbb {E} } \left\{\ \left(X-\mu \right)^{2}\ \right\}\ }}\ }$
• La distribución de Laplace , si es la desviación absoluta media ; ^[6] ${\displaystyle \;D(X)=\operatorname {\mathbb {E} } \left\{\ \left|\ X-\mu \right|\ \right\}\ }$
• La distribución con densidad de la forma si es la semidesviación inferior estándar, donde son constantes y la función devuelve sólo los valores negativos de su argumento, de lo contrario cero. ^[10] ${\displaystyle ~f(x)=c\ \exp \left(\ a\ x+b\downharpoonright x-\mu \downharpoonleft _{-}^{2}\ \right)~}$ ${\displaystyle ~D(X)={\sqrt {\ \operatorname {\mathbb {E} } \left\{\ \downharpoonright X-\mu \downharpoonleft _{-}^{2}\ \right\}~}}~}$ ${\displaystyle \;a,b,c\;}$ ${\displaystyle \ \downharpoonright y\downharpoonleft _{-}\ \equiv \ \min \left\{\ 0,\ y\ \right\}~\ {\mbox{ for any }}~\ y\in \mathbb {R} \ ,~}$

Otros ejemplos

En la tabla siguiente, cada distribución enumerada maximiza la entropía para un conjunto particular de restricciones funcionales enumeradas en la tercera columna, y la restricción que se incluye en el soporte de la densidad de probabilidad, que se enumera en la cuarta columna. ^{[6] [7]} ${\displaystyle \ x\ }$

Varios de los ejemplos enumerados ( Bernouli , geométrico , exponencial , Laplace , Pareto ) son trivialmente ciertos, porque sus restricciones asociadas son equivalentes a la asignación de su entropía. Se incluyen de todos modos porque su restricción está relacionada con una cantidad común o fácil de medir.

Como referencia, es la función gamma , es la función digamma , es la función beta y es la constante de Euler-Mascheroni . ${\displaystyle \ \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}\ {\mathrm {d} }t\ }$ ${\displaystyle \psi (x)={\frac {\mathrm {d} }{\ {\mathrm {d} }x\ }}\ln \Gamma (x)={\frac {\Gamma '(x)}{\ \Gamma (x)\ }}\ }$ ${\displaystyle \ B(p,q)={\frac {\ \Gamma (p)\ \Gamma (q)\ }{\Gamma (p+q)}}\ }$ ${\displaystyle \ \gamma _{\mathsf {E}}\ }$

El principio de máxima entropía se puede utilizar para limitar superiormente la entropía de mezclas estadísticas. ^[12]

Véase también

• Familia exponencial
• Medida de Gibbs
• Función de partición (matemáticas)
• Paseo aleatorio de entropía máxima : maximización de la tasa de entropía para un gráfico

Notas

1. Por ejemplo, la clase de todas las distribuciones continuas X en R con E( X ) = 0 y E( X ² ) = E( X ³ ) = 1 (ver Portada, Cap. 12).

Citas

1. Williams, D. (2001). Weighing the Odds [Sopesando las probabilidades] . Cambridge University Press . Págs. 197–199. ISBN. 0-521-00618-X.
2. Bernardo, JM; Smith, AFM (2000). Teoría bayesiana . Wiley. pp. 209, 366. ISBN. 0-471-49464-X.
3. O'Hagan, A. (1994), Inferencia bayesiana . Teoría avanzada de la estadística de Kendall. Vol. 2B. Edward Arnold . Sección 5.40. ISBN. 0-340-52922-9.
4. Botev, ZI; Kroese, DP (2011). "El método generalizado de entropía cruzada, con aplicaciones a la estimación de densidad de probabilidad" (PDF) . Metodología y computación en probabilidad aplicada . 13 (1): 1–27. doi :10.1007/s11009-009-9133-7. S2CID  18155189.
5. Botev, ZI; Kroese, DP (2008). "Selección de ancho de banda no asintótico para estimación de densidad de datos discretos". Metodología y computación en probabilidad aplicada . 10 (3): 435. doi :10.1007/s11009-007-9057-zv. S2CID  122047337.
6. Lisman, JHC; van Zuylen, MCA (1972). "Nota sobre la generación de distribuciones de frecuencias más probables". Statistica Neerlandica . 26 (1): 19–23. doi :10.1111/j.1467-9574.1972.tb00152.x.
7. Park, Sung Y.; Bera, Anil K. (2009). "Modelo de heterocedasticidad condicional autorregresiva de máxima entropía" (PDF) . Journal of Econometrics . 150 (2): 219–230. CiteSeerX 10.1.1.511.9750 . doi :10.1016/j.jeconom.2008.12.014. Archivado desde el original (PDF) el 2016-03-07 . Consultado el 2011-06-02 . 
8. Dowson, D.; Wragg, A. (septiembre de 1973). "Distribuciones de máxima entropía con momentos primero y segundo prescritos". IEEE Transactions on Information Theory (correspondencia). 19 (5): 689–693. doi :10.1109/tit.1973.1055060. ISSN  0018-9448.
9. Jammalamadaka, S. Rao; SenGupta, A. (2001). Temas de estadística circular. Nueva Jersey: World Scientific. ISBN 978-981-02-3778-3. Recuperado el 15 de mayo de 2011 .
10. Grechuk, Bogdan; Molyboha, Anton; Zabarankin, Michael (2009). "Principio de máxima entropía con medidas de desviación general". Matemáticas de la investigación de operaciones . 34 (2): 445–467. doi :10.1287/moor.1090.0377 – vía researchgate.net.
11. Harremös, Peter (2001). "Distribuciones binomial y de Poisson como distribuciones de máxima entropía". IEEE Transactions on Information Theory . 47 (5): 2039–2041. doi :10.1109/18.930936. S2CID  16171405.
12. Nielsen, Frank; Nock, Richard (2017). "Límites superiores de MaxEnt para la entropía diferencial de distribuciones continuas univariadas". IEEE Signal Processing Letters . 24 (4). IEEE : 402–406. Bibcode :2017ISPL...24..402N. doi :10.1109/LSP.2017.2666792. S2CID  14092514.

Referencias

• Portada, TM ; Thomas, JA (2006). "Capítulo 12, Máxima entropía" (PDF) . Elementos de la teoría de la información (2.ª ed.). Wiley. ISBN 978-0471241959.
• F. Nielsen, R. Nock (2017), Límites superiores de MaxEnt para la entropía diferencial de distribuciones continuas univariadas , IEEE Signal Processing Letters, 24(4), 402–406
• IJ Taneja (2001), Medidas de información generalizadas y sus aplicaciones . Capítulo 1
• Nader Ebrahimi, Ehsan S. Soofi, Refik Soyer (2008), "Identificación, transformación y dependencia de entropía máxima multivariada", Journal of Multivariate Analysis 99: 1217–1231, doi :10.1016/j.jmva.2007.08.004