Principio de máxima entropía

Principio en estadística bayesiana

El principio de máxima entropía establece que la distribución de probabilidad que mejor representa el estado actual de conocimiento sobre un sistema es la que tiene mayor entropía , en el contexto de datos previos establecidos con precisión (como una proposición que expresa información comprobable).

Otra forma de decir esto: tome datos previos establecidos con precisión o información comprobable sobre una función de distribución de probabilidad. Considere el conjunto de todas las distribuciones de probabilidad de prueba que codificarían los datos anteriores. Según este principio, la distribución con máxima entropía de información es la mejor opción.

Historia

El principio fue expuesto por primera vez por ET Jaynes en dos artículos de 1957 ^{[1] [2]} donde enfatizó una correspondencia natural entre la mecánica estadística y la teoría de la información . En particular, Jaynes ofreció una justificación nueva y muy general de por qué funciona el método gibbsiano de mecánica estadística. Sostuvo que la entropía de la mecánica estadística y la entropía de la información de la teoría de la información son básicamente la misma. En consecuencia, la mecánica estadística debe verse simplemente como una aplicación particular de una herramienta general de inferencia lógica y teoría de la información.

Descripción general

En la mayoría de los casos prácticos, los datos previos declarados o la información comprobable vienen dados por un conjunto de cantidades conservadas (valores promedio de algunas funciones de momento), asociadas con la distribución de probabilidad en cuestión. Ésta es la forma en que se utiliza con mayor frecuencia el principio de máxima entropía en termodinámica estadística . Otra posibilidad es prescribir algunas simetrías de la distribución de probabilidad. La equivalencia entre cantidades conservadas y los grupos de simetría correspondientes implica una equivalencia similar para estas dos formas de especificar la información comprobable en el método de máxima entropía.

El principio de máxima entropía también es necesario para garantizar la unicidad y coherencia de las asignaciones de probabilidad obtenidas mediante diferentes métodos, en particular la mecánica estadística y la inferencia lógica .

El principio de máxima entropía hace explícita nuestra libertad para utilizar diferentes formas de datos previos . Como caso especial, se puede adoptar una densidad de probabilidad previa uniforme ( principio de indiferencia de Laplace , a veces llamado principio de razón insuficiente). Por tanto, el principio de máxima entropía no es simplemente una forma alternativa de ver los métodos habituales de inferencia de la estadística clásica, sino que representa una generalización conceptual significativa de esos métodos.

Sin embargo, estas afirmaciones no implican que no sea necesario demostrar que los sistemas termodinámicos son ergódicos para justificar el tratamiento como un conjunto estadístico .

En lenguaje corriente, se puede decir que el principio de máxima entropía expresa una afirmación de modestia epistémica o de máxima ignorancia. La distribución seleccionada es la que menos pretende estar informada más allá de los datos previos indicados, es decir la que admite mayor desconocimiento más allá de los datos previos indicados.

Información comprobable

El principio de máxima entropía es útil explícitamente sólo cuando se aplica a información comprobable . La información comprobable es una afirmación sobre una distribución de probabilidad cuya verdad o falsedad está bien definida. Por ejemplo, las declaraciones

la expectativa de la variable es 2.87 ${\displaystyle x}$

y

${\displaystyle p_{2}+p_{3}>0.6}$

(donde y son probabilidades de eventos) son declaraciones de información comprobable. ${\displaystyle p_{2}}$ ${\displaystyle p_{3}}$

Dada información comprobable, el procedimiento de máxima entropía consiste en buscar la distribución de probabilidad que maximice la entropía de la información , sujeta a las restricciones de la información. Este problema de optimización restringida normalmente se resuelve utilizando el método de los multiplicadores de Lagrange . ^[3]

La maximización de la entropía sin información comprobable respeta la "restricción" universal de que la suma de las probabilidades es uno. Bajo esta restricción, la distribución de probabilidad discreta de entropía máxima es la distribución uniforme ,

${\displaystyle p_{i}={\frac {1}{n}}\ {\rm {for\ all}}\ i\in \{\,1,\dots ,n\,\}.}$

Aplicaciones

El principio de máxima entropía se aplica comúnmente de dos maneras a problemas inferenciales:

Probabilidades previas

El principio de máxima entropía se utiliza a menudo para obtener distribuciones de probabilidad previas para la inferencia bayesiana . Jaynes fue un firme defensor de este enfoque, afirmando que la distribución máxima de entropía representaba la distribución menos informativa. ^[4] Actualmente se dedica una gran cantidad de literatura a la obtención de antecedentes de máxima entropía y vínculos con la codificación de canales . ^{[5] [6] [7] [8]}

Probabilidades posteriores

La entropía máxima es una regla de actualización suficiente para el probabilismo radical . La cinemática de probabilidad de Richard Jeffrey es un caso especial de inferencia de máxima entropía. Sin embargo, la entropía máxima no es una generalización de todas esas reglas de actualización suficientes. ^[9]

Modelos de máxima entropía

Alternativamente, el principio se invoca a menudo para la especificación del modelo: en este caso se supone que los datos observados en sí son la información comprobable. Estos modelos se utilizan ampliamente en el procesamiento del lenguaje natural . Un ejemplo de tal modelo es la regresión logística , que corresponde al clasificador de máxima entropía para observaciones independientes.

Estimación de densidad de probabilidad.

Una de las principales aplicaciones del principio de máxima entropía es la estimación de densidad discreta y continua . ^{[10] [11]} De manera similar a los estimadores de máquinas de vectores de soporte , el principio de máxima entropía puede requerir la solución a un problema de programación cuadrática y, por lo tanto, proporcionar un modelo de mezcla dispersa como estimador de densidad óptimo. Una ventaja importante del método es su capacidad de incorporar información previa en la estimación de la densidad. ^[12]

Solución general para la distribución máxima de entropía con restricciones lineales.

Caso discreto

Tenemos información comprobable I sobre una cantidad x que toma valores en { x ₁ , x ₂ ,..., x _n }. Suponemos que esta información tiene la forma de m restricciones sobre las expectativas de las funciones f _k ; es decir, requerimos que nuestra distribución de probabilidad satisfaga las restricciones de desigualdad/igualdad de momentos:

${\displaystyle \sum _{i=1}^{n}\Pr(x_{i})f_{k}(x_{i})\geq F_{k}\qquad k=1,\ldots ,m.}$

donde son observables. También requerimos que la densidad de probabilidad sume uno, lo que puede verse como una restricción primitiva de la función de identidad y un observable igual a 1 que da la restricción. ${\displaystyle F_{k}}$

${\displaystyle \sum _{i=1}^{n}\Pr(x_{i})=1.}$

La distribución de probabilidad con máxima entropía de información sujeta a estas restricciones de desigualdad/igualdad tiene la forma: ^[10]

${\displaystyle \Pr(x_{i})={\frac {1}{Z(\lambda _{1},\ldots ,\lambda _{m})}}\exp \left[\lambda _{1}f_{1}(x_{i})+\cdots +\lambda _{m}f_{m}(x_{i})\right],}$

para algunos . A veces se le llama distribución de Gibbs . La constante de normalización está determinada por: ${\displaystyle \lambda _{1},\ldots ,\lambda _{m}}$

${\displaystyle Z(\lambda _{1},\ldots ,\lambda _{m})=\sum _{i=1}^{n}\exp \left[\lambda _{1}f_{1}(x_{i})+\cdots +\lambda _{m}f_{m}(x_{i})\right],}$

y se denomina convencionalmente función de partición . (El teorema de Pitman-Koopman establece que la condición necesaria y suficiente para que una distribución muestral admita suficientes estadísticas de dimensión acotada es que tenga la forma general de una distribución de entropía máxima).

Los parámetros λ _{k son multiplicadores de Lagrange.} En el caso de restricciones de igualdad, sus valores se determinan a partir de la solución de las ecuaciones no lineales.

${\displaystyle F_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\ldots ,\lambda _{m}).}$

En el caso de restricciones de desigualdad, los multiplicadores de Lagrange se determinan a partir de la solución de un programa de optimización convexo con restricciones lineales. ^[10] En ambos casos, no existe una solución en forma cerrada , y el cálculo de los multiplicadores de Lagrange generalmente requiere métodos numéricos .

Caso continuo

Para distribuciones continuas , la entropía de Shannon no se puede utilizar, ya que solo está definida para espacios de probabilidad discretos. En cambio, Edwin Jaynes (1963, 1968, 2003) dio la siguiente fórmula, que está estrechamente relacionada con la entropía relativa (ver también entropía diferencial ).

${\displaystyle H_{c}=-\int p(x)\log {\frac {p(x)}{q(x)}}\,dx}$

donde q ( x ), que Jaynes llamó la "medida invariante", es proporcional a la densidad límite de puntos discretos . Por ahora, supondremos que q se conoce; Lo discutiremos más a fondo después de que se den las ecuaciones de solución.

Una cantidad estrechamente relacionada, la entropía relativa, generalmente se define como la divergencia de Kullback-Leibler de p de q (aunque a veces, de manera confusa, se define como el negativo de esto). El principio de inferencia de minimizar esto, debido a Kullback, se conoce como Principio de Discriminación Mínima de la Información .

Tenemos información comprobable I sobre una cantidad x que toma valores en algún intervalo de los números reales (todas las integrales siguientes están sobre este intervalo). Suponemos que esta información tiene la forma de m restricciones sobre las expectativas de las funciones f _k , es decir, requerimos que nuestra función de densidad de probabilidad satisfaga las restricciones de momento de desigualdad (o pura igualdad):

${\displaystyle \int p(x)f_{k}(x)\,dx\geq F_{k}\qquad k=1,\dotsc ,m.}$

donde son observables. También requerimos que la densidad de probabilidad se integre a uno, lo que puede verse como una restricción primitiva de la función de identidad y un observable igual a 1 que da la restricción. ${\displaystyle F_{k}}$

${\displaystyle \int p(x)\,dx=1.}$

La función de densidad de probabilidad con H _c máximo sujeto a estas restricciones es: ^[11]

${\displaystyle p(x)={\frac {1}{Z(\lambda _{1},\dotsc ,\lambda _{m})}}q(x)\exp \left[\lambda _{1}f_{1}(x)+\dotsb +\lambda _{m}f_{m}(x)\right]}$

con la función de partición determinada por

${\displaystyle Z(\lambda _{1},\dotsc ,\lambda _{m})=\int q(x)\exp \left[\lambda _{1}f_{1}(x)+\dotsb +\lambda _{m}f_{m}(x)\right]\,dx.}$

Como en el caso discreto, en el caso en que todas las restricciones de momento son igualdades, los valores de los parámetros están determinados por el sistema de ecuaciones no lineales: ${\displaystyle \lambda _{k}}$

${\displaystyle F_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\dotsc ,\lambda _{m}).}$

En el caso de restricciones de momento de desigualdad, los multiplicadores de Lagrange se determinan a partir de la solución de un programa de optimización convexo . ^[11]

La función de medida invariante q ( x ) se puede entender mejor suponiendo que se sabe que x toma valores sólo en el intervalo acotado ( a , b ), y que no se proporciona ninguna otra información. Entonces la función de densidad de probabilidad de entropía máxima es

${\displaystyle p(x)=A\cdot q(x),\qquad a<x<b}$

donde A es una constante de normalización. La función de medida invariante es en realidad la función de densidad previa que codifica la "falta de información relevante". No puede ser determinado por el principio de máxima entropía, y debe ser determinado por algún otro método lógico, como el principio de transformación de grupos o la teoría de la marginación .

Ejemplos

Para ver varios ejemplos de distribuciones de máxima entropía, consulte el artículo sobre distribuciones de probabilidad de máxima entropía .

Justificaciones del principio de máxima entropía

Los defensores del principio de máxima entropía justifican su uso al asignar probabilidades de varias maneras, incluidos los dos argumentos siguientes. Estos argumentos dan por sentado el uso de la probabilidad bayesiana y, por tanto, están sujetos a los mismos postulados.

La entropía de la información como medida de la "falta de información"

Considere una distribución de probabilidad discreta entre proposiciones mutuamente excluyentes . La distribución más informativa ocurriría cuando se supiera que una de las proposiciones es verdadera. En ese caso, la entropía de la información sería igual a cero. La distribución menos informativa se produciría cuando no hay motivos para favorecer alguna de las proposiciones sobre las demás. En ese caso, la única distribución de probabilidad razonable sería uniforme, y entonces la entropía de la información sería igual a su valor máximo posible, . Por lo tanto, la entropía de la información puede verse como una medida numérica que describe cuán poco informativa es una distribución de probabilidad particular, que va de cero (completamente informativa) a (completamente no informativa). ${\displaystyle m}$ ${\displaystyle \log m}$ ${\displaystyle \log m}$

Al elegir utilizar la distribución con la máxima entropía permitida por nuestra información, según el argumento, estamos eligiendo la distribución menos informativa posible. Elegir una distribución con menor entropía sería asumir información que no poseemos. Por tanto, la distribución de máxima entropía es la única distribución razonable. Sin embargo , la dependencia de la solución de la medida dominante representada por es una fuente de críticas al enfoque, ya que esta medida dominante es de hecho arbitraria. ^[13] ${\displaystyle m(x)}$

La derivación de Wallis

El siguiente argumento es el resultado de una sugerencia hecha por Graham Wallis a ET Jaynes en 1962. ^[14] Es esencialmente el mismo argumento matemático utilizado para las estadísticas de Maxwell-Boltzmann en mecánica estadística , aunque el énfasis conceptual es bastante diferente. Tiene la ventaja de ser de naturaleza estrictamente combinatoria, sin hacer referencia a la entropía de la información como una medida de "incertidumbre", "falta de información" o cualquier otro concepto imprecisamente definido. La función de entropía de la información no se asume a priori , sino que se encuentra en el transcurso del argumento; y el argumento conduce naturalmente al procedimiento de maximizar la entropía de la información, en lugar de tratarla de alguna otra manera.

Supongamos que un individuo desea realizar una asignación de probabilidad entre proposiciones mutuamente excluyentes . Tiene información comprobable, pero no está seguro de cómo incluirla en su evaluación de probabilidad. Por tanto, concibe el siguiente experimento aleatorio. Distribuirá cuantos de probabilidad (cada valor ) al azar entre las posibilidades. (Uno podría imaginar que arrojará pelotas a cubos con los ojos vendados. Para ser lo más justo posible, cada lanzamiento debe ser independiente de cualquier otro y cada cubo debe ser del mismo tamaño). comprobará si la asignación de probabilidad así obtenida es coherente con su información. (Para que este paso tenga éxito, la información debe ser una restricción dada por un conjunto abierto en el espacio de medidas de probabilidad). Si es inconsistente, lo rechazará y lo intentará nuevamente. Si es consistente, su evaluación será ${\displaystyle m}$ ${\displaystyle N}$ ${\displaystyle 1/N}$ ${\displaystyle m}$ ${\displaystyle N}$ ${\displaystyle m}$

${\displaystyle p_{i}={\frac {n_{i}}{N}}}$

donde es la probabilidad de la proposición ^{enésima , mientras que} n _i es el número de cuantos que se asignaron a la proposición ^enésima (es decir, el número de bolas que terminaron en el cubo ). ${\displaystyle p_{i}}$ ${\displaystyle i}$ ${\displaystyle i}$ ${\displaystyle i}$

Ahora bien, para reducir la "granulosidad" de la asignación de probabilidad, será necesario utilizar un número bastante grande de cuantos de probabilidad. En lugar de llevar a cabo, y posiblemente tener que repetir, el experimento aleatorio bastante largo, el protagonista decide simplemente calcular y utilizar el resultado más probable. La probabilidad de cualquier resultado particular es la distribución multinomial ,

${\displaystyle Pr(\mathbf {p} )=W\cdot m^{-N}}$

dónde

${\displaystyle W={\frac {N!}{n_{1}!\,n_{2}!\,\dotsb \,n_{m}!}}}$

A veces se le conoce como la multiplicidad del resultado.

El resultado más probable es aquel que maximiza la multiplicidad . En lugar de maximizar directamente, el protagonista podría maximizar de manera equivalente cualquier función creciente monótona de . Él decide maximizar ${\displaystyle W}$ ${\displaystyle W}$ ${\displaystyle W}$

${\displaystyle {\begin{aligned}{\frac {1}{N}}\log W&={\frac {1}{N}}\log {\frac {N!}{n_{1}!\,n_{2}!\,\dotsb \,n_{m}!}}\\[6pt]&={\frac {1}{N}}\log {\frac {N!}{(Np_{1})!\,(Np_{2})!\,\dotsb \,(Np_{m})!}}\\[6pt]&={\frac {1}{N}}\left(\log N!-\sum _{i=1}^{m}\log((Np_{i})!)\right).\end{aligned}}}$

En este punto, para simplificar la expresión, el protagonista toma el límite como , es decir, cuando los niveles de probabilidad van desde valores discretos granulados hasta valores continuos suaves. Utilizando la aproximación de Stirling , encuentra ${\displaystyle N\to \infty }$

${\displaystyle {\begin{aligned}\lim _{N\to \infty }\left({\frac {1}{N}}\log W\right)&={\frac {1}{N}}\left(N\log N-\sum _{i=1}^{m}Np_{i}\log(Np_{i})\right)\\[6pt]&=\log N-\sum _{i=1}^{m}p_{i}\log(Np_{i})\\[6pt]&=\log N-\log N\sum _{i=1}^{m}p_{i}-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=\left(1-\sum _{i=1}^{m}p_{i}\right)\log N-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=-\sum _{i=1}^{m}p_{i}\log p_{i}\\[6pt]&=H(\mathbf {p} ).\end{aligned}}}$

Todo lo que le queda al protagonista es maximizar la entropía bajo las limitaciones de su información comprobable. Ha descubierto que la distribución de máxima entropía es la más probable de todas las distribuciones aleatorias "justas", en el límite cuando los niveles de probabilidad van de discretos a continuos.

Compatibilidad con el teorema de Bayes

Giffin y Caticha (2007) afirman que el teorema de Bayes y el principio de máxima entropía son completamente compatibles y pueden verse como casos especiales del "método de máxima entropía relativa". Afirman que este método reproduce todos los aspectos de los métodos de inferencia bayesianos ortodoxos. Además, este nuevo método abre la puerta a abordar problemas que no podrían abordarse ni mediante el principio de máxima entropía ni con los métodos bayesianos ortodoxos de forma individual. Además, contribuciones recientes (Lazar 2003 y Schennach 2005) muestran que los enfoques frecuentistas de inferencia basados ​​en entropía relativa (como la probabilidad empírica y la probabilidad empírica inclinada exponencialmente; véanse, por ejemplo, Owen 2001 y Kitamura 2006) se pueden combinar con información previa para realizar cálculos bayesianos. análisis posterior.

Jaynes afirmó que el teorema de Bayes era una forma de calcular una probabilidad, mientras que la entropía máxima era una forma de asignar una distribución de probabilidad previa. ^[15]

Sin embargo, en concepto es posible resolver una distribución posterior directamente a partir de una distribución anterior establecida utilizando el principio de entropía cruzada mínima (o el principio de entropía máxima es un caso especial de uso de una distribución uniforme como la anterior dada), de forma independiente. de cualquier consideración bayesiana al tratar el problema formalmente como un problema de optimización restringida, siendo la función de entropía la función objetivo. Para el caso de valores promedio dados como información comprobable (promediados sobre la distribución de probabilidad buscada), la distribución buscada es formalmente la distribución de Gibbs (o Boltzmann) cuyos parámetros deben resolverse para lograr una entropía cruzada mínima y satisfacer la información comprobable dada.

Relevancia para la física

El principio de máxima entropía guarda relación con un supuesto clave de la teoría cinética de los gases conocido como caos molecular o Stosszahlansatz . Esto afirma que la función de distribución que caracteriza a las partículas que entran en colisión se puede factorizar. Aunque esta afirmación puede entenderse como una hipótesis estrictamente física, también puede interpretarse como una hipótesis heurística sobre la configuración más probable de las partículas antes de colisionar. ^[dieciséis]

Ver también

• Criterio de información de Akaike
• Disipación
• Infométricas
• Clasificador de máxima entropía
• Distribución de probabilidad de máxima entropía
• Estimación espectral de entropía máxima
• Termodinámica de máxima entropía
• Principio de máximo calibre.
• Equilibrio termodinámico
• Caos molecular

Notas

1. Jaynes, et (1957). «Teoría de la Información y Mecánica Estadística» (PDF) . Revisión física . Serie II. 106 (4): 620–630. Código bibliográfico : 1957PhRv..106..620J. doi : 10.1103/PhysRev.106.620. SEÑOR  0087305.
2. Jaynes, et (1957). «Teoría de la Información y Mecánica Estadística II» (PDF) . Revisión física . Serie II. 108 (2): 171-190. Código bibliográfico : 1957PhRv..108..171J. doi : 10.1103/PhysRev.108.171. SEÑOR  0096414.
3. Sivia, Devinderjit; Habilidad, John (2 de junio de 2006). Análisis de datos: un tutorial bayesiano. OUP Oxford. ISBN 978-0-19-154670-9.
4. Jaynes, et (1968). "Probabilidades previas" (PDF o PostScript) . Transacciones IEEE sobre ciencia de sistemas y cibernética . 4 (3): 227–241. doi :10.1109/TSSC.1968.300117. {{cite journal}}: Enlace externo en |format=( ayuda )
5. Clarke, B. (2006). "Optimidad de la información y modelado bayesiano". Revista de Econometría . 138 (2): 405–429. doi :10.1016/j.jeconom.2006.05.003.
6. Soofi, ES (2000). "Enfoques teóricos de la información principal". Revista de la Asociación Estadounidense de Estadística . 95 (452): 1349-1353. doi :10.2307/2669786. JSTOR  2669786. SEÑOR  1825292.
7. Bousquet, N. (2008). "Obtener antecedentes de entropía máxima vagos pero adecuados en experimentos bayesianos". Artículos estadísticos . 51 (3): 613–628. doi :10.1007/s00362-008-0149-9. S2CID  119657859.
8. Palmieri, Francesco AN; Ciuonzo, Domenico (1 de abril de 2013). "Antecedentes objetivos de máxima entropía en la clasificación de datos". Fusión de información . 14 (2): 186–198. CiteSeerX 10.1.1.387.4515 . doi :10.1016/j.inffus.2012.01.012. 
9. Skyrms, B (1987). "Actualización, suposición y MAXENT". Teoría y Decisión . 22 (3): 225–46. doi :10.1007/BF00134086. S2CID  121847242.
10. Botev, ZI; Kroese, DP (2008). "Selección de ancho de banda no asintótica para la estimación de densidad de datos discretos". Metodología y Computación en Probabilidad Aplicada . 10 (3): 435. doi :10.1007/s11009-007-9057-z. S2CID  122047337.
11. Botev, ZI; Kroese, DP (2011). "El método de entropía cruzada generalizada, con aplicaciones a la estimación de densidad de probabilidad" (PDF) . Metodología y Computación en Probabilidad Aplicada . 13 (1): 1–27. doi :10.1007/s11009-009-9133-7. S2CID  18155189.
12. Kesavan, HK; Kapur, JN (1990). "Principios de máxima entropía y mínima entropía cruzada". En Fougère, PF (ed.). Máxima Entropía y Métodos Bayesianos . págs. 419–432. doi :10.1007/978-94-009-0683-9_29. ISBN 978-94-010-6792-8.
13. Druilhet, Pierre; Marín, Jean-Michel (2007). "Conjuntos creíbles {HPD} invariantes y estimadores {MAP}". Anal bayesiano . 2 : 681–691. doi : 10.1214/07-BA227 .
14. Jaynes, ET (2003) Teoría de la probabilidad: la lógica de la ciencia , Cambridge University Press, pág. 351-355. ISBN 978-0521592710 
15. Jaynes, ET (1988) "La relación entre los métodos bayesianos y de máxima entropía", en Métodos bayesianos y de máxima entropía en ciencia e ingeniería (Vol. 1) , Kluwer Academic Publishers, p. 25-29.
16. Chliamovitch, G.; Malaspinas, O.; Chopard, B. (2017). "Teoría cinética más allá del Stosszahlansatz". Entropía . 19 (8): 381. Bibcode : 2017Entrp..19..381C. doi : 10.3390/e19080381 .

Referencias

• Bajková, AT (1992). "La generalización del método de máxima entropía para la reconstrucción de funciones complejas". Transacciones Astronómicas y Astrofísicas . 1 (4): 313–320. Código Bib : 1992A y AT.... 1.. 313B. doi : 10.1080/10556799208230532.
• Fornalski, KW; Parzych, G.; Pylak, M.; Satula, D.; Dobrzyński, L. (2010). "Aplicación del razonamiento bayesiano y el método de máxima entropía a algunos problemas de reconstrucción" (PDF) . Acta Física Polonica A. 117 (6): 892–899. Código Bib : 2010AcPPA.117..892F. doi : 10.12693/APhysPolA.117.892 .
• Giffin, A. y Caticha, A., 2007, Actualización de probabilidades con datos y momentos
• Guiasu, S.; Shenitzer, A. (1985). "El principio de máxima entropía". El inteligente matemático . 7 (1): 42–48. doi :10.1007/bf03023004. S2CID  53059968.
• Harremoës, P.; Topsøe (2001). "Fundamentos de la entropía máxima". Entropía . 3 (3): 191–226. Código Bib : 2001Entrp...3..191H. doi : 10.3390/e3030191 .
• Jaynes, ET (1963). "Teoría de la información y mecánica estadística". En Ford, K. (ed.). Física Estadística . Nueva York: Benjamín. pag. 181.
• Jaynes, ET, 1986 (nueva versión en línea 1996), "Monkeys, kangaroos and N", en Maximum-Entropy and Bayesian Methods in Applied Statistics , JH Justice (ed.), Cambridge University Press, Cambridge, p. 26.
• Kapur, JN; y Kesavan, HK , 1992, Principios de optimización de entropía con aplicaciones , Boston: Academic Press. ISBN 0-12-397670-7 
• Kitamura, Y., 2006, Métodos empíricos de verosimilitud en econometría: teoría y práctica, Documentos de debate de la Fundación Cowles 1569, Fundación Cowles, Universidad de Yale.
• Lazar, N (2003). "Probabilidad empírica bayesiana". Biometrika . 90 (2): 319–326. doi :10.1093/biomet/90.2.319.
• Owen, AB, 2001, Probabilidad empírica , Chapman y Hall/CRC. ISBN 1-58-488071-6 . 
• Schennach, SM (2005). "Probabilidad empírica bayesiana inclinada exponencialmente". Biometrika . 92 (1): 31–46. doi :10.1093/biomet/92.1.31.
• Uffink, Jos (1995). "¿Se puede explicar el principio de máxima entropía como un requisito de coherencia?" (PDF) . Estudios de Historia y Filosofía de la Física Moderna . 26B (3): 223–261. Código Bib : 1995SHPMP..26..223U. CiteSeerX  10.1.1.27.6392 . doi :10.1016/1355-2198(95)00015-1. hdl : 1874/2649. Archivado desde el original (PDF) el 3 de junio de 2006.

Otras lecturas

• Boyd, Esteban; Lieven Vandenberghe (2004). Optimización convexa (PDF) . Prensa de la Universidad de Cambridge . pag. 362.ISBN​ 0-521-83378-7. Consultado el 24 de agosto de 2008 .
• Ratnaparkhi A. (1997) "Una introducción sencilla a los modelos de máxima entropía para el procesamiento del lenguaje natural" Informe técnico 97-08, Instituto de Investigación en Ciencias Cognitivas, Universidad de Pensilvania. Una introducción fácil de leer a los métodos de máxima entropía en el contexto del procesamiento del lenguaje natural.
• Tang, A.; Jackson, D.; Hobbs, J.; Chen, W.; Smith, JL; Patel, H.; Prieto, A.; Petrusca, D.; Grivich, MI; Sher, A.; Hottowy, P.; Dabrowski, W.; Litke, AM; Pide, JM (2008). "Un modelo de máxima entropía aplicado a correlaciones espaciales y temporales de redes corticales in vitro". Revista de Neurociencia . 28 (2): 505–518. doi : 10.1523/JNEUROSCI.3359-07.2008 . PMC  6670549 . PMID  18184793.Artículo de acceso abierto que contiene sugerencias sobre varios artículos e implementaciones de software del Modelo de Máxima Entropía en la red.