Teoría de las grandes desviaciones

Rama de la teoría de la probabilidad

En teoría de la probabilidad , la teoría de las grandes desviaciones se refiere al comportamiento asintótico de colas remotas de secuencias de distribuciones de probabilidad. Si bien algunas ideas básicas de la teoría se remontan a Laplace , la formalización comenzó con las matemáticas de seguros, es decir, la teoría de la ruina con Cramér y Lundberg . En 1966, en un artículo de Varadhan , se desarrolló una formalización unificada de la teoría de la gran desviación . ^[1] La teoría de las grandes desviaciones formaliza las ideas heurísticas de concentración de medidas y generaliza ampliamente la noción de convergencia de medidas de probabilidad .

En términos generales, la teoría de las grandes desviaciones se ocupa de la disminución exponencial de las medidas de probabilidad de ciertos tipos de eventos extremos o de cola .

Ejemplos introductorios

¡Cualquier desviación importante se realiza de la manera menos improbable de todas las improbables!

—  Frank den Hollander, Grandes desviaciones, pág. 10

Un ejemplo elemental

Considere una secuencia de lanzamientos independientes de una moneda justa. Los posibles resultados podrían ser cara o cruz. Denotemos el posible resultado de la i-ésima prueba por , donde codificamos la cabeza como 1 y la cola como 0. Ahora denotemos el valor medio después de las pruebas, a saber ${\displaystyle X_{i}}$ ${\displaystyle M_{N}}$ ${\displaystyle N}$

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$.

Entonces se encuentra entre 0 y 1. De la ley de los grandes números se deduce que a medida que N crece, la distribución de converge a (el valor esperado de un solo lanzamiento de moneda). ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle 0.5=\operatorname {E} [X]}$

Además, según el teorema del límite central , se deduce que tiene una distribución aproximadamente normal para grandes . El teorema del límite central puede proporcionar información más detallada sobre el comportamiento que la ley de los grandes números. Por ejemplo, podemos encontrar aproximadamente una probabilidad de cola de (la probabilidad de que sea mayor que algún valor ) para un valor fijo de . Sin embargo, la aproximación mediante el teorema del límite central puede no ser precisa si está lejos de serlo y no es lo suficientemente grande. Además, no proporciona información sobre la convergencia de las probabilidades de cola como . Sin embargo, la teoría de la gran desviación puede proporcionar respuestas a tales problemas. ${\displaystyle M_{N}}$ ${\displaystyle N}$ ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle x}$ ${\displaystyle N}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} [X_{i}]}$ ${\displaystyle N}$ ${\displaystyle N\to \infty }$

Precisemos más esta afirmación. Para un valor dado , calculemos la probabilidad de la cola . Definir ${\displaystyle 0.5<x<1}$ ${\displaystyle P(M_{N}>x)}$

${\displaystyle I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}}$.

Tenga en cuenta que la función es convexa y no negativa, que es cero en y aumenta a medida que se aproxima a . Es el negativo de la entropía de Bernoulli con ; que es apropiado para lanzamientos de monedas se desprende de la propiedad de equipartición asintótica aplicada a un ensayo de Bernoulli . Luego, mediante la desigualdad de Chernoff , se puede demostrar que . ^[2] Este límite es bastante agudo, en el sentido de que no puede reemplazarse con un número mayor que produciría una desigualdad estricta para todos los positivos . ^[3] (Sin embargo, el límite exponencial aún se puede reducir mediante un factor subexponencial del orden de ; esto se desprende de la aproximación de Stirling aplicada al coeficiente binomial que aparece en la distribución de Bernoulli ). Por lo tanto, obtenemos el siguiente resultado: ${\displaystyle I(x)}$ ${\displaystyle x={\tfrac {1}{2}}}$ ${\displaystyle x}$ ${\displaystyle 1}$ ${\displaystyle p={\tfrac {1}{2}}}$ ${\displaystyle P(M_{N}>x)<\exp(-NI(x))}$ ${\displaystyle I(x)}$ ${\displaystyle N}$ ${\displaystyle 1/{\sqrt {N}}}$

${\displaystyle P(M_{N}>x)\approx \exp(-NI(x))}$.

La probabilidad decae exponencialmente a un ritmo que depende de x . Esta fórmula aproxima cualquier probabilidad de cola de la media muestral de variables iid y proporciona su convergencia a medida que aumenta el número de muestras. ${\displaystyle P(M_{N}>x)}$ ${\displaystyle N\to \infty }$

Grandes desviaciones para sumas de variables aleatorias independientes.

En el ejemplo anterior de lanzamiento de moneda, asumimos explícitamente que cada lanzamiento es una prueba independiente y que la probabilidad de obtener cara o cruz es siempre la misma.

Sean variables aleatorias independientes e idénticamente distribuidas ( iid) cuya distribución común satisface una determinada condición de crecimiento. Entonces existe el siguiente límite: ${\displaystyle X,X_{1},X_{2},\ldots }$

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)}$.

Aquí

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$,

como antes.

La función se denomina " función de tasa " o "función de Cramér" o, a veces, "función de entropía". ${\displaystyle I(\cdot )}$

El límite mencionado anteriormente significa que para grandes , ${\displaystyle N}$

${\displaystyle P(M_{N}>x)\approx \exp[-NI(x)]}$,

que es el resultado básico de la teoría de las grandes desviaciones. ^{[4] [5]}

Si conocemos la distribución de probabilidad de , se puede obtener una expresión explícita para la función de tasa. Esto viene dado por una transformación de Legendre-Fenchel , ^[6] ${\displaystyle X}$

${\displaystyle I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]}$,

dónde

${\displaystyle \lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]}$

se llama función generadora acumulativa (CGF) y denota la expectativa matemática . ${\displaystyle \operatorname {E} }$

Si sigue una distribución normal , la función de tasa se convierte en una parábola con su vértice en la media de la distribución normal. ${\displaystyle X}$

Si se trata de una cadena de Markov irreducible y aperiódica , la variante del resultado básico de grandes desviaciones indicada anteriormente puede ser válida. ^{[ cita necesaria ]} ${\displaystyle \{X_{i}\}}$

Desviaciones moderadas para sumas de variables aleatorias independientes.

El ejemplo anterior controlaba la probabilidad del evento , es decir, la concentración de la ley de en el conjunto compacto . También es posible controlar la probabilidad del evento para alguna secuencia . El siguiente es un ejemplo de un principio de desviaciones moderadas : ^{[7] [8]} ${\displaystyle [M_{N}>x]}$ ${\displaystyle M_{N}}$ ${\displaystyle [-x,x]}$ ${\displaystyle [M_{N}>xa_{N}]}$ ${\displaystyle a_{N}\to 0}$

Teorema  :  sea una secuencia de variables iid centradas con varianza finita tal que . Definir . Luego para cualquier secuencia : ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle \forall \lambda \in \mathbb {R} ,\ \ln \mathbb {E} [e^{\lambda X_{1}}]<\infty }$ ${\displaystyle M_{N}:={\frac {1}{N}}\sum \limits _{n\leq N}X_{N}}$ ${\displaystyle 1\ll a_{N}\ll {\sqrt {N}}}$

${\displaystyle \lim \limits _{N\to +\infty }{\frac {a_{N}^{2}}{N}}\ln \mathbb {P} [a_{N}M_{N}\geq x]=-{\frac {x^{2}}{2\sigma ^{2}}}}$

En particular, el caso límite es el teorema del límite central . ${\displaystyle a_{N}={\sqrt {N}}}$

Definicion formal

Dado un espacio polaco , sea una secuencia de medidas de probabilidad de Borel en , sea una secuencia de números reales positivos tal que y finalmente sea un funcional semicontinuo inferior en . Se dice que la secuencia satisface un principio de gran desviación con velocidad y tasa si, y sólo si, para cada conjunto medible de Borel , ${\displaystyle {\mathcal {X}}}$ ${\displaystyle \{\mathbb {P} _{N}\}}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle \{a_{N}\}}$ ${\displaystyle \lim _{N}a_{N}=\infty }$ ${\displaystyle I:{\mathcal {X}}\to [0,\infty ]}$ ${\displaystyle {\mathcal {X}}.}$ ${\displaystyle \{\mathbb {P} _{N}\}}$ ${\displaystyle \{a_{n}\}}$ ${\displaystyle I}$ ${\displaystyle E\subset {\mathcal {X}}}$

${\displaystyle -\inf _{x\in E^{\circ }}I(x)\leq \varliminf _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq \varlimsup _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq -\inf _{x\in {\overline {E}}}I(x)}$,

donde y denotan respectivamente el cierre y el interior de . ^{[ cita necesaria ]} ${\displaystyle {\overline {E}}}$ ${\displaystyle E^{\circ }}$ ${\displaystyle E}$

Breve historia

Los primeros resultados rigurosos sobre grandes desviaciones se deben al matemático sueco Harald Cramér , quien los aplicó para modelar el negocio de los seguros. ^[9] Desde el punto de vista de una compañía de seguros, los ingresos son a una tasa constante por mes (la prima mensual), pero las reclamaciones se producen al azar. Para que la empresa tenga éxito durante un cierto período de tiempo (preferiblemente muchos meses), las ganancias totales deben exceder el reclamo total. Por lo tanto, para estimar la prima hay que plantearse la siguiente pregunta: "¿Qué debemos elegir como prima para que a lo largo de los meses la reclamación total sea inferior a ?" Esta es claramente la misma pregunta que plantea la teoría de las grandes desviaciones. Cramér dio una solución a esta pregunta para variables aleatorias iid , donde la función de tasa se expresa como una serie de potencias . ${\displaystyle q}$ ${\displaystyle N}$ ${\displaystyle C=\Sigma X_{i}}$ ${\displaystyle Nq}$

Una lista muy incompleta de matemáticos que han logrado avances importantes incluiría a Petrov , ^[10] Sanov , ^[11] SRS Varadhan (que ganó el premio Abel por su contribución a la teoría), D. Ruelle , OE Lanford , Amir Dembo , y Ofer Zeitouni . ^[12]

Aplicaciones

Los principios de grandes desviaciones se pueden aplicar eficazmente para recopilar información a partir de un modelo probabilístico. Así, la teoría de las grandes desviaciones encuentra sus aplicaciones en la teoría de la información y la gestión de riesgos . En física, la aplicación más conocida de la teoría de las grandes desviaciones surge en la termodinámica y la mecánica estadística (en relación con la relación de la entropía con la función de velocidad).

Grandes desviaciones y entropía.

La función de tasa está relacionada con la entropía en la mecánica estadística. Esto se puede ver heurísticamente de la siguiente manera. En mecánica estadística, la entropía de un macroestado particular está relacionada con el número de microestados que corresponden a este macroestado. En nuestro ejemplo de lanzamiento de moneda, el valor medio podría designar un macroestado particular. Y la secuencia particular de caras y cruces que da lugar a un valor particular de constituye un microestado particular. En términos generales, un macroestado que tiene un mayor número de microestados que lo generan, tiene mayor entropía. Y un estado con mayor entropía tiene mayores posibilidades de realizarse en experimentos reales. El macroestado con un valor medio de 1/2 (tantas caras como cruces) tiene el mayor número de microestados que lo generan y, de hecho, es el estado con mayor entropía. Y en la mayoría de las situaciones prácticas obtendremos este macroestado para un gran número de ensayos. La "función de tasa", por otro lado, mide la probabilidad de aparición de un macroestado particular. Cuanto menor sea la función de tasa, mayor será la probabilidad de que aparezca un macroestado. En nuestro lanzamiento de moneda, el valor de la "función de tasa" para un valor medio igual a 1/2 es cero. De esta manera se puede ver la "función de tasa" como el negativo de la "entropía". ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$

Existe una relación entre la "función de tasa" en la teoría de las grandes desviaciones y la divergencia de Kullback-Leibler ; la conexión la establece el teorema de Sanov (ver Sanov ^[11] y Novak, ^[13] cap. 14.5).

En un caso especial, las grandes desviaciones están estrechamente relacionadas con el concepto de límites de Gromov-Hausdorff . ^[14]

Ver también

• Principio de gran desviación
• Teorema de la gran desviación de Cramér
• La desigualdad de Chernoff
• teorema de sanov
• Principio de contracción (teoría de las grandes desviaciones) , un resultado de cómo los principios de las grandes desviaciones " hacen avanzar "
• Teorema de Freidlin-Wentzell , un principio de grandes desviaciones para las difusiones de Itō
• Transformación de Legendre , la equivalencia de conjunto se basa en esta transformación.
• Principio de Laplace , un principio de grandes desviaciones en R ^d
• El método de Laplace
• Teorema de Schilder , un principio de grandes desviaciones para el movimiento browniano
• Lema de Varadhan
• Teoría del valor extremo
• Grandes desviaciones de funciones aleatorias gaussianas.

Referencias

1. SRS Varadhan, Probabilidad asintótica y ecuaciones diferenciales , Comm. Pura aplicación. Matemáticas. 19 (1966), 261-286.
2. "Grandes desviaciones para el análisis de rendimiento: colas, comunicaciones e informática", Shwartz, Adam, 1953- TN: 1228486
3. Varadhan, SRS, Los anales de la probabilidad 2008, vol. 36, núm. 2, 397–419, [1]
4. http://math.nyu.edu/faculty/varadhan/Spring2012/Chapters1-2.pdf ^{[ URL básica PDF ]}
5. SRS Varadhan, Grandes desviaciones y aplicaciones (SIAM, Filadelfia, 1984)
6. Touchette, Hugo (1 de julio de 2009). "El enfoque de la gran desviación de la mecánica estadística". Informes de Física . 478 (1–3): 1–69. arXiv : 0804.0327 . Código Bib : 2009PhR...478....1T. doi :10.1016/j.physrep.2009.05.002. S2CID  118416390.
7. Dembo, Amir; Zeitouni, Ofer (3 de noviembre de 2009). Técnicas y aplicaciones de grandes desviaciones. Medios de ciencia y negocios de Springer. pag. 109.ISBN​ 978-3-642-03311-7.
8. Sethuraman, Jayaram; O., Robert (2011), "Moderate Deviations", en Lovric, Miodrag (ed.), Enciclopedia internacional de ciencia estadística , Berlín, Heidelberg: Springer Berlin Heidelberg, págs. 847–849, doi :10.1007/978-3- 642-04898-2_374, ISBN 978-3-642-04897-5, consultado el 2 de julio de 2023
9. Cramér, H. (1944). Sobre un nuevo teorema límite de la teoría de la probabilidad. Uspekhi Matematicheskikh Nauk, (10), 166-178.
10. Petrov VV (1954) Generalización del teorema del límite de Cramér. Uspehi Matem. Nauk, v. 9, No 4(62), 195--202.(ruso)
11. Sanov IN (1957) Sobre la probabilidad de grandes desviaciones de magnitudes aleatorias. Matem. Sbornik, v. 42 (84), 11--44.
12. Dembo, A. y Zeitouni, O. (2009). Técnicas y aplicaciones de grandes desviaciones (Vol. 38). Medios de ciencia y negocios de Springer
13. Novak SY (2011) Métodos de valor extremo con aplicaciones a las finanzas. Chapman y Hall/CRC Press. ISBN 978-1-4398-3574-6 . 
14. Kotani M., Sunada T. Gran desviación y cono tangente en el infinito de una red cristalina , Math. Z. 254, (2006), 837-870.

Bibliografía

• Artículo invitado especial: Grandes desviaciones de SRS Varadhan The Annals of Probability 2008, vol. 36, n° 2, 397–419 doi :10.1214/07-AOP348
• Una introducción básica a las grandes desviaciones: teoría, aplicaciones, simulaciones, Hugo Touchette, arXiv:1106.4146.
• Entropía, grandes desviaciones y mecánica estadística por RS Ellis, Springer Publication. ISBN 3-540-29059-1 
• Grandes desviaciones para el análisis de desempeño por Alan Weiss y Adam Shwartz. Chapman y Hall ISBN 0-412-06311-5 
• Técnicas y aplicaciones de grandes desviaciones por Amir Dembo y Ofer Zeitouni. Springer ISBN 0-387-98406-2 
• Un curso sobre grandes desviaciones con una introducción a las medidas de Gibbs a cargo de Firas Rassoul-Agha y Timo Seppäläinen. Graduado. Semental. Math., 162. Sociedad Estadounidense de Matemáticas ISBN 978-0-8218-7578-0 
• Perturbaciones aleatorias de sistemas dinámicos por MI Freidlin y AD Wentzell. Springer ISBN 0-387-98362-7 
• "Grandes desviaciones de la ecuación bidimensional de Navier-Stokes con ruido multiplicativo", SS Sritharan y P. Sundar, Procesos estocásticos y sus aplicaciones, vol. 116 (2006) 1636–1659.[2]
• "Grandes desviaciones para el modelo de turbulencia de caparazón estocástico", U. Manna, SS Sritharan y P. Sundar, NoDEA Nonlinear Differential Equations Appl. 16 (2009), núm. 4, 493–521.[3]