Teoría de las grandes desviaciones

Rama de la teoría de la probabilidad

En teoría de la probabilidad , la teoría de las grandes desviaciones se ocupa del comportamiento asintótico de las colas remotas de secuencias de distribuciones de probabilidad. Si bien algunas ideas básicas de la teoría se remontan a Laplace , la formalización comenzó con las matemáticas de los seguros, a saber, la teoría de la ruina con Cramér y Lundberg . Una formalización unificada de la teoría de las grandes desviaciones se desarrolló en 1966, en un artículo de Varadhan . ^[1] La teoría de las grandes desviaciones formaliza las ideas heurísticas de concentración de medidas y generaliza ampliamente la noción de convergencia de las medidas de probabilidad .

En términos generales, la teoría de las grandes desviaciones se ocupa de la disminución exponencial de las medidas de probabilidad de ciertos tipos de eventos extremos o de cola .

Ejemplos introductorios

¡Cualquier gran desviación se produce de la manera menos improbable de todas las maneras improbables!

—  Frank den Hollander, Grandes desviaciones, pág. 10

Un ejemplo elemental

Consideremos una secuencia de lanzamientos independientes de una moneda justa. Los resultados posibles podrían ser cara o cruz. Denotemos el posible resultado del i-ésimo ensayo por , donde codificamos cara como 1 y cruz como 0. Ahora denotemos el valor medio después de los ensayos, es decir ${\displaystyle X_{i}}$ ${\displaystyle M_{N}}$ ${\displaystyle N}$

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$.

Entonces se encuentra entre 0 y 1. De la ley de los grandes números se deduce que a medida que N crece, la distribución de converge a (el valor esperado de un solo lanzamiento de moneda). ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle 0.5=\operatorname {E} [X]}$

Además, por el teorema del límite central , se deduce que se distribuye de forma aproximadamente normal para valores grandes de . El teorema del límite central puede proporcionar información más detallada sobre el comportamiento de que la ley de los grandes números. Por ejemplo, podemos encontrar aproximadamente una probabilidad de cola de –la probabilidad de que sea mayor que algún valor– para un valor fijo de . Sin embargo, la aproximación por el teorema del límite central puede no ser precisa si está lejos de y no es suficientemente grande. Además, no proporciona información sobre la convergencia de las probabilidades de cola como . Sin embargo, la teoría de las grandes desviaciones puede proporcionar respuestas para tales problemas. ${\displaystyle M_{N}}$ ${\displaystyle N}$ ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle x}$ ${\displaystyle N}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} [X_{i}]}$ ${\displaystyle N}$ ${\displaystyle N\to \infty }$

Hagamos esta afirmación más precisa. Para un valor dado , calculemos la probabilidad de cola . Definamos ${\displaystyle 0.5<x<1}$ ${\displaystyle P(M_{N}>x)}$

${\displaystyle I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}}$.

Nótese que la función es una función convexa, no negativa que es cero en y aumenta a medida que se acerca a . Es el negativo de la entropía de Bernoulli con ; que es apropiada para lanzamientos de moneda se deduce de la propiedad de equipartición asintótica aplicada a una prueba de Bernoulli . Luego, por la desigualdad de Chernoff , se puede demostrar que . ^[2] Este límite es bastante agudo, en el sentido de que no se puede reemplazar con un número mayor que produciría una desigualdad estricta para todos los positivos . ^[3] (Sin embargo, el límite exponencial todavía se puede reducir por un factor subexponencial del orden de ; esto se deduce de la aproximación de Stirling aplicada al coeficiente binomial que aparece en la distribución de Bernoulli ). Por lo tanto, obtenemos el siguiente resultado: ${\displaystyle I(x)}$ ${\displaystyle x={\tfrac {1}{2}}}$ ${\displaystyle x}$ ${\displaystyle 1}$ ${\displaystyle p={\tfrac {1}{2}}}$ ${\displaystyle P(M_{N}>x)<\exp(-NI(x))}$ ${\displaystyle I(x)}$ ${\displaystyle N}$ ${\displaystyle 1/{\sqrt {N}}}$

${\displaystyle P(M_{N}>x)\approx \exp(-NI(x))}$.

La probabilidad decae exponencialmente a una tasa que depende de x . Esta fórmula aproxima cualquier probabilidad de cola de la media de la muestra de las variables iid y proporciona su convergencia a medida que aumenta el número de muestras. ${\displaystyle P(M_{N}>x)}$ ${\displaystyle N\to \infty }$

Grandes desviaciones para sumas de variables aleatorias independientes

En el ejemplo anterior del lanzamiento de una moneda, asumimos explícitamente que cada lanzamiento es un ensayo independiente y que la probabilidad de obtener cara o cruz es siempre la misma.

Sean variables aleatorias independientes e idénticamente distribuidas (iid) cuya distribución común satisface una determinada condición de crecimiento. Entonces existe el siguiente límite: ${\displaystyle X,X_{1},X_{2},\ldots }$

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)}$.

Aquí

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$,

Como antes.

La función se denomina " función de velocidad " o "función de Cramér" o, a veces, "función de entropía". ${\displaystyle I(\cdot )}$

El límite mencionado anteriormente significa que para valores grandes , ${\displaystyle N}$

${\displaystyle P(M_{N}>x)\approx \exp[-NI(x)]}$,

que es el resultado básico de la teoría de las grandes desviaciones. ^{[4] [5]}

Si conocemos la distribución de probabilidad de , se puede obtener una expresión explícita para la función de tasa. Esta se da mediante una transformación de Legendre-Fenchel , ^[6] ${\displaystyle X}$

${\displaystyle I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]}$,

dónde

${\displaystyle \lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]}$

se llama función generadora cumulante (CGF) y denota la expectativa matemática . ${\displaystyle \operatorname {E} }$

Si sigue una distribución normal , la función de velocidad se convierte en una parábola con su vértice en la media de la distribución normal. ${\displaystyle X}$

Si es una cadena de Markov irreducible y aperiódica , la variante del resultado básico de grandes desviaciones indicado anteriormente puede ser válida. ^{[ cita requerida ]} ${\displaystyle \{X_{i}\}}$

Desviaciones moderadas para sumas de variables aleatorias independientes

El ejemplo anterior controlaba la probabilidad del evento , es decir, la concentración de la ley de en el conjunto compacto . También es posible controlar la probabilidad del evento para alguna secuencia . El siguiente es un ejemplo de un principio de desviaciones moderadas : ^{[7] [8]} ${\displaystyle [M_{N}>x]}$ ${\displaystyle M_{N}}$ ${\displaystyle [-x,x]}$ ${\displaystyle [M_{N}>xa_{N}]}$ ${\displaystyle a_{N}\to 0}$

Teorema  —  Sea una secuencia de variables iid centradas con varianza finita tal que . Defina . Entonces, para cualquier secuencia : ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle \forall \lambda \in \mathbb {R} ,\ \ln \mathbb {E} [e^{\lambda X_{1}}]<\infty }$ ${\displaystyle M_{N}:={\frac {1}{N}}\sum \limits _{n\leq N}X_{N}}$ ${\displaystyle 1\ll a_{N}\ll {\sqrt {N}}}$

${\displaystyle \lim \limits _{N\to +\infty }{\frac {a_{N}^{2}}{N}}\ln \mathbb {P} [a_{N}M_{N}\geq x]=-{\frac {x^{2}}{2\sigma ^{2}}}}$

En particular, el caso límite es el teorema del límite central . ${\displaystyle a_{N}={\sqrt {N}}}$

Definición formal

Dado un espacio polaco , sea una secuencia de medidas de probabilidad de Borel en , sea una secuencia de números reales positivos tales que , y finalmente sea una funcional semicontinua inferior en Se dice que la secuencia satisface un principio de gran desviación con velocidad y tasa si, y solo si, para cada conjunto medible de Borel , ${\displaystyle {\mathcal {X}}}$ ${\displaystyle \{\mathbb {P} _{N}\}}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle \{a_{N}\}}$ ${\displaystyle \lim _{N}a_{N}=\infty }$ ${\displaystyle I:{\mathcal {X}}\to [0,\infty ]}$ ${\displaystyle {\mathcal {X}}.}$ ${\displaystyle \{\mathbb {P} _{N}\}}$ ${\displaystyle \{a_{n}\}}$ ${\displaystyle I}$ ${\displaystyle E\subset {\mathcal {X}}}$

${\displaystyle -\inf _{x\in E^{\circ }}I(x)\leq \varliminf _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq \varlimsup _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq -\inf _{x\in {\overline {E}}}I(x)}$,

donde y denotan respectivamente el cierre y el interior de . ^{[ cita requerida ]} ${\displaystyle {\overline {E}}}$ ${\displaystyle E^{\circ }}$ ${\displaystyle E}$

Breve historia

Los primeros resultados rigurosos sobre las grandes desviaciones se deben al matemático sueco Harald Cramér , quien los aplicó para modelar el negocio de los seguros. ^[9] Desde el punto de vista de una compañía de seguros, las ganancias son a una tasa constante por mes (la prima mensual) pero las reclamaciones se producen aleatoriamente. Para que la compañía tenga éxito durante un cierto período de tiempo (preferiblemente muchos meses), las ganancias totales deben superar la reclamación total. Por lo tanto, para estimar la prima hay que hacerse la siguiente pregunta: "¿Qué deberíamos elegir como prima de modo que a lo largo de los meses la reclamación total sea inferior a ?". Esta es claramente la misma pregunta que plantea la teoría de las grandes desviaciones. Cramér dio una solución a esta pregunta para variables aleatorias iid , donde la función de tasa se expresa como una serie de potencias . ${\displaystyle q}$ ${\displaystyle N}$ ${\displaystyle C=\Sigma X_{i}}$ ${\displaystyle Nq}$

Una lista muy incompleta de matemáticos que han hecho avances importantes incluiría a Petrov , ^[10] Sanov , ^[11] SRS Varadhan (que ganó el premio Abel por su contribución a la teoría), D. Ruelle , OE Lanford , Mark Freidlin , Alexander D. Wentzell , Amir Dembo y Ofer Zeitouni . ^[12]

Aplicaciones

Los principios de las grandes desviaciones se pueden aplicar de manera eficaz para recopilar información de un modelo probabilístico. Por lo tanto, la teoría de las grandes desviaciones encuentra sus aplicaciones en la teoría de la información y la gestión de riesgos . En física, la aplicación más conocida de la teoría de las grandes desviaciones surge en la termodinámica y la mecánica estadística (en relación con la relación de la entropía con la función de velocidad).

Grandes desviaciones y entropía

La función de velocidad está relacionada con la entropía en mecánica estadística. Esto puede verse heurísticamente de la siguiente manera. En mecánica estadística, la entropía de un macroestado particular está relacionada con el número de microestados que corresponden a este macroestado. En nuestro ejemplo de lanzamiento de moneda, el valor medio podría designar un macroestado particular. Y la secuencia particular de caras y cruces que da lugar a un valor particular constituye un microestado particular. En términos generales, un macroestado que tiene un mayor número de microestados que lo generan, tiene mayor entropía. Y un estado con mayor entropía tiene una mayor probabilidad de realizarse en experimentos reales. El macroestado con valor medio de 1/2 (tantas caras como cruces) tiene el mayor número de microestados que lo generan y es, de hecho, el estado con la mayor entropía. Y en la mayoría de las situaciones prácticas, de hecho, obtendremos este macroestado para un gran número de ensayos. La "función de velocidad", por otro lado, mide la probabilidad de aparición de un macroestado particular. Cuanto menor sea la función de velocidad, mayor será la probabilidad de que aparezca un macroestado. En nuestro lanzamiento de moneda, el valor de la "función de velocidad" para un valor medio igual a 1/2 es cero. De esta manera, se puede ver la "función de velocidad" como el negativo de la "entropía". ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$

Existe una relación entre la "función de velocidad" en la teoría de grandes desviaciones y la divergencia de Kullback-Leibler ; la conexión se establece mediante el teorema de Sanov (véase Sanov ^[11] y Novak, ^[13] cap. 14.5).

En un caso especial, las grandes desviaciones están estrechamente relacionadas con el concepto de límites de Gromov-Hausdorff . ^[14]

Véase también

• Principio de gran desviación
• Teorema de la gran desviación de Cramer
• Desigualdad de Chernoff
• Teorema de Sanov
• Principio de contracción (teoría de grandes desviaciones) , un resultado de cómo los principios de grandes desviaciones " impulsan hacia adelante "
• Teorema de Freidlin-Wentzell , un principio de grandes desviaciones para las difusiones de Itō
• Transformación de Legendre : La equivalencia de conjunto se basa en esta transformación.
• Principio de Laplace , un principio de grandes desviaciones en R ^d
• El método de Laplace
• Teorema de Schilder , un principio de grandes desviaciones para el movimiento browniano
• Lema de Varadhan
• Teoría del valor extremo
• Grandes desviaciones de funciones aleatorias gaussianas

Referencias

1. SRS Varadhan, Probabilidad asintótica y ecuaciones diferenciales , Comm. Pure Appl. Math. 19 (1966), 261-286.
2. "Grandes desviaciones para el análisis del rendimiento: colas, comunicaciones y computación", Shwartz, Adam, 1953- TN: 1228486
3. Varadhan, SRS, Anales de probabilidad 2008, vol. 36, n.º 2, 397–419, [1]
4. "Grandes desviaciones" (PDF) . www.math.nyu.edu . 2 de febrero de 2012 . Consultado el 11 de junio de 2024 .
5. SRS Varadhan, Grandes desviaciones y aplicaciones (SIAM, Filadelfia, 1984)
6. Touchette, Hugo (1 de julio de 2009). "El enfoque de la gran desviación en la mecánica estadística". Physics Reports . 478 (1–3): 1–69. arXiv : 0804.0327 . Bibcode :2009PhR...478....1T. doi :10.1016/j.physrep.2009.05.002. S2CID  118416390.
7. Dembo, Amir; Zeitouni, Ofer (3 de noviembre de 2009). Grandes desviaciones: técnicas y aplicaciones. Springer Science & Business Media. pág. 109. ISBN 978-3-642-03311-7.
8. Sethuraman, Jayaram; O., Robert (2011), "Desviaciones moderadas", en Lovric, Miodrag (ed.), Enciclopedia internacional de ciencia estadística , Berlín, Heidelberg: Springer Berlin Heidelberg, págs. 847–849, doi :10.1007/978-3-642-04898-2_374, ISBN 978-3-642-04897-5, consultado el 2 de julio de 2023
9. Cramér, H. (1944). Sobre un nuevo teorema límite de la teoría de la probabilidad. Uspekhi Matematicheskikh Nauk, (10), 166-178.
10. Petrov VV (1954) Generalización del teorema del límite de Cramér. Uspehi Matem. Nauk, v. 9, n.° 4(62), 195-202. (en ruso)
11. Sanov IN (1957) Sobre la probabilidad de grandes desviaciones de magnitudes aleatorias. Matem. Sbornik, v. 42 (84), 11--44.
12. Dembo, A., y Zeitouni, O. (2009). Técnicas y aplicaciones para grandes desviaciones (Vol. 38). Springer Science & Business Media
13. Novak SY (2011) Métodos de valor extremo con aplicaciones a las finanzas. Chapman & Hall/CRC Press. ISBN 978-1-4398-3574-6 . 
14. Kotani M., Sunada T. Gran desviación y el cono tangente en el infinito de una red cristalina , Math. Z. 254, (2006), 837-870.

Bibliografía

• Artículo especial por invitación: Grandes desviaciones de SRS Varadhan The Annals of Probability 2008, vol. 36, núm. 2, 397–419 doi :10.1214/07-AOP348
• Una introducción básica a las grandes desviaciones: teoría, aplicaciones, simulaciones, Hugo Touchette, arXiv:1106.4146.
• Entropía, grandes desviaciones y mecánica estadística, de RS Ellis, Springer Publication, ISBN 3-540-29059-1 
• Grandes desviaciones para el análisis del rendimiento, de Alan Weiss y Adam Shwartz, Chapman y Hall, ISBN 0-412-06311-5 
• Técnicas y aplicaciones para grandes desviaciones, de Amir Dembo y Ofer Zeitouni. Springer ISBN 0-387-98406-2 
• Un curso sobre grandes desviaciones con una introducción a las medidas de Gibbs por Firas Rassoul-Agha y Timo Seppäläinen. Grad. Stud. Math., 162. American Mathematical Society ISBN 978-0-8218-7578-0 
• Perturbaciones aleatorias de sistemas dinámicos por MI Freidlin y AD Wentzell. Springer ISBN 0-387-98362-7 
• "Grandes desviaciones para la ecuación de Navier-Stokes bidimensional con ruido multiplicativo", SS Sritharan y P. Sundar, Procesos estocásticos y sus aplicaciones, vol. 116 (2006) 1636–1659.[2]
• "Grandes desviaciones para el modelo de capa estocástica de turbulencia", U. Manna, SS Sritharan y P. Sundar, NoDEA Nonlinear Differential Equations Appl. 16 (2009), n.º 4, 493–521.[3]