Distribución subgaussiana

Distribución de probabilidad continua

En teoría de la probabilidad , una distribución subgaussiana , la distribución de una variable aleatoria subgaussiana , es una distribución de probabilidad con un fuerte decaimiento de cola. Más específicamente, las colas de una distribución subgaussiana están dominadas por (es decir, decaen al menos tan rápido como) las colas de una distribución gaussiana . Esta propiedad da a las distribuciones subgaussianas su nombre.

A menudo, en el análisis, dividimos un objeto (como una variable aleatoria) en dos partes, una masa central y una cola distante, y luego analizamos cada una por separado. En probabilidad, esta división suele ser como "Todo lo interesante sucede cerca del centro. El evento de la cola es tan raro que podemos ignorarlo sin problemas". Las distribuciones subgaussianas son dignas de estudio, porque la distribución gaussiana se entiende bien y, por lo tanto, podemos dar límites precisos a la rareza del evento de la cola. De manera similar, las distribuciones subexponenciales también son dignas de estudio.

Formalmente, la distribución de probabilidad de una variable aleatoria se denomina subgaussiana si existe una constante positiva C tal que para cada , ${\displaystyle X}$ ${\displaystyle t\geq 0}$

${\textstyle \operatorname {P} (|X|\geq t)\leq 2\exp {(-t^{2}/C^{2})}}$.

Existen muchas definiciones equivalentes. Por ejemplo, una variable aleatoria es subgaussiana si y solo si su función de distribución está acotada desde arriba (hasta una constante) por la función de distribución de una gaussiana: ${\displaystyle X}$

${\displaystyle P(|X|\geq t)\leq cP(|Z|\geq t)\quad \forall t>0}$

donde es constante y es una variable aleatoria gaussiana de media cero. ^{[1] : Teorema 2.6} ${\displaystyle c\geq 0}$ ${\displaystyle Z}$

Definiciones

Norma subgaussiana

La norma subgaussiana de , denotada como , es En otras palabras, es la norma de Orlicz de generada por la función de Orlicz. Por la condición siguiente, las variables aleatorias subgaussianas se pueden caracterizar como aquellas variables aleatorias con norma subgaussiana finita. ${\displaystyle X}$ ${\displaystyle \Vert X\Vert _{\psi _{2}}}$ $${\displaystyle \Vert X\Vert _{\psi _{2}}=\inf \left\{c>0:\operatorname {E} \left[\exp {\left({\frac {X^{2}}{c^{2}}}\right)}\right]\leq 2\right\}.}$$ ${\displaystyle X}$ ${\displaystyle \Phi (u)=e^{u^{2}}-1.}$ ${\displaystyle (2)}$

Indicador de varianza

Si existe algo tal que para todo , entonces se llama proxy de varianza , y el más pequeño de ellos se llama proxy de varianza óptimo y se denota por . ${\displaystyle s^{2}}$ ${\displaystyle \operatorname {E} [e^{(X-\operatorname {E} [X])t}]\leq e^{\frac {s^{2}t^{2}}{2}}}$ ${\displaystyle t}$ ${\displaystyle s^{2}}$ ${\displaystyle s^{2}}$ ${\displaystyle \Vert X\Vert _{\mathrm {vp} }^{2}}$

Desde cuando es gaussiano, entonces tenemos , como debería ser. ${\displaystyle \operatorname {E} [e^{(X-\operatorname {E} [X])t}]=e^{\frac {\sigma ^{2}t^{2}}{2}}}$ ${\displaystyle X\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$ ${\displaystyle \|X\|_{vp}^{2}=\sigma ^{2}}$

Definiciones equivalentes

Sea una variable aleatoria. Las siguientes condiciones son equivalentes: (Proposición 2.5.2 ^[2] ) ${\displaystyle X}$

1. Límite de probabilidad de cola: para todos , donde es una constante positiva; ${\displaystyle \operatorname {P} (|X|\geq t)\leq 2\exp {(-t^{2}/K_{1}^{2})}}$ ${\displaystyle t\geq 0}$ ${\displaystyle K_{1}}$
2. Norma subgaussiana finita: . ${\displaystyle \Vert X\Vert _{\psi _{2}}=K_{2}<\infty }$
3. Momento : para todo , donde es una constante positiva y es la función Gamma . ${\displaystyle \operatorname {E} |X|^{p}\leq 2K_{3}^{p}\Gamma \left({\frac {p}{2}}+1\right)}$ ${\displaystyle p\geq 1}$ ${\displaystyle K_{3}}$ ${\displaystyle \Gamma }$
4. Momento : para todos , ${\displaystyle \operatorname {E} |X|^{p}\leq K^{p}p^{p/2}}$ ${\displaystyle p\geq 1}$
5. Función generadora de momentos (de ), o proxy de varianza ^{[3] [4]}  : para todo , donde es una constante positiva. ${\displaystyle X}$ ${\displaystyle \operatorname {E} [e^{(X-\operatorname {E} [X])t}]\leq e^{\frac {K^{2}t^{2}}{2}}}$ ${\displaystyle t}$ ${\displaystyle K}$
6. Función generadora de momentos (de ): para algunos , para todos . ${\displaystyle X^{2}}$ ${\displaystyle K>0}$ ${\displaystyle \operatorname {E} [e^{X^{2}t^{2}}]\leq e^{K^{2}t^{2}}}$ ${\displaystyle t\in [-1/K,+1/K]}$
7. Límite de unión : para algún c > 0 , para todo n > c , donde son copias iid de X . ${\displaystyle \ \operatorname {E} [\max\{|X_{1}-\operatorname {E} [X]|,\ldots ,|X_{n}-\operatorname {E} [X]|\}]\leq c{\sqrt {\log n}}}$ ${\displaystyle X_{1},\ldots ,X_{n}}$
8. Subexponencial : tiene una distribución subexponencial. ${\displaystyle X^{2}}$

Además, la constante es la misma en las definiciones (1) a (5), hasta una constante absoluta. Por ejemplo, dada una variable aleatoria que satisface (1) y (2), las constantes mínimas en las dos definiciones satisfacen , donde son constantes independientes de la variable aleatoria. ${\displaystyle K}$ ${\displaystyle K_{1},K_{2}}$ ${\displaystyle K_{1}\leq cK_{2},K_{2}\leq c'K_{1}}$ ${\displaystyle c,c'}$

Prueba de equivalencia

A modo de ejemplo, las primeras cuatro definiciones son equivalentes según la prueba siguiente.

Prueba . Por la representación de la torta en capas , ${\displaystyle (1)\implies (3)}$ $${\displaystyle {\begin{aligned}\operatorname {E} |X|^{p}&=\int _{0}^{\infty }\operatorname {P} (|X|^{p}\geq t)dt\\&=\int _{0}^{\infty }pt^{p-1}\operatorname {P} (|X|\geq t)dt\\&\leq 2\int _{0}^{\infty }pt^{p-1}\exp \left(-{\frac {t^{2}}{K_{1}^{2}}}\right)dt\\\end{aligned}}}$$

Después de un cambio de variables , encontramos que Por la serie de Taylor que es menor o igual a para . Sea , entonces ${\displaystyle u=t^{2}/K_{1}^{2}}$ $${\displaystyle {\begin{aligned}\operatorname {E} |X|^{p}&\leq 2K_{1}^{p}{\frac {p}{2}}\int _{0}^{\infty }u^{{\frac {p}{2}}-1}e^{-u}du\\&=2K_{1}^{p}{\frac {p}{2}}\Gamma \left({\frac {p}{2}}\right)\\&=2K_{1}^{p}\Gamma \left({\frac {p}{2}}+1\right).\end{aligned}}}$$ ${\displaystyle (3)\implies (2)}$ ${\textstyle e^{x}=1+\sum _{p=1}^{\infty }{\frac {x^{p}}{p!}},}$ $${\displaystyle {\begin{aligned}\operatorname {E} [\exp {(\lambda X^{2})}]&=1+\sum _{p=1}^{\infty }{\frac {\lambda ^{p}\operatorname {E} {[X^{2p}]}}{p!}}\\&\leq 1+\sum _{p=1}^{\infty }{\frac {2\lambda ^{p}K_{3}^{2p}\Gamma \left(p+1\right)}{p!}}\\&=1+2\sum _{p=1}^{\infty }\lambda ^{p}K_{3}^{2p}\\&=2\sum _{p=0}^{\infty }\lambda ^{p}K_{3}^{2p}-1\\&={\frac {2}{1-\lambda K_{3}^{2}}}-1\quad {\text{for }}\lambda K_{3}^{2}<1,\end{aligned}}}$$ ${\displaystyle 2}$ ${\displaystyle \lambda \leq {\frac {1}{3K_{3}^{2}}}}$ ${\displaystyle K_{2}\geq 3^{\frac {1}{2}}K_{3}}$ ${\textstyle \operatorname {E} [\exp {(X^{2}/K_{2}^{2})}]\leq 2.}$

${\displaystyle (2)\implies (1)}$Por la desigualdad de Markov , por fórmula asintótica para la función gamma: . $${\displaystyle \operatorname {P} (|X|\geq t)=\operatorname {P} \left(\exp \left({\frac {X^{2}}{K_{2}^{2}}}\right)\geq \exp \left({\frac {t^{2}}{K_{2}^{2}}}\right)\right)\leq {\frac {\operatorname {E} [\exp {(X^{2}/K_{2}^{2})}]}{\exp \left({\frac {t^{2}}{K_{2}^{2}}}\right)}}\leq 2\exp \left(-{\frac {t^{2}}{K_{2}^{2}}}\right).}$$ ${\displaystyle (3)\iff (4)}$ ${\displaystyle \Gamma (p/2+1)\sim {\sqrt {\pi p}}\left({\frac {p}{2e}}\right)^{p/2}}$

De la prueba podemos extraer un ciclo de tres desigualdades:

• Si , entonces para todos . ${\displaystyle \operatorname {P} (|X|\geq t)\leq 2\exp {(-t^{2}/K^{2})}}$ ${\displaystyle \operatorname {E} |X|^{p}\leq 2K^{p}\Gamma \left({\frac {p}{2}}+1\right)}$ ${\displaystyle p\geq 1}$
• Si para todos , entonces . ${\displaystyle \operatorname {E} |X|^{p}\leq 2K^{p}\Gamma \left({\frac {p}{2}}+1\right)}$ ${\displaystyle p\geq 1}$ ${\displaystyle \|X\|_{\psi _{2}}\leq 3^{\frac {1}{2}}K}$
• Si , entonces . ${\displaystyle \|X\|_{\psi _{2}}\leq K}$ ${\displaystyle \operatorname {P} (|X|\geq t)\leq 2\exp {(-t^{2}/K^{2})}}$

En particular, las constantes proporcionadas por las definiciones son las mismas hasta un factor constante, por lo que podemos decir que las definiciones son equivalentes hasta una constante independiente de . ${\displaystyle K}$ ${\displaystyle X}$

De manera similar, debido a que hasta una constante multiplicativa positiva, para todo , las definiciones (3) y (4) también son equivalentes hasta una constante. ${\displaystyle \Gamma (p/2+1)=p^{p/2}\times ((2e)^{-1/2}p^{1/2p})^{p}}$ ${\displaystyle p\geq 1}$

Propiedades básicas

Proposición.

• Si es subgaussiano, y , entonces y . ${\displaystyle X}$ ${\displaystyle k>0}$ ${\displaystyle \|kX\|_{\psi _{2}}=k\|X\|_{\psi _{2}}}$ ${\displaystyle \|kX\|_{vp}=k\|X\|_{vp}}$
• Si son subgaussianos, entonces . ${\displaystyle X,Y}$ ${\displaystyle \|X+Y\|_{vp}^{2}\leq (\|X\|_{vp}+\|Y\|_{vp})^{2}}$

Proposición. ( Límite de Chernoff ) Si es subgaussiano, entonces para todo . ${\displaystyle X}$ ${\displaystyle Pr(X\geq t)\leq e^{-{\frac {t^{2}}{2\|X\|_{vp}^{2}}}}}$ ${\displaystyle t\geq 0}$

Definición. significa que , donde la constante positiva es independiente de y . ${\displaystyle X\lesssim X'}$ ${\displaystyle X\leq CX'}$ ${\displaystyle C}$ ${\displaystyle X}$ ${\displaystyle X'}$

Proposición. Si es subgaussiano, entonces . ${\displaystyle X}$ ${\displaystyle \|X-E[X]\|_{\psi _{2}}\lesssim \|X\|_{\psi _{2}}}$

Demostración. Por la desigualdad triangular, . Ahora tenemos . Por la equivalencia de las definiciones (2) y (4) de subgaussianidad, dadas anteriormente, tenemos . ${\displaystyle \|X-E[X]\|_{\psi _{2}}\leq \|X\|_{\psi _{2}}+\|E[X]\|_{\psi _{2}}}$ ${\displaystyle \|E[X]\|_{\psi _{2}}={\sqrt {\ln 2}}|E[X]|\leq {\sqrt {\ln 2}}E[|X|]\sim E[|X|]}$ ${\displaystyle E[|X|]\lesssim \|X\|_{\psi _{2}}}$

Proposición. Si son subgaussianas e independientes, entonces . ${\displaystyle X,Y}$ ${\displaystyle \|X+Y\|_{vp}^{2}\leq \|X\|_{vp}^{2}+\|Y\|_{vp}^{2}}$

Demostración. Si son independientes, entonces se utiliza que el cumulante de las variables aleatorias independientes es aditivo. Es decir, . ${\displaystyle \ln \operatorname {E} [e^{t(X+Y)}]=\ln \operatorname {E} [e^{tX}]+\ln \operatorname {E} [e^{tY}]}$

Si no es independiente, entonces por la desigualdad de Hölder , para cualquier tenemos Resolviendo el problema de optimización , obtenemos el resultado. ${\displaystyle 1/p+1/q=1}$ $${\displaystyle E[e^{t(X+Y)}]=\|e^{t(X+Y)}\|_{1}\leq e^{{\frac {1}{2}}t^{2}(p\|X\|_{vp}^{2}+q\|Y\|_{vp}^{2})}}$$ ${\displaystyle {\begin{cases}\min p\|X\|_{vp}^{2}+q\|Y\|_{vp}^{2}\\1/p+1/q=1\end{cases}}}$

Corolario. Las sumas lineales de variables aleatorias subgaussianas son subgaussianas.

Estrictamente subgaussiano

Desarrollando la función generadora de cumulantes : encontramos que . En el límite de la posibilidad, definimos que una variable aleatoria que satisface se llama estrictamente subgaussiana. $${\displaystyle {\frac {1}{2}}s^{2}t^{2}\geq \ln \operatorname {E} [e^{tX}]={\frac {1}{2}}\mathrm {Var} [X]t^{2}+\kappa _{3}t^{3}+\cdots }$$ ${\displaystyle \mathrm {Var} [X]\leq \|X\|_{\mathrm {vp} }^{2}}$ ${\displaystyle X}$ ${\displaystyle \mathrm {Var} [X]=\|X\|_{\mathrm {vp} }^{2}}$

Propiedades

Teorema. ^[5] Sea una variable aleatoria subgaussiana con media cero. Si todos los ceros de su función característica son reales, entonces es estrictamente subgaussiana. ${\displaystyle X}$ ${\displaystyle X}$

Corolario. Si son independientes y estrictamente subgaussianas, entonces cualquier suma lineal de ellas es estrictamente subgaussiana. ${\displaystyle X_{1},\dots ,X_{n}}$

Ejemplos

Calculando las funciones características, podemos demostrar que algunas distribuciones son estrictamente subgaussianas: distribución uniforme simétrica, distribución de Bernoulli simétrica.

Como una distribución uniforme simétrica es estrictamente subgaussiana, su convolución consigo misma es estrictamente subgaussiana. Es decir, la distribución triangular simétrica es estrictamente subgaussiana.

Dado que la distribución de Bernoulli simétrica es estrictamente subgaussiana, cualquier distribución binomial simétrica es estrictamente subgaussiana.

Ejemplos

El proxy de varianza óptimo se conoce para muchas distribuciones de probabilidad estándar, incluidas beta, Bernoulli, Dirichlet ^[6] , Kumaraswamy, triangular ^[7] , gaussiana truncada y exponencial truncada ^[8] . ${\displaystyle \Vert X\Vert _{\mathrm {vp} }^{2}}$

Distribución de Bernoulli

Sean dos números positivos. Sea una distribución de Bernoulli centrada , de modo que tenga media cero, entonces . ^[9] Su norma subgaussiana es donde es la única solución positiva de . ${\displaystyle p+q=1}$ ${\displaystyle X}$ ${\displaystyle p\delta _{q}+q\delta _{-p}}$ ${\displaystyle \Vert X\Vert _{\mathrm {vp} }^{2}={\frac {p-q}{2(\log p-\log q)}}}$ ${\displaystyle t}$ ${\displaystyle t}$ ${\displaystyle pe^{(q/t)^{2}}+qe^{(p/t)^{2}}=2}$

Sea una variable aleatoria con distribución Bernoulli simétrica (o distribución Rademacher ). Es decir, toma valores y con probabilidades cada uno. Como , se deduce que y por lo tanto es una variable aleatoria subgaussiana. ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle -1}$ ${\displaystyle 1}$ ${\displaystyle 1/2}$ ${\displaystyle X^{2}=1}$ $${\displaystyle \Vert X\Vert _{\psi _{2}}=\inf \left\{c>0:\operatorname {E} \left[\exp {\left({\frac {X^{2}}{c^{2}}}\right)}\right]\leq 2\right\}=\inf \left\{c>0:\exp {\left({\frac {1}{c^{2}}}\right)}\leq 2\right\}={\frac {1}{\sqrt {\ln 2}}},}$$ ${\displaystyle X}$

Distribuciones acotadas

Algunas distribuciones acotadas comúnmente utilizadas.

Las distribuciones acotadas no tienen cola en absoluto, por lo que claramente son subgaussianas.

Si está acotado dentro del intervalo , el lema de Hoeffding establece que . La desigualdad de Hoeffding es el límite de Chernoff obtenido utilizando este hecho. ${\displaystyle X}$ ${\displaystyle [a,b]}$ ${\displaystyle \Vert X\Vert _{\mathrm {vp} }^{2}\leq \left({\frac {b-a}{2}}\right)^{2}}$

Convoluciones

Densidad de una mezcla de tres distribuciones normales ( μ  = 5, 10, 15, σ  = 2) con pesos iguales. Cada componente se muestra como una densidad ponderada (cada una integra 1/3)

Dado que la suma de las variables aleatorias subgaussianas sigue siendo subgaussiana, la convolución de las distribuciones subgaussianas sigue siendo subgaussiana. En particular, cualquier convolución de la distribución normal con cualquier distribución acotada es subgaussiana.

Mezclas

Dadas distribuciones subgaussianas , podemos construir una mezcla aditiva de la siguiente manera: primero escogemos aleatoriamente un número , luego escogemos . ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ ${\displaystyle X}$ ${\displaystyle i\in \{1,2,\dots ,n\}}$ ${\displaystyle X_{i}}$

Como tenemos , y por lo tanto la mezcla es subgaussiana. ${\displaystyle \operatorname {E} \left[\exp {\left({\frac {X^{2}}{c^{2}}}\right)}\right]=\sum _{i}p_{i}\operatorname {E} \left[\exp {\left({\frac {X_{i}^{2}}{c^{2}}}\right)}\right]}$ ${\displaystyle \|X\|_{\psi _{2}}\leq \max _{i}\|X_{i}\|_{\psi _{2}}}$

En particular, cualquier mezcla gaussiana es subgaussiana.

De manera más general, la mezcla de infinitas distribuciones subgaussianas también es subgaussiana, si la norma subgaussiana tiene un supremo finito: . ${\displaystyle \|X\|_{\psi _{2}}\leq \sup _{i}\|X_{i}\|_{\psi _{2}}}$

Vectores aleatorios subgaussianos

Hasta ahora, hemos analizado la subgaussianidad para variables aleatorias de valor real. También podemos definir la subgaussianidad para vectores aleatorios. El propósito de la subgaussianidad es hacer que las colas decaigan rápidamente, por lo que generalizamos en consecuencia: un vector aleatorio subgaussiano es un vector aleatorio donde la cola decae rápidamente.

Sea un vector aleatorio que toma valores en . ${\displaystyle X}$ ${\displaystyle \mathbb {R} ^{n}}$

Definir.

• ${\displaystyle \|X\|_{\psi _{2}}:=\sup _{v\in S^{n-1}}\|v^{T}X\|_{\psi _{2}}}$, donde está la esfera unitaria en . ${\displaystyle S^{n-1}}$ ${\displaystyle \mathbb {R} ^{n}}$
• ${\displaystyle X}$es subgaussiano si y solo si . ${\displaystyle \|X\|_{\psi _{2}}<\infty }$

Teorema. (Teorema 3.4.6 ^[2] ) Para cualquier entero positivo , el vector aleatorio uniformemente distribuido es subgaussiano, con . ${\displaystyle n}$ ${\displaystyle X\sim U({\sqrt {n}}S^{n-1})}$ ${\displaystyle \|X\|_{\psi _{2}}\lesssim {}1}$

Esto no es tan sorprendente, porque como , la proyección de a la primera coordenada converge en distribución a la distribución normal estándar. ${\displaystyle n\to \infty }$ ${\displaystyle U({\sqrt {n}}S^{n-1})}$

Desigualdades máximas

Proposición. Si son subgaussianas de media cero, con , entonces para cualquier , tenemos con probabilidad . ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle \|X_{i}\|_{vp}^{2}\leq \sigma ^{2}}$ ${\displaystyle \delta >0}$ ${\displaystyle \max(X_{1},\dots ,X_{n})\leq \sigma {\sqrt {2\ln {\frac {n}{\delta }}}}}$ ${\displaystyle \geq 1-\delta }$

Demostración. Por el límite de Chernoff, . Ahora aplique el límite de unión . ${\displaystyle Pr(X_{i}\geq \sigma {\sqrt {2\ln(n/\delta )}})\leq \delta /n}$

Proposición. (Ejercicio 2.5.10 ^[2] ) Si son subgaussianas, con , entonces Además, el límite es agudo, ya que cuando son muestras IID de tenemos . ^[10] ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle \|X_{i}\|_{\psi _{2}}\leq K}$ $${\displaystyle E\left[\sup _{n}{\frac {|X_{n}|}{\sqrt {1+\ln n}}}\right]\lesssim K,\quad E\left[\max _{1\leq n\leq N}|X_{n}|\right]\lesssim K{\sqrt {\ln N}}}$$ ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle {\mathcal {N}}(0,1)}$ ${\displaystyle E\left[\max _{1\leq n\leq N}|X_{n}|\right]\gtrsim {\sqrt {\ln N}}}$

^[11]

Teorema. (sobre un conjunto finito) Si son subgaussianos, con , entonces Teorema. (sobre un politopo convexo ) Fijemos un conjunto finito de vectores . Si es un vector aleatorio, tal que cada , entonces se cumplen las 4 desigualdades anteriores, reemplazando . ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle \|X_{i}\|_{vp}^{2}\leq \sigma ^{2}}$ $${\displaystyle {\begin{aligned}E[\max _{i}(X_{i}-E[X_{i}])]\leq \sigma {\sqrt {2\ln n}},&\quad P(\max _{i}X_{i}>t)\leq ne^{-{\frac {t^{2}}{2\sigma ^{2}}}},\\E[\max _{i}|X_{i}-E[X_{i}]|]\leq \sigma {\sqrt {2\ln(2n)}},&\quad P(\max _{i}|X_{i}|>t)\leq 2ne^{-{\frac {t^{2}}{2\sigma ^{2}}}}\end{aligned}}}$$ ${\displaystyle v_{1},\dots ,v_{n}}$ ${\displaystyle X}$ ${\displaystyle \|v_{i}^{T}X\|_{vp}^{2}\leq \sigma ^{2}}$ ${\displaystyle \max _{v\in \mathrm {conv} (v_{1},\dots ,v_{n})}v^{T}X}$ ${\displaystyle \max _{i}X_{i}}$

Aquí está el politopo convexo abarcado por los vectores . ${\displaystyle \mathrm {conv} (v_{1},\dots ,v_{n})}$ ${\displaystyle v_{1},\dots ,v_{n}}$

Teorema. (sobre una pelota) Si es un vector aleatorio en , tal que para todos en la esfera unitaria , entonces Para cualquier , con probabilidad al menos , ${\displaystyle X}$ ${\displaystyle \mathbb {R} ^{d}}$ ${\displaystyle \|v^{T}X\|_{vp}^{2}\leq \sigma ^{2}}$ ${\displaystyle v}$ ${\displaystyle S}$ $${\displaystyle E[\max _{v\in S}v^{T}X]=E[\max _{v\in S}|v^{T}X|]\leq 4\sigma {\sqrt {d}}}$$ ${\displaystyle \delta >0}$ ${\displaystyle 1-\delta }$ $${\displaystyle \max _{v\in S}v^{T}X=\max _{v\in S}|v^{T}X|\leq 4\sigma {\sqrt {d}}+2\sigma {\sqrt {2\log(1/\delta )}}}$$

Desigualdades

Teorema. (Teorema 2.6.1 ^[2] ) Existe una constante positiva tal que dado cualquier número de variables aleatorias subgaussianas independientes de media cero , Teorema. (Desigualdad de Hoeffding) (Teorema 2.6.3 ^[2] ) Existe una constante positiva tal que dado cualquier número de variables aleatorias subgaussianas independientes de media cero , Teorema. (Desigualdad de Bernstein) (Teorema 2.8.1 ^[2] ) Existe una constante positiva tal que dado cualquier número de variables aleatorias subexponenciales independientes de media cero , Teorema. (Desigualdad de Khinchine) (Ejercicio 2.6.5 ^[2] ) Existe una constante positiva tal que dado cualquier número de variables aleatorias subgaussianas independientes de media cero y varianza uno , cualquier , y cualquier , ${\displaystyle C}$ ${\displaystyle X_{1},\dots ,X_{n}}$ $${\displaystyle \left\|\sum _{i=1}^{n}X_{i}\right\|_{\psi _{2}}^{2}\leq C\sum _{i=1}^{n}\left\|X_{i}\right\|_{\psi _{2}}^{2}}$$ ${\displaystyle c}$ ${\displaystyle X_{1},\dots ,X_{N}}$ $${\displaystyle \mathbb {P} \left(\left|\sum _{i=1}^{N}X_{i}\right|\geq t\right)\leq 2\exp \left(-{\frac {ct^{2}}{\sum _{i=1}^{N}\left\|X_{i}\right\|_{\psi _{2}}^{2}}}\right)\quad \forall t>0}$$ ${\displaystyle c}$ ${\displaystyle X_{1},\dots ,X_{N}}$ $${\displaystyle \mathbb {P} \left(\left|\sum _{i=1}^{N}X_{i}\right|\geq t\right)\leq 2\exp \left(-c\min \left({\frac {t^{2}}{\sum _{i=1}^{N}\left\|X_{i}\right\|_{\psi _{1}}^{2}}},{\frac {t}{\max _{i}\left\|X_{i}\right\|_{\psi _{1}}}}\right)\right)}$$ ${\displaystyle C}$ ${\displaystyle X_{1},\dots ,X_{N}}$ ${\displaystyle p\geq 2}$ ${\displaystyle a_{1},\dots ,a_{N}\in \mathbb {R} }$ $${\displaystyle \left(\sum _{i=1}^{N}a_{i}^{2}\right)^{1/2}\leq \left\|\sum _{i=1}^{N}a_{i}X_{i}\right\|_{L^{p}}\leq CK{\sqrt {p}}\left(\sum _{i=1}^{N}a_{i}^{2}\right)^{1/2}}$$

Desigualdad de Hanson-Wright

La desigualdad de Hanson-Wright establece que si un vector aleatorio es subgaussiano en cierto sentido, entonces cualquier forma cuadrática de este vector, , también es subgaussiana/subexponencial. Además, el límite superior de la cola de , es uniforme . ${\displaystyle X}$ ${\displaystyle A}$ ${\displaystyle X^{T}AX}$ ${\displaystyle X^{T}AX}$

En (Hanson, Wright, 1971) se demostró una versión débil del siguiente teorema. ^[12] Existen muchas extensiones y variantes. Al igual que el teorema del límite central, la desigualdad de Hanson-Wright es más un conjunto de teoremas con el mismo propósito que un único teorema. El propósito es tomar un vector subgaussiano y acotar uniformemente sus formas cuadráticas.

Teorema. ^{[13] [14]} Existe una constante , tal que: ${\displaystyle c}$

Sea un entero positivo. Sean variables aleatorias independientes, de modo que cada una satisfaga . Combínelas en un vector aleatorio . Para cualquier matriz , tenemos donde , y es la norma de Frobenius de la matriz, y es la norma del operador de la matriz. ${\displaystyle n}$ ${\displaystyle X_{1},...,X_{n}}$ ${\displaystyle E[X_{i}]=0}$ ${\displaystyle X=(X_{1},\dots ,X_{n})}$ ${\displaystyle n\times n}$ ${\displaystyle A}$ $${\displaystyle P(|X^{T}AX-E[X^{T}AX]|>t)\leq \max \left(2e^{-{\frac {ct^{2}}{K^{4}\|A\|_{F}^{2}}}},2e^{-{\frac {ct}{K^{2}\|A\|}}}\right)=2\exp \left[-c\min \left({\frac {t^{2}}{K^{4}\|A\|_{F}^{2}}},{\frac {t}{K^{2}\|A\|}}\right)\right]}$$ ${\displaystyle K=\max _{i}\|X_{i}\|_{\psi _{2}}}$ ${\displaystyle \|A\|_{F}={\sqrt {\sum _{ij}A_{ij}^{2}}}}$ ${\displaystyle \|A\|=\max _{\|x\|_{2}=1}\|Ax\|_{2}}$

En palabras, la forma cuadrática tiene su cola uniformemente limitada por una exponencial o una gaussiana, cualquiera que sea mayor. ${\displaystyle X^{T}AX}$

En el enunciado del teorema, la constante es una "constante absoluta", lo que significa que no tiene dependencia de . Es una constante matemática muy similar a pi y e . ${\displaystyle c}$ ${\displaystyle n,X_{1},\dots ,X_{n},A}$

Consecuencias

Teorema (concentración subgaussiana). ^[13] Existe una constante , tal que: ${\displaystyle c}$

Sean números enteros positivos. Sean variables aleatorias independientes, tales que cada una satisfaga . Combínelas en un vector aleatorio . Para cualquier matriz , tenemos En palabras, el vector aleatorio está concentrado en una capa esférica de radio , tal que es subgaussiana, con norma subgaussiana . ${\displaystyle n,m}$ ${\displaystyle X_{1},...,X_{n}}$ ${\displaystyle E[X_{i}]=0,E[X_{i}^{2}]=1}$ ${\displaystyle X=(X_{1},\dots ,X_{n})}$ ${\displaystyle m\times n}$ ${\displaystyle A}$ $${\displaystyle P(|\|AX\|_{2}-\|A\|_{F}|>t)\leq 2e^{-{\frac {ct^{2}}{K^{4}\|A\|^{2}}}}}$$ ${\displaystyle AX}$ ${\displaystyle \|A\|_{F}}$ ${\displaystyle \|AX\|_{2}-\|A\|_{F}}$ ${\displaystyle \leq {\sqrt {3/c}}\|A\|K^{2}}$

Véase también

• Distribución platicúrtica

Notas

1. Wainwright MJ. Estadísticas de alta dimensión: un punto de vista no asintótico . Cambridge: Cambridge University Press; 2019. doi :10.1017/9781108627771, ISBN 9781108627771 . 
2. Vershynin, R. (2018). Probabilidad de alta dimensión: una introducción con aplicaciones en la ciencia de datos . Cambridge: Cambridge University Press.
3. Kahane, J. (1960). "Propiedades locales de funciones de la serie de Fourier aléatoires". Estudios Matemáticos . 19 : 1–25. doi :10.4064/sm-19-1-1-25.
4. Buldygin, VV; Kozachenko, Yu. V. (1980). "Variables aleatorias subgaussianas". Revista matemática ucraniana . 32 (6): 483–489. doi :10.1007/BF01087176.
5. Bobkov, SG; Chistyakov, GP; Götze, F. (3 de agosto de 2023). "Distribuciones de probabilidad estrictamente subgaussianas". arXiv : 2308.01749 [math.PR].
6. Marchal, Olivier; Arbel, Julyan (2017). "Sobre la sub-gaussianidad de las distribuciones Beta y Dirichlet". Comunicaciones electrónicas en probabilidad . 22 . arXiv : 1705.00048 . doi :10.1214/17-ECP92.
7. Arbel, Julyan; Marchal, Olivier; Nguyen, Hien D. (2020). "Sobre subgaussianidad estricta, varianza proxy óptima y simetría para variables aleatorias acotadas". Esaim: Probability and Statistics . 24 : 39–55. arXiv : 1901.09188 . doi :10.1051/ps/2019018.
8. Barreto, Mathias; Marchal, Olivier; Arbel, Julyan (2024). "Proxy de varianza subgaussiana óptima para variables aleatorias exponenciales y gaussianas truncadas". arXiv : 2403.08628 [math.ST].
9. Bobkov, SG; Chistyakov, GP; Götze, F. (3 de agosto de 2023). "Distribuciones de probabilidad estrictamente subgaussianas". arXiv : 2308.01749 [math.PR].
10. Kamath, Gautam. "Límites de la expectativa del máximo de muestras de una gaussiana". (2015)
11. "MIT 18.S997 | Primavera de 2015 | Estadística de alta dimensión, Capítulo 1. Variables aleatorias subgaussianas" (PDF) . MIT OpenCourseWare . Consultado el 3 de abril de 2024 .
12. Hanson, DL; Wright, FT (1971). "Un límite en las probabilidades de cola para formas cuadráticas en variables aleatorias independientes". Anales de estadística matemática . 42 (3): 1079–1083. doi : 10.1214/aoms/1177693335 . ISSN  0003-4851. JSTOR  2240253.
13. Rudelson, Mark; Vershynin, Roman (enero de 2013). "Desigualdad de Hanson-Wright y concentración subgaussiana". Comunicaciones electrónicas en probabilidad . 18 (ninguno): 1–9. arXiv : 1306.2872 . doi :10.1214/ECP.v18-2865. ISSN  1083-589X.
14. Vershynin, Roman (2018). "6. Formas cuadráticas, simetrización y contracción". Probabilidad de alta dimensión: una introducción con aplicaciones en la ciencia de datos. Cambridge Series in Statistical and Probabilistic Mathematics. Cambridge: Cambridge University Press. págs. 127–146. doi :10.1017/9781108231596.009. ISBN 978-1-108-41519-4.

Referencias

• Kahane, JP (1960). "Propiedades locales de funciones de la serie de Fourier aléatoires". Estudios Matemáticos . 19 : 1–25. doi : 10.4064/sm-19-1-1-25 .
• Buldygin, VV; Kozachenko, Yu.V. (1980). "Variables aleatorias subgaussianas". Revista matemática ucraniana . 32 (6): 483–489. doi :10.1007/BF01087176.
• Ledoux, Michel; Talagrand, Michel (1991). Probabilidad en espacios de Banach . Springer-Verlag.
• Stromberg, KR (1994). Probabilidad para analistas . Chapman & Hall/CRC.
• Litvak, AE; Pajor, A.; Rudelson, M.; Tomczak-Jaegermann, N. (2005). "Valor singular más pequeño de matrices aleatorias y geometría de politopos aleatorios" (PDF) . Avances en Matemáticas . 195 (2): 491–523. doi : 10.1016/j.aim.2004.08.004 .
• Rudelson, Mark; Vershynin, Roman (2010). "Teoría no asintótica de matrices aleatorias: valores singulares extremos". Actas del Congreso Internacional de Matemáticos 2010. págs. 1576–1602. arXiv : 1003.2990 . doi :10.1142/9789814324359_0111.
• Rivasplata, O. (2012). "Variables aleatorias subgaussianas: una nota expositiva" (PDF) . Inédito .
• Vershynin, R. (2018). "Probabilidad de alta dimensión: una introducción con aplicaciones en la ciencia de datos" (PDF). Volumen 47 de Cambridge Series in Statistical and Probabilistic Mathematics . Cambridge University Press, Cambridge.
• Zajkowskim, K. (2020). "Sobre normas en alguna clase de espacios de Orlicz de tipo exponencial de variables aleatorias". Positividad. Revista internacional de matemáticas dedicada a la teoría y aplicaciones de la positividad. 24 (5): 1231--1240. arXiv :1709.02970. doi :10.1007/s11117-019-00729-6.