Medida empírica

En teoría de la probabilidad , una medida empírica es una medida aleatoria que surge de una realización particular de una secuencia (normalmente finita) de variables aleatorias . La definición precisa se encuentra a continuación. Las medidas empíricas son relevantes para la estadística matemática .

La motivación para estudiar medidas empíricas es que a menudo es imposible conocer la verdadera medida de probabilidad subyacente . Recopilamos observaciones y calculamos frecuencias relativas . Podemos estimar , o una función de distribución relacionada por medio de la medida empírica o la función de distribución empírica, respectivamente. Estas son estimaciones uniformemente buenas bajo ciertas condiciones. Los teoremas en el área de procesos empíricos proporcionan tasas de esta convergencia. ${\displaystyle P}$ ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ ${\displaystyle P}$ ${\displaystyle F}$

Definición

Sea una secuencia de variables aleatorias independientes distribuidas de forma idéntica con valores en el espacio de estados S con distribución de probabilidad P. ${\displaystyle X_{1},X_{2},\dots }$

Definición

La medida empírica P _n se define para subconjuntos mensurables de S y se da por

${\displaystyle P_{n}(A)={1 \over n}\sum _{i=1}^{n}I_{A}(X_{i})={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}(A)}$

donde es la función indicadora y es la medida de Dirac . ${\displaystyle I_{A}}$ ${\displaystyle \delta _{X}}$

Propiedades

• Para un conjunto medible fijo A , nP _n ( A ) es una variable aleatoria binomial con media nP ( A ) y varianza nP ( A )(1 −  P ( A )).
  • En particular, P _n ( A ) es un estimador insesgado de P ( A ).
• Para una partición fija de S , las variables aleatorias forman una distribución multinomial con probabilidades de eventos ${\displaystyle A_{i}}$ ${\displaystyle Y_{i}=nP_{n}(A_{i})}$ ${\displaystyle P(A_{i})}$
  • La matriz de covarianza de esta distribución multinomial es . ${\displaystyle Cov(Y_{i},Y_{j})=nP(A_{i})(\delta _{ij}-P(A_{j}))}$

Definición

${\displaystyle {\bigl (}P_{n}(c){\bigr )}_{c\in {\mathcal {C}}}}$es la medida empírica indexada por , una colección de subconjuntos mensurables de S . ${\displaystyle {\mathcal {C}}}$

Para generalizar aún más esta noción, observe que la medida empírica asigna funciones mensurables a su media empírica , ${\displaystyle P_{n}}$ ${\displaystyle f:S\to \mathbb {R} }$

${\displaystyle f\mapsto P_{n}f=\int _{S}f\,dP_{n}={\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})}$

En particular, la medida empírica de A es simplemente la media empírica de la función indicadora, P _n ( A ) = P _n I _A .

Para una función medible fija , es una variable aleatoria con media y varianza . ${\displaystyle f}$ ${\displaystyle P_{n}f}$ ${\displaystyle \mathbb {E} f}$ ${\displaystyle {\frac {1}{n}}\mathbb {E} (f-\mathbb {E} f)^{2}}$

Por la ley fuerte de los grandes números , P _n ( A ) converge a P ( A ) casi con seguridad para A fijo . De manera similar, converge a casi con seguridad para una función medible fija . El problema de la convergencia uniforme de P _n a P estuvo abierto hasta que Vapnik y Chervonenkis lo resolvieron en 1968. ^[1] ${\displaystyle P_{n}f}$ ${\displaystyle \mathbb {E} f}$ ${\displaystyle f}$

Si la clase (o ) es Glivenko–Cantelli con respecto a P entonces P _n converge a P uniformemente sobre (o ). En otras palabras, con probabilidad 1 tenemos ${\displaystyle {\mathcal {C}}}$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle c\in {\mathcal {C}}}$ ${\displaystyle f\in {\mathcal {F}}}$

${\displaystyle \|P_{n}-P\|_{\mathcal {C}}=\sup _{c\in {\mathcal {C}}}|P_{n}(c)-P(c)|\to 0,}$

${\displaystyle \|P_{n}-P\|_{\mathcal {F}}=\sup _{f\in {\mathcal {F}}}|P_{n}f-\mathbb {E} f|\to 0.}$

Función de distribución empírica

La función de distribución empírica proporciona un ejemplo de medidas empíricas. Para variables aleatorias iid de valor real, está dada por ${\displaystyle X_{1},\dots ,X_{n}}$

${\displaystyle F_{n}(x)=P_{n}((-\infty ,x])=P_{n}I_{(-\infty ,x]}.}$

En este caso, las medidas empíricas están indexadas por una clase Se ha demostrado que es una clase Glivenko-Cantelli uniforme , en particular, ${\displaystyle {\mathcal {C}}=\{(-\infty ,x]:x\in \mathbb {R} \}.}$ ${\displaystyle {\mathcal {C}}}$

${\displaystyle \sup _{F}\|F_{n}(x)-F(x)\|_{\infty }\to 0}$

con probabilidad 1.

Véase también

• Minimización del riesgo empírico
• Medida aleatoria de Poisson

Referencias

1. Vapnik, V.; Chervonenkis, A (1968). "Convergencia uniforme de frecuencias de ocurrencia de eventos a sus probabilidades". Dokl. Akad. Nauk SSSR . 181 .

Lectura adicional

• Billingsley, P. (1995). Probabilidad y medida (tercera edición). Nueva York: John Wiley and Sons. ISBN 0-471-80478-9.
• Donsker, MD (1952). "Justificación y extensión del enfoque heurístico de Doob a los teoremas de Kolmogorov-Smirnov". Anales de estadística matemática . 23 (2): 277–281. doi : 10.1214/aoms/1177729445 .
• Dudley, RM (1978). "Teoremas del límite central para medidas empíricas". Anales de probabilidad . 6 (6): 899–929. doi : 10.1214/aop/1176995384 . JSTOR  2243028.
• Dudley, RM (1999). Teoremas del límite central uniforme . Cambridge Studies in Advanced Mathematics. Vol. 63. Cambridge, Reino Unido: Cambridge University Press. ISBN 0-521-46102-2.
• Wolfowitz, J. (1954). "Generalización del teorema de Glivenko-Cantelli". Anales de estadística matemática . 25 (1): 131–138. doi : 10.1214/aoms/1177728852 . JSTOR  2236518.