En teoría de la probabilidad , una medida empírica es una medida aleatoria que surge de una realización particular de una secuencia (generalmente finita) de variables aleatorias . La definición precisa se encuentra a continuación. Las medidas empíricas son relevantes para la estadística matemática .
La motivación para estudiar medidas empíricas es que a menudo es imposible conocer la verdadera medida de probabilidad subyacente . Recopilamos observaciones y calculamos frecuencias relativas . Podemos estimar , o una función de distribución relacionada mediante la medida empírica o la función de distribución empírica, respectivamente. Estas son estimaciones uniformemente buenas bajo ciertas condiciones. Los teoremas en el área de los procesos empíricos proporcionan tasas de esta convergencia.![{\displaystyle P}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\ Displaystyle X_ {1}, X_ {2}, \ puntos, X_ {n}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle P}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle F}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Definición
Sea una secuencia de variables aleatorias independientes distribuidas idénticamente con valores en el espacio de estados S con distribución de probabilidad P.![{\ Displaystyle X_ {1}, X_ {2}, \ puntos}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Definición
- La medida empírica P n se define para subconjuntos mensurables de S y está dada por
![{\displaystyle P_{n}(A)={1 \over n}\sum _{i=1}^{n}I_{A}(X_{i})={\frac {1}{n}} \sum _{i=1}^{n}\delta _{X_{i}}(A)}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
- donde es la función indicadora y es la medida de Dirac .
![{\ Displaystyle I_ {A}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \delta _{X}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Propiedades
- Para un conjunto fijo mensurable A , nP n ( A ) es una variable aleatoria binomial con media nP ( A ) y varianza nP ( A )(1 − P ( A )).
- Para una partición fija de S , las variables aleatorias forman una distribución multinomial con probabilidades de eventos
![{\ Displaystyle A_ {i}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\ Displaystyle P (A_ {i})}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
- La matriz de covarianza de esta distribución multinomial es .
![{\displaystyle Cov(Y_{i},Y_{j})=nP(A_{i})(\delta _ {ij}-P(A_{j}))}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Definición
es la medida empírica indexada por , una colección de subconjuntos mensurables de S .![{\displaystyle {\mathcal {C}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Para generalizar aún más esta noción, observe que la medida empírica asigna funciones medibles a su media empírica ,
![{\displaystyle f:S\to \mathbb {R} }](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle f\mapsto P_{n}f=\int _{S}f\,dP_{n}={\frac {1}{n}}\sum _{i=1}^{n}f( X_ {i})}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
En particular, la medida empírica de A es simplemente la media empírica de la función indicadora, P n ( A ) = P n I A .
Para una función fija mensurable , es una variable aleatoria con media y varianza .![{\displaystyle f}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle P_{n}f}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \mathbb {E} f}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\frac {1}{n}}\mathbb {E} (f-\mathbb {E} f)^{2}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Por la fuerte ley de los grandes números , P n ( A ) converge a P ( A ) casi con seguridad para A fijo . De manera similar converge casi con seguridad para una función fija mensurable . El problema de la convergencia uniforme de P n a P estuvo abierto hasta que Vapnik y Chervonenkis lo resolvieron en 1968. [1]![{\displaystyle P_{n}f}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \mathbb {E} f}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle f}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Si la clase (o ) es Glivenko-Cantelli con respecto a P, entonces P n converge a P uniformemente sobre (o ). En otras palabras, con probabilidad 1 tenemos![{\displaystyle {\mathcal {C}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\mathcal {F}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle c\in {\mathcal {C}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle f\in {\mathcal {F}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \|P_{n}-P\|_{\mathcal {C}}=\sup _ {c\in {\mathcal {C}}}|P_{n}(c)-P(c) |\a 0,}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \|P_{n}-P\|_{\mathcal {F}}=\sup _ {f\in {\mathcal {F}}}|P_{n}f-\mathbb {E} f |\a 0.}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Función de distribución empírica
La función de distribución empírica proporciona un ejemplo de medidas empíricas. Para variables aleatorias iid de valor real, viene dada por![{\ Displaystyle X_ {1}, \ puntos, X_ {n}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle F_{n}(x)=P_{n}((-\infty,x])=P_{n}I_{(-\infty,x]}.}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
En este caso, las medidas empíricas están indexadas por una clase. Se ha demostrado que es una clase uniforme de Glivenko-Cantelli , en particular,![{\displaystyle {\mathcal {C}}=\{(-\infty ,x]:x\in \mathbb {R} \}.}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\mathcal {C}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \sup _{F}\|F_{n}(x)-F(x)\|_{\infty }\to 0}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
con probabilidad 1.
Ver también
Referencias
- ^ Vapnik, V.; Chervonenkis, A (1968). "Convergencia uniforme de frecuencias de ocurrencia de eventos con sus probabilidades". Dokl. Akád. Nauk SSSR . 181 .
Otras lecturas
- Billingsley, P. (1995). Probabilidad y medida (Tercera ed.). Nueva York: John Wiley and Sons. ISBN 0-471-80478-9.
- Donsker, Doctor en Medicina (1952). "Justificación y ampliación del enfoque heurístico de Doob a los teoremas de Kolmogorov-Smirnov". Anales de estadística matemática . 23 (2): 277–281. doi : 10.1214/aoms/1177729445 .
- Dudley, RM (1978). "Teoremas del límite central para medidas empíricas". Anales de probabilidad . 6 (6): 899–929. doi : 10.1214/aop/1176995384 . JSTOR 2243028.
- Dudley, RM (1999). Teoremas del límite central uniforme . Estudios de Cambridge en Matemáticas Avanzadas. vol. 63. Cambridge, Reino Unido: Cambridge University Press. ISBN 0-521-46102-2.
- Wolfowitz, J. (1954). "Generalización del teorema de Glivenko-Cantelli". Anales de estadística matemática . 25 (1): 131-138. doi : 10.1214/aoms/1177728852 . JSTOR 2236518.