probabilidad empírica

Método de estimación de parámetros estadísticos.

En teoría de probabilidad y estadística , la verosimilitud empírica ( EL ) es un método no paramétrico para estimar los parámetros de modelos estadísticos . Requiere menos suposiciones sobre la distribución del error y al mismo tiempo conserva algunos de los méritos de la inferencia basada en la probabilidad . El método de estimación requiere que los datos sean independientes y estén distribuidos idénticamente (iid). Funciona bien incluso cuando la distribución es asimétrica o censurada . ^[1] Los métodos EL también pueden manejar restricciones e información previa sobre los parámetros. Art Owen fue pionero en el trabajo en esta área con su artículo de 1988. ^[2]

Definición

Dado un conjunto de realizaciones iid de variables aleatorias , entonces la función de distribución empírica es , con la función indicadora y las ponderaciones (normalizadas) . Entonces, la probabilidad empírica es: ^[3] ${\displaystyle n}$ ${\displaystyle y_{i}}$ ${\displaystyle Y_{i}}$ ${\displaystyle {\hat {F}}(y):=\sum _{i=1}^{n}\pi _{i}I(Y_{i}<y)}$ ${\displaystyle I}$ ${\displaystyle \pi _{i}}$

${\displaystyle L:=\prod _{i=1}^{n}{\frac {{\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y)}{\delta y}},}$

donde es un número pequeño (potencialmente la diferencia con la siguiente muestra más pequeña). ${\displaystyle \delta y}$

La estimación de probabilidad empírica se puede aumentar con información adicional mediante el uso de restricciones adicionales (similar al enfoque de ecuaciones de estimación generalizadas ) para la función de distribución empírica. Por ejemplo, se puede incorporar una restricción como la siguiente utilizando un multiplicador de Lagrange que implica . ${\displaystyle E[h(Y;\theta )]=\int _{-\infty }^{\infty }h(y;\theta )dF=0}$ ${\displaystyle {\hat {E}}[h(y;\theta )]=\sum _{i=1}^{n}h(y_{i};\theta )\pi _{i}=0}$

Con restricciones similares, también podríamos modelar la correlación.

Variables aleatorias discretas

El método de verosimilitud empírica también se puede emplear para distribuciones discretas . ^[4] Dado que ${\displaystyle \ p_{i}:={\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y),\ i=1,...,n}$ ${\displaystyle p_{i}\geq 0{\text{ and }}\sum _{i=1}^{n}\ p_{i}=1.}$

Entonces la probabilidad empírica es nuevamente . ${\displaystyle L(p_{1},...,p_{n})=\prod _{i=1}^{n}\ p_{i}}$

Utilizando el método del multiplicador lagrangiano para maximizar el logaritmo de la probabilidad empírica sujeta a la restricción de normalización trivial, encontramos un máximo. Por tanto, es la función de distribución empírica . ${\displaystyle p_{i}=1/n}$ ${\displaystyle {\hat {F}}}$

Procedimiento de estimación

Las estimaciones de EL se calculan maximizando la función de probabilidad empírica (ver arriba) sujeta a restricciones basadas en la función de estimación y el supuesto trivial de que los pesos de probabilidad de la función de probabilidad suman 1. ^[5] Este procedimiento se representa como:

${\displaystyle \max _{\pi _{i},\theta }\ln(L)=\max _{\pi _{i},\theta }\sum _{i=1}^{n}\ln \pi _{i}}$

sujeto a las limitaciones

${\displaystyle s.t.\sum _{i=1}^{n}\pi _{i}=1,\sum _{i=1}^{n}\pi _{i}h(y_{i};\theta )=0,\forall i\in [1..n]\quad 0\leq \pi _{i}.}$^{[6] : Ecuación (73)}

El valor del parámetro theta se puede encontrar resolviendo la función lagrangiana

${\displaystyle {\mathcal {L}}=\sum _{i=1}^{n}\ln \pi _{i}+\mu (1-\sum _{i=1}^{n}\pi _{i})-n\tau '\sum _{i=1}^{n}\pi _{i}h(y_{i};\theta ).}$^{[6] : Ecuación (74)}

Existe una clara analogía entre este problema de maximización y el resuelto para la máxima entropía .

Los parámetros son parámetros molestos . ${\displaystyle \pi _{i}}$

Relación de probabilidad empírica (ELR)

Se define y utiliza una función de razón de verosimilitud empírica para obtener intervalos de confianza del parámetro de interés θ similares a los intervalos de confianza paramétricos de la razón de verosimilitud. ^{[7] [8]} Sea L(F) la probabilidad empírica de la función , entonces el ELR sería: ${\displaystyle F}$

${\displaystyle R(F)=L(F)/L(F_{n})}$.

Considere conjuntos de la forma

${\displaystyle C=\{T(F)|R(F)\geq r\}}$.

En tales condiciones, una prueba de rechaza cuando t no pertenece a , es decir, cuando ninguna distribución F tiene probabilidad . ${\displaystyle T(F)=t}$ ${\displaystyle C}$ ${\displaystyle T(F)=t}$ ${\displaystyle L(F)\geq rL(F_{n})}$

El resultado central es para la media de X. Claramente, se necesitan algunas restricciones, o cuando sea . Para ver esto, dejemos: ${\displaystyle F}$ ${\displaystyle C=\mathbb {R} ^{p}}$ ${\displaystyle r<1}$

${\displaystyle F=\epsilon \delta _{x}+(1-\epsilon )F_{n}}$

Si es lo suficientemente pequeño y , entonces . ${\displaystyle \epsilon }$ ${\displaystyle \epsilon >0}$ ${\displaystyle R(F)\geq r}$

Pero entonces, a medida que se extiende a lo largo de , también lo hace la media de , que se traza hacia afuera . El problema se puede resolver restringiendo las distribuciones F que se admiten en un conjunto acotado. Resulta posible restringir la atención a las distribuciones t con soporte en la muestra, en otras palabras, a la distribución . Este método es conveniente ya que el estadístico podría no estar dispuesto a especificar un soporte acotado para y convierte la construcción de en un problema de dimensión finita. ${\displaystyle x}$ ${\displaystyle \mathbb {R} ^{p}}$ ${\displaystyle F}$ ${\displaystyle C=\mathbb {R} ^{p}}$ ${\displaystyle F\ll F_{n}}$ ${\displaystyle F}$ ${\displaystyle t}$ ${\displaystyle C}$

Otras aplicaciones

El uso de la probabilidad empírica no se limita a los intervalos de confianza. En la regresión cuantil eficiente , un procedimiento de categorización basado en EL ^[9] ayuda a determinar la forma de la verdadera distribución discreta en el nivel p, y también proporciona una manera de formular un estimador consistente. Además, EL se puede utilizar en lugar de la probabilidad paramétrica para formar criterios de selección de modelos . ^[10] La probabilidad empírica se puede aplicar naturalmente en el análisis de supervivencia ^[11] o en problemas de regresión ^[12]

Ver también

• Bootstrapping (estadísticas)
• Navaja (estadísticas)
• Estimador Nelson-Aalen

Literatura

• Nordman, Daniel J. y Soumendra N. Lahiri. "Una revisión de los métodos de probabilidad empírica para series de tiempo". Revista de planificación e inferencia estadística 155 (2014): 1-18. https://doi.org/10.1016/j.jspi.2013.10.001

Referencias

1. Owen, Arte B. (2001). Probabilidad empírica. Boca Ratón, Florida ISBN 978-1-4200-3615-2. OCLC  71012491.{{cite book}}: CS1 maint: location missing publisher (link)
2. Owen, Arte B. (1988). "Intervalos de confianza del índice de verosimilitud empírico para un único funcional". Biometrika . 75 (2): 237–249. doi :10.1093/biomet/75.2.237. ISSN  0006-3444.
3. es una estimación de la densidad de probabilidad, compare el histograma ${\displaystyle {\frac {{\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y)}{\delta y}}}$
4. Wang, Dong; Chen, Song Xi (1 de febrero de 2009). "Probabilidad empírica para estimar ecuaciones con valores faltantes". Los anales de la estadística . 37 (1). arXiv : 0903.0726 . doi :10.1214/07-aos585. ISSN  0090-5364. S2CID  5427751.
5. Mittelhammer, Judge y Miller (2000), 292.
6. Bera, Anil K.; Bilias, Yannis (2002). "Los enfoques de estimación MM, ME, ML, EL, EF y GMM: una síntesis". Revista de Econometría . 107 (1–2): 51–86. doi :10.1016/S0304-4076(01)00113-0.
7. Owen, Arte (1 de marzo de 1990). " Regiones de confianza del índice de verosimilitud empírica ". Los anales de la estadística . 18 (1). doi : 10.1214/aos/1176347494 . ISSN  0090-5364.
8. Dong, Lauren Bin; Giles, David EA (30 de enero de 2007). "Una prueba empírica de ratio de verosimilitud para la normalidad". Comunicaciones en Estadística - Simulación y Computación . 36 (1): 197–215. doi :10.1080/03610910601096544. ISSN  0361-0918. S2CID  16866055.
9. Chen, Jien; Lazar, Nicole A. (27 de enero de 2010). "Estimación cuantil para datos discretos mediante probabilidad empírica". Revista de estadística no paramétrica . 22 (2): 237–255. doi :10.1080/10485250903301525. ISSN  1048-5252. S2CID  119684596.
10. Chen, Chixiang; Wang, Ming; Wu, Rongling; Li, Runze (2022). "Un criterio de información sólido y consistente para la selección de modelos basado en la probabilidad empírica". Estadística Sínica . arXiv : 2006.13281 . doi :10.5705/ss.202020.0254. ISSN  1017-0405. S2CID  220042083.
11. Zhou, M. (2015). Método de probabilidad empírica en el análisis de supervivencia (1ª ed.). Chapman y Hall/CRC. https://doi.org/10.1201/b18598
12. Chen, Song Xi e Ingrid Van Keilegom. "Una revisión sobre los métodos de probabilidad empírica para la regresión". PRUEBA volumen 18, páginas 415–447, (2009) https://doi.org/10.1007/s11749-009-0159-5