Método de estimación de parámetros estadísticos.
En teoría de probabilidad y estadística , la verosimilitud empírica ( EL ) es un método no paramétrico para estimar los parámetros de modelos estadísticos . Requiere menos suposiciones sobre la distribución del error y al mismo tiempo conserva algunos de los méritos de la inferencia basada en la probabilidad . El método de estimación requiere que los datos sean independientes y estén distribuidos idénticamente (iid). Funciona bien incluso cuando la distribución es asimétrica o censurada . [1] Los métodos EL también pueden manejar restricciones e información previa sobre los parámetros. Art Owen fue pionero en el trabajo en esta área con su artículo de 1988. [2]
Definición
Dado un conjunto de realizaciones iid de variables aleatorias , entonces la función de distribución empírica es , con la función indicadora y las ponderaciones (normalizadas) . Entonces, la probabilidad empírica es: [3]![{\displaystyle n}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\ Displaystyle y_ {i}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle Y_{i}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\hat {F}}(y):=\sum _{i=1}^{n}\pi _{i}I(Y_{i}<y)}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle I}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \pi _{i}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle L:=\prod _{i=1}^{n}{\frac {{\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\ delta y)}{\delta y}},}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
donde es un número pequeño (potencialmente la diferencia con la siguiente muestra más pequeña).![{\displaystyle \delta y}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
La estimación de probabilidad empírica se puede aumentar con información adicional mediante el uso de restricciones adicionales (similar al enfoque de ecuaciones de estimación generalizadas ) para la función de distribución empírica. Por ejemplo, se puede incorporar una restricción como la siguiente utilizando un multiplicador de Lagrange que implica .![{\displaystyle E[h(Y;\theta )]=\int _{-\infty }^{\infty }h(y;\theta )dF=0}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\hat {E}}[h(y;\theta )]=\sum _{i=1}^{n}h(y_{i};\theta )\pi _{i}=0 }](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Con restricciones similares, también podríamos modelar la correlación.
Variables aleatorias discretas
El método de verosimilitud empírica también se puede emplear para distribuciones discretas . [4]
Dado que ![{\displaystyle \ p_{i}:={\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y),\ i=1,... ,norte}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle p_{i}\geq 0{\text{ y }}\sum _{i=1}^{n}\ p_{i}=1.}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Entonces la probabilidad empírica es nuevamente .![{\displaystyle L(p_{1},...,p_{n})=\prod _{i=1}^{n}\ p_{i}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Utilizando el método del multiplicador lagrangiano para maximizar el logaritmo de la probabilidad empírica sujeta a la restricción de normalización trivial, encontramos un máximo. Por tanto, es la función de distribución empírica .![{\displaystyle p_{i}=1/n}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\sombrero {F}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Procedimiento de estimación
Las estimaciones de EL se calculan maximizando la función de probabilidad empírica (ver arriba) sujeta a restricciones basadas en la función de estimación y el supuesto trivial de que los pesos de probabilidad de la función de probabilidad suman 1. [5] Este procedimiento se representa como:
![{\displaystyle \max _{\pi _{i},\theta }\ln(L)=\max _{\pi _{i},\theta }\sum _{i=1}^{n}\ ln\pi_{i}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
sujeto a las limitaciones
[6] : Ecuación (73)
El valor del parámetro theta se puede encontrar resolviendo la función lagrangiana
[6] : Ecuación (74)
Existe una clara analogía entre este problema de maximización y el resuelto para la máxima entropía .
Los parámetros son parámetros molestos .![{\displaystyle \pi _{i}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Relación de probabilidad empírica (ELR)
Se define y utiliza una función de razón de verosimilitud empírica para obtener intervalos de confianza del parámetro de interés θ similares a los intervalos de confianza paramétricos de la razón de verosimilitud. [7] [8] Sea L(F) la probabilidad empírica de la función , entonces el ELR sería:![{\displaystyle F}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
.
Considere conjuntos de la forma
.
En tales condiciones, una prueba de rechaza cuando t no pertenece a , es decir, cuando ninguna distribución F tiene probabilidad .![{\displaystyle T(F)=t}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle C}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle T(F)=t}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle L(F)\geq rL(F_{n})}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
El resultado central es para la media de X. Claramente, se necesitan algunas restricciones, o cuando sea . Para ver esto, dejemos:![{\displaystyle F}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle C=\mathbb {R} ^{p}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle r<1}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle F=\epsilon \delta _ {x}+(1-\epsilon )F_ {n}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Si es lo suficientemente pequeño y , entonces .![{\displaystyle\epsilon}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \épsilon >0}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle R(F)\geq r}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Pero entonces, a medida que se extiende a lo largo de , también lo hace la media de , que se traza hacia afuera . El problema se puede resolver restringiendo las distribuciones F que se admiten en un conjunto acotado. Resulta posible restringir la atención a las distribuciones t con soporte en la muestra, en otras palabras, a la distribución . Este método es conveniente ya que el estadístico podría no estar dispuesto a especificar un soporte acotado para y convierte la construcción de en un problema de dimensión finita.![{\displaystyle x}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \mathbb {R} ^{p}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle F}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle C=\mathbb {R} ^{p}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle F\ll F_{n}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle F}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle t}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle C}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Otras aplicaciones
El uso de la probabilidad empírica no se limita a los intervalos de confianza. En la regresión cuantil eficiente , un procedimiento de categorización basado en EL [9] ayuda a determinar la forma de la verdadera distribución discreta en el nivel p, y también proporciona una manera de formular un estimador consistente. Además, EL se puede utilizar en lugar de la probabilidad paramétrica para formar criterios de selección de modelos . [10]
La probabilidad empírica se puede aplicar naturalmente en el análisis de supervivencia [11] o en problemas de regresión [12]
Ver también
Literatura
- Nordman, Daniel J. y Soumendra N. Lahiri. "Una revisión de los métodos de probabilidad empírica para series de tiempo". Revista de planificación e inferencia estadística 155 (2014): 1-18. https://doi.org/10.1016/j.jspi.2013.10.001
Referencias
- ^ Owen, Arte B. (2001). Probabilidad empírica. Boca Ratón, Florida ISBN 978-1-4200-3615-2. OCLC 71012491.
{{cite book}}
: CS1 maint: location missing publisher (link) - ^ Owen, Arte B. (1988). "Intervalos de confianza del índice de verosimilitud empírico para un único funcional". Biometrika . 75 (2): 237–249. doi :10.1093/biomet/75.2.237. ISSN 0006-3444.
- ^ es una estimación de la densidad de probabilidad, compare el histograma
![{\displaystyle {\frac {{\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y)}{\delta y}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
- ^ Wang, Dong; Chen, Song Xi (1 de febrero de 2009). "Probabilidad empírica para estimar ecuaciones con valores faltantes". Los anales de la estadística . 37 (1). arXiv : 0903.0726 . doi :10.1214/07-aos585. ISSN 0090-5364. S2CID 5427751.
- ^ Mittelhammer, Judge y Miller (2000), 292.
- ^ ab Bera, Anil K.; Bilias, Yannis (2002). "Los enfoques de estimación MM, ME, ML, EL, EF y GMM: una síntesis". Revista de Econometría . 107 (1–2): 51–86. doi :10.1016/S0304-4076(01)00113-0.
- ^ Owen, Arte (1 de marzo de 1990). " Regiones de confianza del índice de verosimilitud empírica ". Los anales de la estadística . 18 (1). doi : 10.1214/aos/1176347494 . ISSN 0090-5364.
- ^ Dong, Lauren Bin; Giles, David EA (30 de enero de 2007). "Una prueba empírica de ratio de verosimilitud para la normalidad". Comunicaciones en Estadística - Simulación y Computación . 36 (1): 197–215. doi :10.1080/03610910601096544. ISSN 0361-0918. S2CID 16866055.
- ^ Chen, Jien; Lazar, Nicole A. (27 de enero de 2010). "Estimación cuantil para datos discretos mediante probabilidad empírica". Revista de estadística no paramétrica . 22 (2): 237–255. doi :10.1080/10485250903301525. ISSN 1048-5252. S2CID 119684596.
- ^ Chen, Chixiang; Wang, Ming; Wu, Rongling; Li, Runze (2022). "Un criterio de información sólido y consistente para la selección de modelos basado en la probabilidad empírica". Estadística Sínica . arXiv : 2006.13281 . doi :10.5705/ss.202020.0254. ISSN 1017-0405. S2CID 220042083.
- ^ Zhou, M. (2015). Método de probabilidad empírica en el análisis de supervivencia (1ª ed.). Chapman y Hall/CRC. https://doi.org/10.1201/b18598
- ^ Chen, Song Xi e Ingrid Van Keilegom. "Una revisión sobre los métodos de probabilidad empírica para la regresión". PRUEBA volumen 18, páginas 415–447, (2009) https://doi.org/10.1007/s11749-009-0159-5