Estimación de espaciado máximo

Método de estimación de los parámetros de un modelo estadístico.

El método de espaciado máximo intenta encontrar una función de distribución tal que los espaciados, D _{( i )} , sean todos aproximadamente de la misma longitud. Esto se hace maximizando su media geométrica .

En estadística , la estimación de espaciamiento máximo ( MSE o MSP ), o producto máximo de estimación de espaciamiento (MPS) , es un método para estimar los parámetros de un modelo estadístico univariado . ^[1] El método requiere la maximización de la media geométrica de los espacios en los datos, que son las diferencias entre los valores de la función de distribución acumulativa en puntos de datos vecinos.

El concepto subyacente al método se basa en la transformación integral de probabilidad , en la que un conjunto de muestras aleatorias independientes derivadas de cualquier variable aleatoria debe, en promedio, distribuirse uniformemente con respecto a la función de distribución acumulativa de la variable aleatoria. El método MPS elige los valores de los parámetros que hacen que los datos observados sean lo más uniformes posible, de acuerdo con una medida cuantitativa específica de uniformidad.

Uno de los métodos más comunes para estimar los parámetros de una distribución a partir de datos, el método de máxima verosimilitud (MLE), puede fallar en varios casos, como cuando se involucran ciertas mezclas de distribuciones continuas. ^[2] En estos casos, el método de estimación de espaciamiento máximo puede tener éxito.

Además de su uso en matemáticas puras y estadística, las aplicaciones de prueba del método se han informado utilizando datos de campos como la hidrología , ^[3] econometría , ^[4] imágenes por resonancia magnética , ^[5] y otros. ^[6]

Historia y uso

El método MSE fue desarrollado de forma independiente por Russel Cheng y Nik Amin del Instituto de Ciencia y Tecnología de la Universidad de Gales , y Bo Ranneby de la Universidad Sueca de Ciencias Agrícolas . ^[2] Los autores explicaron que debido a la transformación integral de probabilidad en el parámetro verdadero, el "espaciado" entre cada observación debe distribuirse uniformemente. Esto implicaría que la diferencia entre los valores de la función de distribución acumulativa en observaciones consecutivas debería ser igual. Este es el caso que maximiza la media geométrica de tales espaciamientos, por lo que al resolver los parámetros que maximizan la media geométrica se lograría el “mejor” ajuste definido de esta manera. Ranneby (1984) justificó el método demostrando que es un estimador de la divergencia de Kullback-Leibler , similar a la estimación de máxima verosimilitud , pero con propiedades más robustas para algunas clases de problemas.

Hay ciertas distribuciones, especialmente aquellas con tres o más parámetros, cuyas probabilidades pueden volverse infinitas a lo largo de ciertos caminos en el espacio de parámetros . El uso de la máxima verosimilitud para estimar estos parámetros a menudo falla, ya que un parámetro tiende al valor específico que hace que la probabilidad sea infinita, lo que hace que los demás parámetros sean inconsistentes. Sin embargo, el método de espaciado máximo, al depender de la diferencia entre puntos de la función de distribución acumulativa y no de puntos de probabilidad individuales, no tiene este problema y arrojará resultados válidos en una gama mucho más amplia de distribuciones. ^[1]

Las distribuciones que tienden a tener problemas de probabilidad suelen ser las que se utilizan para modelar fenómenos físicos. Salón y otros. (2004) buscan analizar métodos de mitigación de inundaciones, lo que requiere modelos precisos de los efectos de las inundaciones de los ríos. Las distribuciones que modelan mejor estos efectos son todos los modelos de tres parámetros, que sufren del problema de probabilidad infinita descrito anteriormente, lo que llevó a Hall a la investigación del procedimiento de espaciado máximo. Wong y Li (2006), al comparar el método con la máxima verosimilitud, utilizan varios conjuntos de datos que van desde un conjunto sobre las edades más avanzadas en el momento de la muerte en Suecia entre 1905 y 1958 hasta un conjunto que contiene las velocidades máximas anuales del viento.

Definición

Dada una muestra aleatoria iid { x ₁ , ..., x _n } de tamaño n de una distribución univariada con función de distribución acumulativa continua F ( x ; θ ₀ ), donde θ ₀ ∈ Θ es un parámetro desconocido a estimar , sea { x ₍₁₎ , ..., x _{( n ) } sea la muestra} ordenada correspondiente , que es el resultado de ordenar todas las observaciones de menor a mayor. Por conveniencia, denotemos también x ₍₀₎ = −∞ y x _{( n +1)} = +∞.

Defina los espacios como los “espacios” entre los valores de la función de distribución en puntos ordenados adyacentes: ^[7]

$${\displaystyle D_{i}(\theta )=F(x_{(i)};\,\theta )-F(x_{(i-1)};\,\theta ),\quad i=1,\ldots ,n+1.}$$

Entonces el estimador de espaciamiento máximo de θ ₀ se define como un valor que maximiza el logaritmo de la media geométrica de los espaciamientos muestrales:

$${\displaystyle {\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\,max} }}\;S_{n}(\theta ),\quad {\text{where }}\ S_{n}(\theta )=\ln \!\!{\sqrt[{n+1}]{D_{1}D_{2}\cdots D_{n+1}}}={\frac {1}{n+1}}\sum _{i=1}^{n+1}\ln {D_{i}}(\theta ).}$$

Por la desigualdad de las medias aritméticas y geométricas , la función S _n ( θ ) está limitada desde arriba por −ln ( n +1) y, por lo tanto, el máximo tiene que existir al menos en el sentido supremo .

Tenga en cuenta que algunos autores definen la función S _n ( θ ) de manera algo diferente. En particular, Ranneby (1984) multiplica cada _Di por un factor de ( n +1), mientras que Cheng y Stephens (1989) omiten el factor 1 ⁄ n +1 delante de la suma y añaden el signo “-” en orden. convertir la maximización en minimización. Al ser constantes respecto de θ , las modificaciones no alteran la ubicación del máximo de la función S _n .

Ejemplos

Esta sección presenta dos ejemplos de cálculo del estimador de espaciado máximo.

Ejemplo 1

Gráficas del valor logarítmico de λ para el ejemplo simplista tanto bajo estimación de probabilidad como de espaciamiento. Se identifican los valores para los cuales se maximizan tanto la probabilidad como el espaciamiento, las estimaciones de máxima verosimilitud y máximo espaciamiento.

Supongamos que se tomaron muestras de dos valores x ₍₁₎ = 2, x _{(2) = 4 de la} distribución exponencial F ( x ; λ ) = 1 − e ^{− xλ} , x ≥ 0 con parámetro desconocido λ > 0. Para construir el MSE primero tenemos que encontrar los espacios:

El proceso continúa encontrando el λ que maximiza la media geométrica de la columna de “diferencia”. Usando la convención que ignora tomar la raíz ( n +1), esto se convierte en la maximización del siguiente producto: (1 − e ^{−2 λ} ) · (e ^{−2 λ} − e ^{−4 λ} ) · (e ^{−4 λ} ). Sea μ = e ^{−2 λ} , el problema es encontrar el máximo de μ ⁵ −2 μ ⁴ + μ ³ . Al derivar, μ tiene que satisfacer 5 μ ⁴ −8 μ ³ +3 μ ² = 0. Esta ecuación tiene raíces 0, 0,6 y 1. Como μ es en realidad e ^{−2 λ} , tiene que ser mayor que cero pero menor de una. Por lo tanto, la única solución aceptable es

$${\displaystyle \mu =0.6\quad \Rightarrow \quad \lambda _{\text{MSE}}={\frac {\ln 0.6}{-2}}\approx 0.255,}$$

1 ⁄ λλ _MLE

Ejemplo 2

Supongamos que { x ₍₁₎ , ..., x _{( n )} } es la muestra ordenada de una distribución uniforme U ( a , b ) con puntos finales desconocidos a y b . La función de distribución acumulativa es F ( x ; a , b ) = ( x − a )/( b − a ) cuando x ∈[ a , b ]. Por lo tanto, los espaciamientos individuales están dados por

$${\displaystyle D_{1}={\frac {x_{(1)}-a}{b-a}},\ \ D_{i}={\frac {x_{(i)}-x_{(i-1)}}{b-a}}\ {\text{for }}i=2,\ldots ,n,\ \ D_{n+1}={\frac {b-x_{(n)}}{b-a}}\ \ }$$

Calculando la media geométrica y luego tomando el logaritmo, el estadístico S _n será igual a

$${\displaystyle S_{n}(a,b)={\tfrac {\ln(x_{(1)}-a)}{n+1}}+{\tfrac {\sum _{i=2}^{n}\ln(x_{(i)}-x_{(i-1)})}{n+1}}+{\tfrac {\ln(b-x_{(n)})}{n+1}}-\ln(b-a)}$$

ab

${\displaystyle {\hat {a}}={\frac {nx_{(1)}-x_{(n)}}{n-1}},\ \ {\hat {b}}={\frac {nx_{(n)}-x_{(1)}}{n-1}}.}$

Se sabe que estos son los estimadores insesgados de varianza mínima uniforme (UMVU) para la distribución uniforme continua. ^[1] En comparación, las estimaciones de máxima verosimilitud para este problema están sesgadas y tienen un error cuadrático medio más alto . ${\displaystyle \scriptstyle {\hat {a}}=x_{(1)}}$ ${\displaystyle \scriptstyle {\hat {b}}=x_{(n)}}$

Propiedades

Consistencia y eficiencia

Gráfica de una función de densidad en “forma de J” y su distribución correspondiente. Un Weibull desplazado con un parámetro de escala de 15, un parámetro de forma de 0,5 y un parámetro de ubicación de 10. La densidad asintóticamente se acerca al infinito cuando x se acerca a 10, lo que hace que las estimaciones de los otros parámetros sean inconsistentes. Tenga en cuenta que no hay ningún punto de inflexión en la gráfica de la distribución.

El estimador de espaciado máximo es un estimador consistente en el sentido de que converge en probabilidad al valor verdadero del parámetro, θ ₀ , a medida que el tamaño de la muestra aumenta hasta el infinito. ^[2] La consistencia de la estimación del espaciamiento máximo se mantiene en condiciones mucho más generales que para los estimadores de máxima verosimilitud . En particular, en los casos en que la distribución subyacente tiene forma de J, la probabilidad máxima fracasará cuando MSE tenga éxito. ^[1] Un ejemplo de una densidad en forma de J es la distribución de Weibull , específicamente una Weibull desplazada , con un parámetro de forma menor que 1. La densidad tenderá al infinito a medida que x se acerca al parámetro de ubicación , lo que hace que las estimaciones de los otros parámetros sean inconsistentes.

Los estimadores de espaciado máximo también son al menos tan asintóticamente eficientes como los estimadores de máxima verosimilitud, cuando estos últimos existen. Sin embargo, pueden existir MyPEs en los casos en que las MLEs no existan. ^[1]

Sensibilidad

Los estimadores de espaciamiento máximo son sensibles a observaciones muy espaciadas, y especialmente a vínculos. ^[8] Dado

$${\displaystyle X_{i+k}=X_{i+k-1}=\cdots =X_{i},\,}$$

$${\displaystyle D_{i+k}(\theta )=D_{i+k-1}(\theta )=\cdots =D_{i+1}(\theta )=0.\,}$$

Cuando los empates se deben a múltiples observaciones, los espaciamientos repetidos (aquellos que de otro modo serían cero) deben reemplazarse por la verosimilitud correspondiente. ^[1] Es decir, se debe sustituir , como ${\displaystyle f_{i}(\theta )}$ ${\displaystyle D_{i}(\theta )}$

$${\displaystyle \lim _{x_{i}\to x_{i-1}}{\frac {\int _{x_{i-1}}^{x_{i}}f(t;\theta )\,dt}{x_{i}-x_{i-1}}}=f(x_{i-1},\theta )=f(x_{i},\theta ),}$$

${\displaystyle x_{i}=x_{i-1}}$

Cuando los empates se deben a un error de redondeo, Cheng y Stephens (1989) sugieren otro método para eliminar los efectos. ^{[nota 1]} Dadas r observaciones empatadas de x _i a x _{i + r −1} , sea δ el error de redondeo . Entonces todos los valores verdaderos deberían estar dentro del rango . Los puntos correspondientes en la distribución ahora deberían estar entre y . Cheng y Stephens sugieren suponer que los valores redondeados están espaciados uniformemente en este intervalo, definiendo ${\displaystyle x\pm \delta }$ ${\displaystyle y_{L}=F(x-\delta ,{\hat {\theta }})}$ ${\displaystyle y_{U}=F(x+\delta ,{\hat {\theta }})}$

$${\displaystyle D_{j}={\frac {y_{U}-y_{L}}{r-1}}\quad (j=i+1,\ldots ,i+r-1).}$$

El método MSE también es sensible al agrupamiento secundario. ^[8] Un ejemplo de este fenómeno es cuando se cree que un conjunto de observaciones provienen de una única distribución normal , pero en realidad proviene de una mezcla de normales con diferentes medias. Un segundo ejemplo es cuando se cree que los datos provienen de una distribución exponencial , pero en realidad provienen de una distribución gamma . En este último caso pueden aparecer espaciamientos más pequeños en la cola inferior. Un valor alto de M ( θ ) indicaría este efecto de agrupamiento secundario, y sugiere que se requiere una mirada más cercana a los datos. ^[8]

prueba de moran

El estadístico S _n ( θ ) también es una forma del estadístico de Moran o Moran-Darling, M ( θ ), que se puede utilizar para probar la bondad del ajuste . ^{[nota 2]} Se ha demostrado que la estadística, cuando se define como

$${\displaystyle S_{n}(\theta )=M_{n}(\theta )=-\sum _{j=1}^{n+1}\ln {D_{j}(\theta )},}$$

asintóticamente normal^[8]distribución normal ${\displaystyle \theta ^{0}}$ ${\displaystyle \scriptstyle M_{n}(\theta )}$

$${\displaystyle {\begin{aligned}\mu _{M}&\approx (n+1)(\ln(n+1)+\gamma )-{\frac {1}{2}}-{\frac {1}{12(n+1)}},\\\sigma _{M}^{2}&\approx (n+1)\left({\frac {\pi ^{2}}{6}}-1\right)-{\frac {1}{2}}-{\frac {1}{6(n+1)}},\end{aligned}}}$$

γconstante de Euler-Mascheroni^{[nota 3]}

La distribución también se puede aproximar por la de , donde ${\displaystyle A}$

$${\displaystyle A=C_{1}+C_{2}\chi _{n}^{2}\,}$$

$${\displaystyle {\begin{aligned}C_{1}&=\mu _{M}-{\sqrt {\frac {\sigma _{M}^{2}n}{2}}},\\C_{2}&={\sqrt {\frac {\sigma _{M}^{2}}{2n}}},\\\end{aligned}}}$$

distribución chi-cuadradogrados de libertadsignificanciavalor crítico^[8] ${\displaystyle \chi _{n}^{2}}$ ${\displaystyle n}$ ${\displaystyle H_{0}}$ ${\displaystyle n}$ ${\displaystyle F(x,\theta )}$ ${\displaystyle T(\theta )={\frac {M(\theta )-C_{1}}{C_{2}}}}$ ${\displaystyle H_{0}}$ ${\displaystyle \alpha }$

Cuando θ ₀ es estimado por , Cheng y Stephens (1989) demostraron que tiene la misma media asintótica y varianza que en el caso conocido. Sin embargo, el estadístico de prueba que se utilizará requiere la adición de un término de corrección de sesgo y es: ${\displaystyle {\hat {\theta }}}$ ${\displaystyle S_{n}({\hat {\theta }})=M_{n}({\hat {\theta }})}$

$${\displaystyle T({\hat {\theta }})={\frac {M({\hat {\theta }})+{\frac {k}{2}}-C_{1}}{C_{2}}},}$$

${\displaystyle k}$

Espaciado máximo generalizado

Medidas y espaciamientos alternativos

Ranneby y Ekström (1997) generalizaron el método MSE para aproximar otras medidas además de la medida de Kullback-Leibler. Ekström (1997) amplió aún más el método para investigar las propiedades de los estimadores que utilizan espaciamientos de orden superior, donde un espaciamiento de orden m se definiría como . ${\displaystyle F(X_{j+m})-F(X_{j})}$

Distribuciones multivariadas

Ranneby y otros. (2005) analizan métodos de espaciado máximo extendidos al caso multivariado . Como no existe un orden natural para , discuten dos enfoques alternativos: un enfoque geométrico basado en celdas de Dirichlet y un enfoque probabilístico basado en una métrica de "bola vecina más cercana". ${\displaystyle \mathbb {R} ^{k}(k>1)}$

Ver también

• Divergencia Kullback-Leibler
• Máxima verosimilitud
• Distribución de probabilidad

Notas

1. Parece haber algunos errores tipográficos menores en el artículo. Por ejemplo, en la sección 4.2, ecuación (4.1), el reemplazo por redondeo de , no debe tener el término logarítmico. En la sección 1, la ecuación (1.2) se define como el espaciamiento mismo y es la suma negativa de los registros de . Si se registra en este paso, el resultado siempre es ≤ 0, ya que la diferencia entre dos puntos adyacentes en una distribución acumulativa es siempre ≤ 1 y estrictamente < 1 a menos que solo haya dos puntos en los sujetalibros. Además, en la sección 4.3, en la página 392, el cálculo muestra que es la varianza la que tiene una estimación de MPS de 6,87, no la desviación estándar . - Editor ${\displaystyle D_{j}}$ ${\displaystyle D_{j}}$ ${\displaystyle M(\theta )}$ ${\displaystyle D_{j}}$ ${\displaystyle D_{j}}$ ${\displaystyle \textstyle {\tilde {\sigma ^{2}}}}$ ${\displaystyle \textstyle {\tilde {\sigma }}}$
2. La literatura se refiere a estadísticas relacionadas como estadísticas de Moran o Moran-Darling. Por ejemplo, Cheng y Stephens (1989) analizan la forma donde se define como anteriormente. Wong y Li (2006) también utilizan la misma forma. Sin embargo, Beirlant & al. (2001) utiliza la forma , con el factor adicional de dentro de la suma registrada. Los factores adicionales marcarán la diferencia en términos de la media esperada y la varianza de la estadística. Para mantener la coherencia, este artículo seguirá utilizando el formulario Cheng & Amin/Wong & Li. -- Editor ${\displaystyle \scriptstyle M(\theta )=-\sum _{j=1}^{n+1}\log {D_{i}(\theta )}}$ ${\displaystyle \scriptstyle D_{i}(\theta )}$ ${\displaystyle \scriptstyle M_{n}=-\sum _{j=0}^{n}\ln {((n+1)(X_{n,i+1}-X_{n,i}))}}$ ${\displaystyle (n+1)}$
3. Wong y Li (2006) omiten la constante de Euler-Mascheroni en su descripción. -- Editor

Referencias

Citas

1. Cheng y Amin (1983)
2. Ranneby (1984)
3. Salón y otros. (2004)
4. Anatolyev y Kosenok (2004)
5. Pieciak (2014)
6. Wong y Li (2006)
7. Pyke (1965)
8. Cheng y Stephens (1989)

Trabajos citados

• Anatolyev, Stanislav; Kosenok, Grigory (2005). «Una alternativa a la máxima verosimilitud basada en espaciamientos» (PDF) . Teoría econométrica . 21 (2): 472–476. CiteSeerX  10.1.1.494.7340 . doi :10.1017/S0266466605050255. S2CID  123004317 . Consultado el 21 de enero de 2009 .
• Beirlant, J.; Dudewicz, EJ; Györfi, L.; van der Meulen, CE (1997). "Estimación de entropía no paramétrica: descripción general" (PDF) . Revista Internacional de Ciencias Matemáticas y Estadística . 6 (1): 17–40. ISSN  1055-7490. Archivado desde el original (PDF) el 5 de mayo de 2005 . Consultado el 31 de diciembre de 2008 . Nota: el documento vinculado es una versión actualizada de 2001.
• Cheng, RCH; Amin, NAK (1983). "Estimación de parámetros en distribuciones univariadas continuas con origen desplazado". Revista de la Royal Statistical Society, Serie B. 45 (3): 394–403. doi :10.1111/j.2517-6161.1983.tb01268.x. ISSN  0035-9246. JSTOR  2345411.
• Cheng, RCH; Stephens, MA (1989). "Una prueba de bondad de ajuste utilizando la estadística de Moran con parámetros estimados". Biometrika . 76 (2): 386–392. doi :10.1093/biomet/76.2.385.
• Ekström, Magnus (1997). "Estimaciones de espaciado máximo generalizado". Universidad de Umeå, Departamento de Matemáticas . 6 . ISSN  0345-3928. Archivado desde el original el 14 de febrero de 2007 . Consultado el 30 de diciembre de 2008 .
• Hall, MJ; van den Boogaard, HFP; Fernando, RC; Mynett, AE (2004). "La construcción de intervalos de confianza para análisis de frecuencia mediante técnicas de remuestreo". Hidrología y Ciencias del Sistema Terrestre . 8 (2): 235–246. doi : 10.5194/hess-8-235-2004 . ISSN  1027-5606.
• Pieciak, Tomasz (2014). La estimación del ruido de espaciado máximo en datos de resonancia magnética de fondo de una sola bobina (PDF) . Conferencia internacional IEEE sobre procesamiento de imágenes. París. págs. 1743-1747 . Consultado el 7 de julio de 2015 .
• Pyke, Ronald (1965). "Espaciamientos". Revista de la Royal Statistical Society, Serie B. 27 (3): 395–449. doi :10.1111/j.2517-6161.1965.tb00602.x. ISSN  0035-9246. JSTOR  2345793.
• Ranneby, Bo (1984). "El método de máximo espaciado. Un método de estimación relacionado con el método de máxima verosimilitud". Revista escandinava de estadística . 11 (2): 93-112. ISSN  0303-6898. JSTOR  4615946.
• Ranneby, Bo; Ekström, Magnus (1997). "Estimaciones de espaciado máximo basadas en diferentes métricas". Universidad de Umeå, Departamento de Matemáticas . 5 . ISSN  0345-3928. Archivado desde el original el 14 de febrero de 2007 . Consultado el 30 de diciembre de 2008 .
• Ranneby, Bo; Jammalamadakab, S. Rao; Teterukovskiy, Alex (2005). "La estimación de espaciado máximo para observaciones multivariadas" (PDF) . Revista de planificación e inferencia estadística . 129 (1–2): 427–446. doi : 10.1016/j.jspi.2004.06.059 . Consultado el 31 de diciembre de 2008 .
• Wong, TST; Li, WK (2006). "Una nota sobre la estimación de distribuciones de valores extremos utilizando el producto máximo de espaciamientos". Series temporales y temas relacionados: en memoria de Ching-Zong Wei . Apuntes de conferencias del Instituto de Estadística Matemática - Serie de monografías. Beachwood, Ohio: Instituto de Estadística Matemática. págs. 272–283. arXiv : matemáticas/0702830v1 . doi :10.1214/074921706000001102. ISBN 978-0-940600-68-3. S2CID  88516426.