Método de momentos (estadísticas)

Parameter estimation technique in statistics

En estadística , el método de los momentos es un método de estimación de parámetros poblacionales . El mismo principio se utiliza para derivar momentos superiores como asimetría y curtosis.

Comienza expresando los momentos poblacionales (es decir, los valores esperados de las potencias de la variable aleatoria bajo consideración) como funciones de los parámetros de interés. Luego, esas expresiones se igualan a los momentos muestrales. El número de tales ecuaciones es el mismo que el número de parámetros a estimar. Luego, esas ecuaciones se resuelven para los parámetros de interés. Las soluciones son estimaciones de esos parámetros.

El método de los momentos fue introducido por Pafnuty Chebyshev en 1887 en la demostración del teorema del límite central . La idea de hacer coincidir los momentos empíricos de una distribución con los momentos poblacionales se remonta al menos a Pearson . ^[1]

Método

Supongamos que el problema es estimar parámetros desconocidos que caracterizan la distribución de la variable aleatoria . ^[1] Supongamos que los primeros momentos de la distribución verdadera (los "momentos poblacionales") se pueden expresar como funciones de s : ${\displaystyle k}$ ${\displaystyle \theta _{1},\theta _{2},\dots ,\theta _{k}}$ ${\displaystyle f_{W}(w;\theta )}$ ${\displaystyle W}$ ${\displaystyle k}$ ${\displaystyle \theta }$

${\displaystyle {\begin{aligned}\mu _{1}&\equiv \operatorname {E} [W]=g_{1}(\theta _{1},\theta _{2},\ldots ,\theta _{k}),\\[4pt]\mu _{2}&\equiv \operatorname {E} [W^{2}]=g_{2}(\theta _{1},\theta _{2},\ldots ,\theta _{k}),\\&\,\,\,\vdots \\\mu _{k}&\equiv \operatorname {E} [W^{k}]=g_{k}(\theta _{1},\theta _{2},\ldots ,\theta _{k}).\end{aligned}}}$

Supongamos que se extrae una muestra de tamaño , lo que da como resultado los valores . para , deja ${\displaystyle n}$ ${\displaystyle w_{1},\dots ,w_{n}}$ ${\displaystyle j=1,\dots ,k}$

${\displaystyle {\widehat {\mu }}_{j}={\frac {1}{n}}\sum _{i=1}^{n}w_{i}^{j}}$

Sea el j -ésimo momento muestral, una estimación de . El método estimador de momentos para denotado por se define como la solución (si existe) de las ecuaciones: ^[2] ${\displaystyle \mu _{j}}$ ${\displaystyle \theta _{1},\theta _{2},\ldots ,\theta _{k}}$ ${\displaystyle {\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\dots ,{\widehat {\theta }}_{k}}$

${\displaystyle {\begin{aligned}{\widehat {\mu }}_{1}&=g_{1}({\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\ldots ,{\widehat {\theta }}_{k}),\\[4pt]{\widehat {\mu }}_{2}&=g_{2}({\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\ldots ,{\widehat {\theta }}_{k}),\\&\,\,\,\vdots \\{\widehat {\mu }}_{k}&=g_{k}({\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\ldots ,{\widehat {\theta }}_{k}).\end{aligned}}}$

El método descrito aquí para variables aleatorias únicas se generaliza de manera obvia a múltiples variables aleatorias, lo que lleva a múltiples opciones de momentos a utilizar. Diferentes opciones generalmente conducen a diferentes soluciones [5], [6].

Ventajas y desventajas

El método de los momentos es bastante simple y produce estimadores consistentes (bajo supuestos muy débiles), aunque estos estimadores a menudo están sesgados .

Es una alternativa al método de máxima verosimilitud .

Sin embargo, en algunos casos las ecuaciones de probabilidad pueden resultar difíciles de resolver sin computadoras, mientras que los estimadores del método de los momentos pueden calcularse mucho más rápida y fácilmente. Debido a su fácil computabilidad, las estimaciones del método de los momentos se pueden utilizar como primera aproximación a las soluciones de las ecuaciones de probabilidad, y luego se pueden encontrar sucesivas aproximaciones mejoradas mediante el método de Newton-Raphson . De esta manera, el método de los momentos puede ayudar a encontrar estimaciones de máxima verosimilitud.

En algunos casos, poco frecuentes con muestras grandes pero menos frecuentes con muestras pequeñas, las estimaciones dadas por el método de los momentos están fuera del espacio de parámetros (como se muestra en el ejemplo siguiente); Entonces no tiene sentido confiar en ellos. Ese problema nunca surge en el método de máxima verosimilitud ^[3] Además, las estimaciones por el método de los momentos no son necesariamente estadísticas suficientes , es decir, a veces no tienen en cuenta toda la información relevante de la muestra.

Al estimar otros parámetros estructurales (por ejemplo, parámetros de una función de utilidad , en lugar de parámetros de una distribución de probabilidad conocida), es posible que no se conozcan las distribuciones de probabilidad apropiadas y que se prefieran las estimaciones basadas en momentos a la estimación de máxima verosimilitud.

Método alternativo de momentos.

Las ecuaciones que se resolverán en el método de los momentos (MoM) son en general no lineales y no existen garantías aplicables de que existan soluciones manejables ^{[ cita requerida ]} . Pero existe un enfoque alternativo para utilizar momentos muestrales para estimar los parámetros del modelo de datos en términos de dependencia conocida de los momentos del modelo con respecto a estos parámetros, y esta alternativa requiere la solución sólo de ecuaciones lineales o, más generalmente, ecuaciones tensoriales. Esta alternativa se conoce como MoM tipo bayesiano (BL-MoM) y se diferencia del MoM clásico en que utiliza momentos muestrales ponderados de manera óptima. Teniendo en cuenta que el MoM suele estar motivado por una falta de conocimiento suficiente sobre el modelo de datos para determinar funciones de probabilidad y probabilidades asociadas a posteriori de parámetros desconocidos o aleatorios, es extraño que exista un tipo de MoM que sea de tipo bayesiano . Pero el significado particular de tipo bayesiano conduce a una formulación de problemas en la que el conocimiento requerido de las probabilidades a posteriori se reemplaza con el conocimiento requerido solo de la dependencia de los momentos del modelo en parámetros desconocidos del modelo, que es exactamente el conocimiento requerido por el MoM tradicional [1 ],[2],[5]–[9]. El BL-MoM también utiliza el conocimiento de las probabilidades a priori de los parámetros a estimar, cuando están disponibles, pero por lo demás utiliza antecedentes uniformes. ^{[ cita necesaria ]}

El BL-MoM se ha informado únicamente en la literatura de estadística aplicada en relación con la estimación de parámetros y la prueba de hipótesis utilizando observaciones de procesos estocásticos para problemas de Teoría de la Información y las Comunicaciones y, en particular, el diseño de receptores de comunicaciones en ausencia de conocimiento de funciones de probabilidad. o probabilidades asociadas a posteriori [10] y referencias en los mismos. Además, la reformulación de este enfoque de diseño de receptores para modelos de procesos estocásticos como una alternativa al MoM clásico para cualquier tipo de datos multivariados está disponible en forma de tutorial en el sitio web de la universidad [11, página 11.4]. Las aplicaciones en [10] y las referencias demuestran algunas características importantes de esta alternativa al MoM clásico, y en [11, página 11.4] se proporciona una lista detallada de las ventajas y desventajas relativas, pero en la literatura faltan comparaciones directas en aplicaciones específicas de el MoM clásico y el BL-MoM. ^{[ cita necesaria ]}

Ejemplos

Un ejemplo de aplicación del método de los momentos es estimar distribuciones de densidad de probabilidad polinómica. En este caso, se define un polinomio de orden aproximado en un intervalo . El método de los momentos produce entonces un sistema de ecuaciones, cuya solución implica la inversión de una matriz de Hankel . ^[2] ${\displaystyle N}$ ${\displaystyle [a,b]}$

Demostrar el teorema del límite central

Sean variables aleatorias independientes con media 0 y varianza 1, luego sean . Podemos calcular los momentos de como ${\displaystyle X_{1},X_{2},\cdots }$ ${\displaystyle S_{n}:={\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}X_{i}}$ ${\displaystyle S_{n}}$

$${\displaystyle E[S_{n}^{0}]=1,E[S_{n}^{1}]=0,E[S_{n}^{2}]=1,E[S_{n}^{3}]=0,\cdots }$$

$${\displaystyle E[S_{n}^{2k+1}]=0;\quad E[S_{n}^{2k}]={\frac {{\binom {n}{k}}{\frac {(2k)!}{2^{k}}}}{n^{k}}}={\frac {n(n-1)\cdots (n-k+1)}{n^{k}}}(2k-1)!!}$$

${\displaystyle k}$ ${\displaystyle 2k}$ ${\displaystyle 1}$ ${\displaystyle n}$ ${\displaystyle n\to \infty }$

Básicamente, este argumento fue publicado por Chebyshev en 1887. ^[3]

Distribución uniforme

Considere la distribución uniforme en el intervalo , . Si entonces tenemos ${\displaystyle [a,b]}$ ${\displaystyle U(a,b)}$ ${\displaystyle W\sim U(a,b)}$

${\displaystyle \mu _{1}=\operatorname {E} [W]={\frac {1}{2}}(a+b)}$

${\displaystyle \mu _{2}=\operatorname {E} [W^{2}]={\frac {1}{3}}(a^{2}+ab+b^{2})}$

Resolver estas ecuaciones da

${\displaystyle {\widehat {a}}=\mu _{1}-{\sqrt {3\left(\mu _{2}-\mu _{1}^{2}\right)}}}$

${\displaystyle {\widehat {b}}=\mu _{1}+{\sqrt {3\left(\mu _{2}-\mu _{1}^{2}\right)}}}$

Dado un conjunto de muestras, podemos usar los momentos muestrales y en estas fórmulas para estimar y . ${\displaystyle \{w_{i}\}}$ ${\displaystyle {\widehat {\mu }}_{1}}$ ${\displaystyle {\widehat {\mu }}_{2}}$ ${\displaystyle a}$ ${\displaystyle b}$

Sin embargo, tenga en cuenta que este método puede producir resultados inconsistentes en algunos casos. Por ejemplo, el conjunto de muestras da como resultado la estimación , aunque en este caso es imposible que se haya extraído el conjunto. ${\displaystyle \{0,0,0,0,1\}}$ ${\displaystyle {\widehat {a}}={\frac {1}{5}}-{\frac {2{\sqrt {3}}}{5}},{\widehat {b}}={\frac {1}{5}}+{\frac {2{\sqrt {3}}}{5}}}$ ${\displaystyle {\widehat {b}}<1}$ ${\displaystyle \{0,0,0,0,1\}}$ ${\displaystyle U({\widehat {a}},{\widehat {b}})}$

Ver también

• Método generalizado de momentos.
• Métodos de decodificación

Referencias

1. Kimiko O. Bowman y LR Shenton, "Estimador: método de momentos", págs. 2092-2098, Enciclopedia de ciencias estadísticas , Wiley (1998).
2. J. Munkhammar, L. Mattsson, J. Rydén (2017) "Estimación de distribución de probabilidad polinomial mediante el método de momentos". MÁS UNO 12(4): e0174573. https://doi.org/10.1371/journal.pone.0174573
3. Fischer, Hans (2011). "4. Contribuciones de Chebyshev y Markov". Historia del teorema del límite central: de la teoría de la probabilidad clásica a la moderna. Nueva York: Springer. ISBN 978-0-387-87857-7. OCLC  682910965.

[4] Pearson, K. (1936), "Método de momentos y método de máxima verosimilitud", Biometrika 28(1/2), 35–59.

[5] Lindsay, BG y Basak P. (1993). “Mezclas normales multivariadas: un método rápido y consistente de momentos”, Journal of the American Statistical Association 88 , 468–476.

[6] Quandt, RE y Ramsey, JB (1978). “Estimación de mezclas de distribuciones normales y regresiones de conmutación”, Journal of the American Statistical Association 73 , 730–752.

[7] https://real-statistics.com/distribution-fitting/method-of-moments/

[8] Hansen, L. (1982). “Propiedades de muestras grandes de estimadores del método generalizado de momentos”, Econometrica 50 , 1029–1054.

[9] Lindsay, BG (1982). “Funciones de puntuación condicional: algunos resultados óptimos”, Biometrika 69 , 503–512.

[10] Gardner, WA, “Diseño de clasificadores de señales prototipo más cercanos”, IEEE Transactions on Information Theory 27 (3), 368–372,1981

enlaces externos

• cicloestacionariedad