Estimador imparcial de varianza mínima

Unbiased statistical estimator minimizing variance

En estadística, un estimador imparcial de varianza mínima (MVUE) o un estimador imparcial de varianza mínima uniforme (UMVUE) es un estimador imparcial que tiene una varianza menor que cualquier otro estimador imparcial para todos los valores posibles del parámetro.

Para los problemas prácticos de estadística, es importante determinar la MVUE, si existe, ya que, si todo lo demás se mantiene igual, se evitarían naturalmente los procedimientos que no fueran óptimos. Esto ha llevado a un desarrollo sustancial de la teoría estadística relacionada con el problema de la estimación óptima.

Si bien la combinación de la restricción de imparcialidad con la métrica de deseabilidad de mínima varianza conduce a buenos resultados en la mayoría de los entornos prácticos (lo que convierte a MVUE en un punto de partida natural para una amplia gama de análisis), una especificación específica puede funcionar mejor para un problema determinado; por lo tanto, MVUE no siempre es el mejor punto de parada.

Definición

Considere la estimación de basada en datos iid de algún miembro de una familia de densidades , donde es el espacio de parámetros. Un estimador insesgado de es UMVUE si , ${\displaystyle g(\theta )}$ ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$ ${\displaystyle p_{\theta },\theta \in \Omega }$ ${\displaystyle \Omega }$ ${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$ ${\displaystyle g(\theta )}$ ${\displaystyle \forall \theta \in \Omega }$

${\displaystyle \operatorname {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \operatorname {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))}$

para cualquier otro estimador imparcial ${\displaystyle {\tilde {\delta }}.}$

Si existe un estimador imparcial de , entonces se puede demostrar que hay una MVUE esencialmente única. ^[1] Utilizando el teorema de Rao-Blackwell también se puede demostrar que determinar la MVUE es simplemente una cuestión de encontrar una estadística completamente suficiente para la familia y condicionar cualquier estimador imparcial a ella. ${\displaystyle g(\theta )}$ ${\displaystyle p_{\theta },\theta \in \Omega }$

Además, según el teorema de Lehmann-Scheffé , un estimador insesgado que es función de una estadística completa y suficiente es el estimador UMVUE.

En términos formales, supongamos que es independiente de , y que es una estadística suficientemente completa para la familia de densidades. Entonces ${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$ ${\displaystyle g(\theta )}$ ${\displaystyle T}$

${\displaystyle \eta (X_{1},X_{2},\ldots ,X_{n})=\operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n})\mid T)\,}$

¿Es el MVUE para? ${\displaystyle g(\theta ).}$

Un análogo bayesiano es un estimador de Bayes , particularmente con error cuadrático medio mínimo (MMSE).

Selección de estimador

No es necesario que exista un estimador eficiente , pero si lo hace y si es insesgado, es el error cuadrático medio (EMM). Dado que el error cuadrático medio (EMM) de un estimador δ es

${\displaystyle \operatorname {MSE} (\delta )=\operatorname {var} (\delta )+[\operatorname {bias} (\delta )]^{2}\ }$

La MVUE minimiza el MSE entre estimadores imparciales . En algunos casos, los estimadores sesgados tienen un MSE menor porque tienen una varianza menor que la de cualquier estimador imparcial; consulte sesgo del estimador .

Ejemplo

Considere los datos como una única observación de una distribución absolutamente continua con densidad. ${\displaystyle \mathbb {R} }$

${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{(1+e^{-x})^{\theta +1}}}}$

y deseamos encontrar el estimador UMVU de

${\displaystyle g(\theta )={\frac {1}{\theta ^{2}}}}$

Primero reconocemos que la densidad se puede escribir como

${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp(-\theta \log(1+e^{-x})+\log(\theta ))}$

Que es una familia exponencial con estadística suficiente . De hecho, se trata de una familia exponencial de rango completo y, por lo tanto, es completamente suficiente. Véase la familia exponencial para una derivación que muestra ${\displaystyle T=\log(1+e^{-x})}$ ${\displaystyle T}$

${\displaystyle \operatorname {E} (T)={\frac {1}{\theta }},\quad \operatorname {var} (T)={\frac {1}{\theta ^{2}}}}$

Por lo tanto,

${\displaystyle \operatorname {E} (T^{2})={\frac {2}{\theta ^{2}}}}$

Aquí utilizamos el teorema de Lehmann-Scheffé para obtener la MVUE

Claramente es imparcial y lo suficientemente completo, por lo que el estimador UMVU es ${\displaystyle \delta (X)={\frac {T^{2}}{2}}}$ ${\displaystyle T=\log(1+e^{-x})}$

${\displaystyle \eta (X)=\operatorname {E} (\delta (X)\mid T)=\operatorname {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log(1+e^{-X})^{2}}{2}}}$

Este ejemplo ilustra que una función imparcial de la estadística de suficiencia completa será UMVU, como establece el teorema de Lehmann-Scheffé .

Otros ejemplos

• Para una distribución normal con media y varianza desconocidas, la media de la muestra y la varianza de la muestra (imparcial) son las MVUE para la media y la varianza de la población.

  Sin embargo, la desviación estándar de la muestra no es imparcial con respecto a la desviación estándar de la población; consulte estimación imparcial de la desviación estándar .

  Además, para otras distribuciones, la media de la muestra y la varianza de la muestra no son, en general, MVUE: para una distribución uniforme con límites superior e inferior desconocidos, el rango medio es la MVUE para la media de la población.

• Si se eligen k ejemplares (sin reemplazo) de una distribución uniforme discreta sobre el conjunto {1, 2, ...,  N } con límite superior desconocido N , la MVUE para N es

${\displaystyle {\frac {k+1}{k}}m-1,}$

donde m es el máximo de la muestra . Se trata de una transformación escalada y desplazada (por lo tanto, no sesgada) del máximo de la muestra, que es una estadística suficiente y completa. Consulte el problema del tanque alemán para obtener más detalles.

Véase también

• Límite Cramér–Rao
• Mejor estimador lineal imparcial (BLUE)
• Relación entre sesgo y varianza
• Teorema de Lehmann-Scheffé
• Estadística U

Análogos bayesianos

• Estimador de Bayes
• Error cuadrático medio mínimo (MMSE)

Referencias

1. Lee, AJ, 1946- (1990). Estadística U: teoría y práctica . Nueva York: M. Dekker. ISBN 0824782534.OCLC 21523971  .{{cite book}}: CS1 maint: multiple names: authors list (link) CS1 maint: numeric names: authors list (link)

• Keener, Robert W. (2006). Teoría estadística: notas para un curso de estadística teórica . Springer. págs. 47–48, 57–58.
• Keener, Robert W. (2010). Estadística teórica: temas para un curso básico . Nueva York: Springer. DOI 10.1007/978-0-387-93839-4
• Voinov VG, Nikulin MS (1993). Estimadores insesgados y sus aplicaciones, vol. 1: caso univariado . Kluwer Academic Publishers. pp. 521p.