Eficiencia (estadísticas)

Medida de calidad de un método estadístico.

En estadística, la eficiencia es una medida de la calidad de un estimador , de un diseño experimental, ^[1] o de un procedimiento de prueba de hipótesis . ^[2] Esencialmente, un estimador más eficiente necesita menos datos de entrada u observaciones que uno menos eficiente para lograr el límite de Cramér-Rao . Un estimador eficiente se caracteriza por tener la varianza más pequeña posible , lo que indica que existe una pequeña desviación entre el valor estimado y el valor "verdadero" en el sentido de la norma L2 . ^[1]

La eficiencia relativa de dos procedimientos es la relación de sus eficiencias, aunque a menudo este concepto se utiliza cuando se hace la comparación entre un procedimiento dado y un procedimiento teórico "mejor posible". Las eficiencias y la eficiencia relativa de dos procedimientos dependen teóricamente del tamaño de muestra disponible para el procedimiento dado, pero a menudo es posible utilizar la eficiencia relativa asintótica (definida como el límite de las eficiencias relativas a medida que crece el tamaño de la muestra) como principal. medida de comparación.

Estimadores

La eficiencia de un estimador insesgado , T , de un parámetro θ se define como ^[3]

${\displaystyle e(T)={\frac {1/{\mathcal {I}}(\theta )}{\operatorname {var} (T)}}}$

¿Dónde está la información de Fisher de la muestra? Por tanto, e ( T ) es la varianza mínima posible para un estimador insesgado dividida por su varianza real. El límite de Cramér-Rao se puede utilizar para demostrar que e ( T ) ≤ 1. ${\displaystyle {\mathcal {I}}(\theta )}$

Estimadores eficientes

Un estimador eficiente es un estimador que estima la cantidad de interés de la "mejor manera posible". La noción de “lo mejor posible” se basa en la elección de una función de pérdida particular : la función que cuantifica el grado relativo de indeseabilidad de los errores de estimación de diferentes magnitudes. La elección más común de la función de pérdida es cuadrática , lo que da como resultado el criterio de optimización del error cuadrático medio . ^[4]

En general, la dispersión de un estimador alrededor del parámetro θ es una medida de la eficiencia y el desempeño del estimador. Este rendimiento se puede calcular encontrando el error cuadrático medio. Más formalmente, sea T un estimador del parámetro θ . El error cuadrático medio de T es el valor , que se puede descomponer como una suma de su varianza y sesgo: ${\displaystyle \operatorname {MSE} (T)=E[(T-\theta )^{2}]}$

${\displaystyle {\begin{aligned}\operatorname {MSE} (T)&=\operatorname {E} [(T-\theta )^{2}]=\operatorname {E} [(T-\operatorname {E} [T]+\operatorname {E} [T]-\theta )^{2}]\\[5pt]&=\operatorname {E} [(T-\operatorname {E} [T])^{2}]+2E[T-E[T]](\operatorname {E} [T]-\theta )+(\operatorname {E} [T]-\theta )^{2}\\[5pt]&=\operatorname {var} (T)+(\operatorname {E} [T]-\theta )^{2}\end{aligned}}}$

Un estimador T ₁ funciona mejor que un estimador T ₂ si . ^[5] Para un caso más específico, si T ₁ y T ₂ son dos estimadores insesgados para el mismo parámetro θ, entonces la varianza se puede comparar para determinar el rendimiento. En este caso, T ₂ es más eficiente que T ₁ si la varianza de T ₂ es menor que la varianza de T ₁ , es decir, para todos los valores de θ . Esta relación se puede determinar simplificando el caso más general anterior de error cuadrático medio; dado que el valor esperado de un estimador insesgado es igual al valor del parámetro, . Por lo tanto, para un estimador insesgado, , ya que el término desaparece por ser igual a 0. ^[5] ${\displaystyle \operatorname {MSE} (T_{1})<\operatorname {MSE} (T_{2})}$ ${\displaystyle \operatorname {var} (T_{1})>\operatorname {var} (T_{2})}$ ${\displaystyle \operatorname {E} [T]=\theta }$ ${\displaystyle \operatorname {MSE} (T)=\operatorname {var} (T)}$ ${\displaystyle (\operatorname {E} [T]-\theta )^{2}}$

Si un estimador insesgado de un parámetro θ alcanza todos los valores del parámetro, entonces el estimador se llama eficiente. ^[3] ${\displaystyle e(T)=1}$

De manera equivalente, el estimador logra la igualdad en la desigualdad de Cramér-Rao para todo θ . El límite inferior de Cramér-Rao es un límite inferior de la varianza de un estimador insesgado, y representa lo "mejor" que puede ser un estimador insesgado.

Un estimador eficiente es también el estimador insesgado de varianza mínima (MVUE). Esto se debe a que un estimador eficiente mantiene la igualdad en la desigualdad de Cramér-Rao para todos los valores de los parámetros, lo que significa que alcanza la varianza mínima para todos los parámetros (la definición de MVUE). El estimador MVUE, incluso si existe, no es necesariamente eficiente, porque "mínimo" no significa que se cumpla la igualdad en la desigualdad de Cramér-Rao.

Por lo tanto, no es necesario que exista un estimador eficiente, pero si existe, es el MVUE.

Eficiencia de muestras finitas

Supongamos { P _θ | θ ∈ Θ } es un modelo paramétrico y X = ( X ₁ , …, X _n ) son los datos muestreados de este modelo. Sea T = T ( X ) un estimador del parámetro θ . Si este estimador es insesgado (es decir, E[  T  ] = θ ), entonces la desigualdad de Cramér-Rao establece que la varianza de este estimador está acotada desde abajo:

${\displaystyle \operatorname {var} [\,T\,]\ \geq \ {\mathcal {I}}_{\theta }^{-1},}$

donde está la matriz de información de Fisher del modelo en el punto θ . Generalmente, la varianza mide el grado de dispersión de una variable aleatoria alrededor de su media. Por tanto, los estimadores con varianzas pequeñas están más concentrados y estiman los parámetros con mayor precisión. Decimos que el estimador es un estimador eficiente de muestra finita (en la clase de estimadores insesgados) si alcanza el límite inferior en la desigualdad de Cramér-Rao anterior, para todo θ ∈ Θ . Los estimadores eficientes son siempre estimadores insesgados de varianza mínima . Sin embargo, lo contrario es falso: existen problemas de estimación puntual para los cuales el estimador insesgado de media de varianza mínima es ineficiente. ^[6] ${\displaystyle \scriptstyle {\mathcal {I}}_{\theta }}$

Históricamente, la eficiencia de muestras finitas fue uno de los primeros criterios de optimización. Sin embargo, este criterio tiene algunas limitaciones:

• Los estimadores eficientes de muestras finitas son extremadamente raros. De hecho, se demostró que la estimación eficiente sólo es posible en una familia exponencial , y sólo para los parámetros naturales de esa familia. ^[7]
• Esta noción de eficiencia a veces se restringe a la clase de estimadores insesgados . (A menudo no lo es. ^[8] ) Dado que no hay buenas razones teóricas para exigir que los estimadores sean insesgados, esta restricción es inconveniente. De hecho, si utilizamos el error cuadrático medio como criterio de selección, muchos estimadores sesgados superarán ligeramente a los “mejores” insesgados. Por ejemplo, en estadística multivariada para la dimensión tres o más, el estimador insesgado de media, media muestral , es inadmisible : independientemente del resultado, su desempeño es peor que, por ejemplo, el estimador de James-Stein . ^{[ cita necesaria ]}
• La eficiencia de la muestra finita se basa en la varianza, como criterio según el cual se juzgan los estimadores. Un enfoque más general es utilizar funciones de pérdida distintas de las cuadráticas, en cuyo caso ya no se puede formular la eficiencia de muestras finitas. ^{[ cita necesaria ] [ dudoso - discutir ]}

A modo de ejemplo, entre los modelos encontrados en la práctica, existen estimadores eficientes para: la media μ de la distribución normal (pero no la varianza σ ² ), el parámetro λ de la distribución de Poisson , la probabilidad p en la distribución binomial o multinomial .

Considere el modelo de una distribución normal con media desconocida pero varianza conocida: { P _θ = N ( θ , σ ² ) | θ ∈ R }. Los datos constan de n observaciones independientes e idénticamente distribuidas de este modelo: X = ( x ₁ ,…, x _n ) . Estimamos el parámetro θ utilizando la media muestral de todas las observaciones:

${\displaystyle T(X)={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\ .}$

Este estimador tiene una media θ y una varianza de σ ²  /  n , que es igual al recíproco de la información de Fisher de la muestra. Por tanto, la media muestral es un estimador eficiente de muestra finita de la media de la distribución normal.

Eficiencia asintótica

La eficiencia asintótica requiere consistencia (estadística) , una distribución normal asintótica del estimador y una matriz de varianza-covarianza asintótica que no sea peor que cualquier otro estimador. ^[9]

Ejemplo: mediana

Considere una muestra de tamaño extraída de una distribución normal de media y varianza unitaria , es decir, ${\displaystyle N}$ ${\displaystyle \mu }$ ${\displaystyle X_{n}\sim {\mathcal {N}}(\mu ,1).}$

La media muestral , , de la muestra , definida como ${\displaystyle {\overline {X}}}$ ${\displaystyle X_{1},X_{2},\ldots ,X_{N}}$

${\displaystyle {\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\mu ,{\frac {1}{N}}\right).}$

La varianza de la media, 1/ N (el cuadrado del error estándar ) es igual al recíproco de la información de Fisher de la muestra y, por tanto, según la desigualdad de Cramér-Rao , la media muestral es eficiente en el sentido de que su eficiencia es la unidad (100%).

Consideremos ahora la mediana muestral , . Este es un estimador insesgado y consistente para . Para muestras grandes, la mediana de la muestra se distribuye aproximadamente normalmente con media y varianza ^[10] ${\displaystyle {\widetilde {X}}}$ ${\displaystyle \mu }$ ${\displaystyle N}$ ${\displaystyle \mu }$ ${\displaystyle {\pi }/{2N},}$

${\displaystyle {\widetilde {X}}\sim {\mathcal {N}}\left(\mu ,{\frac {\pi }{2N}}\right).}$

La eficiencia de la mediana para grandes es, por tanto, ${\displaystyle N}$

${\displaystyle e\left({\widetilde {X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right)^{-1}=2/\pi \approx 0.64.}$

En otras palabras, la varianza relativa de la mediana será , o un 57% mayor que la varianza de la media; el error estándar de la mediana será un 25% mayor que el de la media. ^[11] ${\displaystyle \pi /2\approx 1.57}$

Tenga en cuenta que esta es la eficiencia asintótica , es decir, la eficiencia en el límite cuando el tamaño de la muestra tiende al infinito. Para valores finitos, la eficiencia es mayor que esto (por ejemplo, un tamaño de muestra de 3 da una eficiencia de aproximadamente el 74%). ^{[ cita necesaria ]} ${\displaystyle N}$ ${\displaystyle N,}$

Por tanto, la media muestral es más eficiente que la mediana muestral en este ejemplo. Sin embargo, puede haber medidas mediante las cuales la mediana tenga un mejor desempeño. Por ejemplo, la mediana es mucho más robusta frente a los valores atípicos , de modo que si el modelo gaussiano es cuestionable o aproximado, el uso de la mediana puede tener ventajas (consulte Estadísticas sólidas ).

Estimadores dominantes

Si y son estimadores del parámetro , entonces se dice que domina si: ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$ ${\displaystyle \theta }$ ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

1. su error cuadrático medio (MSE) es menor para al menos algún valor de ${\displaystyle \theta }$
2. el MSE no excede el de para ningún valor de θ. ${\displaystyle T_{2}}$

Formalmente, domina si ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

${\displaystyle \operatorname {E} [(T_{1}-\theta )^{2}]\leq \operatorname {E} [(T_{2}-\theta )^{2}]}$

es válido para todos , con una desigualdad estricta que se mantiene en alguna parte. ${\displaystyle \theta }$

Eficiencia relativa

La eficiencia relativa de dos estimadores insesgados se define como ^[12]

${\displaystyle e(T_{1},T_{2})={\frac {\operatorname {E} [(T_{2}-\theta )^{2}]}{\operatorname {E} [(T_{1}-\theta )^{2}]}}={\frac {\operatorname {var} (T_{2})}{\operatorname {var} (T_{1})}}}$

Aunque en general es función de , en muchos casos la dependencia desaparece; si esto es así, ser mayor que uno indicaría que es preferible, independientemente del valor real de . ${\displaystyle e}$ ${\displaystyle \theta }$ ${\displaystyle e}$ ${\displaystyle T_{1}}$ ${\displaystyle \theta }$

Una alternativa a la eficiencia relativa para comparar estimadores es el criterio de cercanía de Pitman . Esto reemplaza la comparación de errores cuadráticos medios con la comparación de la frecuencia con la que un estimador produce estimaciones más cercanas al valor real que otro estimador.

Si y son estimadores del parámetro , entonces se dice que domina si: ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$ ${\displaystyle \theta }$ ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

1. su error cuadrático medio (MSE) es menor para al menos algún valor de ${\displaystyle \theta }$
2. el MSE no excede el de para ningún valor de θ. ${\displaystyle T_{2}}$

Formalmente, domina si ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

${\displaystyle \mathrm {E} \left[(T_{1}-\theta )^{2}\right]\leq \mathrm {E} \left[(T_{2}-\theta )^{2}\right]}$

es válido para todos , con una desigualdad estricta que se mantiene en alguna parte. ${\displaystyle \theta }$

Estimadores de la media de variables fluidas.

Al estimar la media de variables no correlacionadas y distribuidas idénticamente podemos aprovechar el hecho de que la varianza de la suma es la suma de las varianzas . En este caso, la eficiencia se puede definir como el cuadrado del coeficiente de variación , es decir, ^[13]

${\displaystyle e\equiv \left({\frac {\sigma }{\mu }}\right)^{2}}$

Por tanto, la eficiencia relativa de dos de estos estimadores puede interpretarse como el tamaño de muestra relativo de uno necesario para lograr la certeza del otro. Prueba:

${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.}$

Ahora bien , como tenemos , la eficiencia relativa expresa el tamaño de muestra relativo del primer estimador necesario para igualar la varianza del segundo. ${\displaystyle s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}}$ ${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}}$

Robustez

La eficiencia de un estimador puede cambiar significativamente si la distribución cambia, y a menudo disminuye. Ésta es una de las motivaciones de las estadísticas robustas : un estimador como la media muestral es un estimador eficiente de la media poblacional de una distribución normal, por ejemplo, pero puede ser un estimador ineficiente de una distribución mixta de dos distribuciones normales con la misma distribución. media y diferentes varianzas. Por ejemplo, si una distribución es una combinación de 98% N ( μ, σ ) y 2% N ( μ, 10 σ ), la presencia de valores extremos de la última distribución (a menudo "valores atípicos contaminantes") reduce significativamente la eficiencia de la media muestral como estimador de μ. Por el contrario, la media recortada es menos eficiente para una distribución normal, pero es más robusta (es decir, menos afectada) por los cambios en la distribución y, por lo tanto, puede ser más eficiente para una distribución mixta. De manera similar, la forma de una distribución , como la asimetría o las colas pesadas , puede reducir significativamente la eficiencia de los estimadores que asumen una distribución simétrica o colas delgadas.

Usos de estimadores ineficientes

Si bien la eficiencia es una cualidad deseable de un estimador, debe sopesarse frente a otras consideraciones, y un estimador que es eficiente para ciertas distribuciones bien puede ser ineficiente para otras distribuciones. Lo más significativo es que los estimadores que son eficientes para datos limpios de una distribución simple, como la distribución normal (que es simétrica, unimodal y tiene colas delgadas) pueden no ser robustos a la contaminación por valores atípicos y pueden ser ineficientes para distribuciones más complicadas. En las estadísticas sólidas , se da más importancia a la solidez y la aplicabilidad a una amplia variedad de distribuciones, que a la eficiencia de una sola distribución. Los estimadores M son una clase general de estimadores motivados por estas preocupaciones. Se pueden diseñar para que produzcan robustez y una alta eficiencia relativa, aunque en algunos casos posiblemente sean más eficientes que los estimadores tradicionales. Sin embargo, pueden ser muy complicados desde el punto de vista computacional.

Una alternativa más tradicional son los estimadores L , que son estadísticas muy simples que son fáciles de calcular e interpretar, en muchos casos sólidas y, a menudo, suficientemente eficientes para las estimaciones iniciales. Consulte las aplicaciones de los estimadores L para obtener más información.

Eficiencia en estadística

La eficiencia en las estadísticas es importante porque permiten comparar el desempeño de varios estimadores. Aunque generalmente se prefiere un estimador insesgado a uno sesgado, un estimador sesgado más eficiente a veces puede ser más valioso que un estimador insesgado menos eficiente. Por ejemplo, esto puede ocurrir cuando los valores del estimador sesgado se reúnen alrededor de un número más cercano al valor real. Por lo tanto, el desempeño del estimador se puede predecir fácilmente comparando sus errores cuadráticos medios o sus varianzas.

Pruebas de hipótesis

Para comparar pruebas de significancia , se puede definir una medida significativa de eficiencia basada en el tamaño de muestra requerido para que la prueba alcance una potencia de tarea determinada . ^[14]

La eficiencia de Pitman ^[15] y la eficiencia de Bahadur (o eficiencia de Hodges-Lehmann) ^{[16] [17] [18]} se relacionan con la comparación del desempeño de los procedimientos de prueba de hipótesis estadísticas .

Diseño experimental

Para los diseños experimentales, la eficiencia se relaciona con la capacidad de un diseño para lograr el objetivo del estudio con un gasto mínimo de recursos como tiempo y dinero. En casos simples, la eficiencia relativa de los diseños se puede expresar como la relación de los tamaños de muestra necesarios para lograr un objetivo determinado. ^[19]

Ver también

• Estimador de Bayes
• Estimador consistente
• estimador de Hodges
• Instrumentos óptimos

Notas

1. Everitt 2002, pág. 128.
2. Nikulin, MS (2001) [1994], "Eficiencia de un procedimiento estadístico", Enciclopedia de Matemáticas , EMS Press
3. Fisher, R (1921). "Sobre los fundamentos matemáticos de la estadística teórica". Transacciones filosóficas de la Royal Society de Londres A. 222 : 309–368. JSTOR  91208.
4. Everitt 2002, pag. 128.
5. Dekking, FM (2007). Una introducción moderna a la probabilidad y la estadística: comprender por qué y cómo . Saltador. págs. 303–305. ISBN 978-1852338961.
6. Romano, José P.; Siegel, Andrew F. (1986). Contraejemplos en probabilidad y estadística . Chapman y Hall. pag. 194.
7. Van Trees, Harry L. (2013). Estimación de detección y teoría de la modulación. Kristine L. Bell, Zhi Tian (Segunda ed.). Hoboken, Nueva Jersey ISBN 978-1-299-66515-6. OCLC  851161356.{{cite book}}: Mantenimiento CS1: falta el editor de la ubicación ( enlace )
8. DeGroot; Schervish (2002). Probabilidad y Estadística (3ª ed.). págs. 440–441.
9. Greene, William H. (2012). Análisis econométrico (7ª ed., ed. internacional). Boston: Pearson. ISBN 978-0-273-75356-8. OCLC  726074601.
10. Williams, D. (2001). Sopesando las probabilidades . Prensa de la Universidad de Cambridge. pag. 165.ISBN​ 052100618X.
11. Maindonald, John; Braun, W. John (6 de mayo de 2010). Análisis de datos y gráficos utilizando R: un enfoque basado en ejemplos. Prensa de la Universidad de Cambridge. pag. 104.ISBN​ 978-1-139-48667-5.
12. Wackerly, Dennis D.; Mendenhall, William; Scheaffer, Richard L. (2008). Estadística matemática con aplicaciones (Séptima ed.). Belmont, California: Thomson Brooks/Cole. pag. 445.ISBN​ 9780495110811. OCLC  183886598.
13. Grubbs, Frank (1965). Medidas estadísticas de precisión para fusileros e ingenieros de misiles . págs. 26 y 27.
14. Everitt 2002, pag. 321.
15. Nikitin, Ya.Yu. (2001) [1994], "Eficiencia, asintótica", Enciclopedia de Matemáticas , EMS Press
16. "Eficiencia de Bahadur - Enciclopedia de Matemáticas".
17. Arcones MA Preimpresión "Prueba de eficiencia de la razón de verosimilitud de Bahadur"
18. Canay IA y Otsu, T. "Optimidad de Hodges-Lehmann para probar modelos de condiciones de momento"
19. Esquivar, Y. (2006). Diccionario Oxford de términos estadísticos . Prensa de la Universidad de Oxford. ISBN 0-19-920613-9.

Referencias

• Everitt, Brian S. (2002). El Diccionario de Estadística de Cambridge . Prensa de la Universidad de Cambridge. ISBN 0-521-81099-X.
• Lehmann, Erich L. (1998). Elementos de la teoría de muestras grandes . Nueva York: Springer Verlag. ISBN 978-0-387-98595-4.

Otras lecturas

• Lehmann, EL ; Casella, G. (1998). Teoría de la estimación puntual (2ª ed.). Saltador. ISBN 0-387-98502-6.
• Pfanzagl, Johann ; con la ayuda de R. Hamböker (1994). Teoría estadística paramétrica . Berlín: Walter de Gruyter. ISBN 3-11-013863-8. SEÑOR  1291393.