Eficiencia (estadísticas)

Medida de calidad de un método estadístico

En estadística, la eficiencia es una medida de la calidad de un estimador , de un diseño experimental ^[1] o de un procedimiento de prueba de hipótesis . ^[2] Básicamente, un estimador más eficiente necesita menos datos de entrada u observaciones que uno menos eficiente para alcanzar el límite de Cramér-Rao . Un estimador eficiente se caracteriza por tener la varianza más pequeña posible , lo que indica que hay una pequeña desviación entre el valor estimado y el valor "verdadero" en el sentido de la norma L2 . ^[1]

La eficiencia relativa de dos procedimientos es la relación entre sus eficiencias, aunque a menudo este concepto se utiliza cuando la comparación se realiza entre un procedimiento dado y un procedimiento "mejor posible" hipotético. Las eficiencias y la eficiencia relativa de dos procedimientos dependen teóricamente del tamaño de muestra disponible para el procedimiento dado, pero a menudo es posible utilizar la eficiencia relativa asintótica (definida como el límite de las eficiencias relativas a medida que aumenta el tamaño de la muestra) como la principal medida de comparación.

Estimadores

La eficiencia de un estimador insesgado , T , de un parámetro θ se define como ^[3]

${\displaystyle e(T)={\frac {1/{\mathcal {I}}(\theta )}{\operatorname {var} (T)}}}$

donde es la información de Fisher de la muestra. Por lo tanto, e ( T ) es la varianza mínima posible para un estimador insesgado dividida por su varianza real. El límite de Cramér–Rao se puede utilizar para demostrar que e ( T ) ≤ 1. ${\displaystyle {\mathcal {I}}(\theta )}$

Estimadores eficientes

Un estimador eficiente es un estimador que estima la cantidad de interés de alguna manera “mejor posible”. La noción de “mejor posible” se basa en la elección de una función de pérdida particular , la función que cuantifica el grado relativo de indeseabilidad de errores de estimación de diferentes magnitudes. La elección más común de la función de pérdida es cuadrática , lo que da como resultado el criterio de error cuadrático medio de optimalidad. ^[4]

En general, la dispersión de un estimador en torno al parámetro θ es una medida de la eficiencia y el rendimiento del estimador. Este rendimiento se puede calcular hallando el error cuadrático medio. De manera más formal, sea T un estimador para el parámetro θ . El error cuadrático medio de T es el valor , que se puede descomponer como una suma de su varianza y sesgo: ${\displaystyle \operatorname {MSE} (T)=E[(T-\theta )^{2}]}$

${\displaystyle {\begin{aligned}\operatorname {MSE} (T)&=\operatorname {E} [(T-\theta )^{2}]=\operatorname {E} [(T-\operatorname {E} [T]+\operatorname {E} [T]-\theta )^{2}]\\[5pt]&=\operatorname {E} [(T-\operatorname {E} [T])^{2}]+2E[T-E[T]](\operatorname {E} [T]-\theta )+(\operatorname {E} [T]-\theta )^{2}\\[5pt]&=\operatorname {var} (T)+(\operatorname {E} [T]-\theta )^{2}\end{aligned}}}$

Un estimador T ₁ tiene un mejor rendimiento que un estimador T ₂ si . ^[5] Para un caso más específico, si T ₁ y T ₂ son dos estimadores insesgados para el mismo parámetro θ, entonces se puede comparar la varianza para determinar el rendimiento. En este caso, T ₂ es más eficiente que T ₁ si la varianza de T ₂ es menor que la varianza de T ₁ , es decir, para todos los valores de θ . Esta relación se puede determinar simplificando el caso más general anterior para el error cuadrático medio; ya que el valor esperado de un estimador insesgado es igual al valor del parámetro, . Por lo tanto, para un estimador insesgado, , ya que el término se elimina por ser igual a 0. ^[5] ${\displaystyle \operatorname {MSE} (T_{1})<\operatorname {MSE} (T_{2})}$ ${\displaystyle \operatorname {var} (T_{1})>\operatorname {var} (T_{2})}$ ${\displaystyle \operatorname {E} [T]=\theta }$ ${\displaystyle \operatorname {MSE} (T)=\operatorname {var} (T)}$ ${\displaystyle (\operatorname {E} [T]-\theta )^{2}}$

Si un estimador imparcial de un parámetro θ se cumple para todos los valores del parámetro, entonces el estimador se denomina eficiente. ^[3] ${\displaystyle e(T)=1}$

De manera equivalente, el estimador logra la igualdad en la desigualdad de Cramér-Rao para todos los θ . El límite inferior de Cramér-Rao es un límite inferior de la varianza de un estimador insesgado, que representa lo "mejor" que puede ser un estimador insesgado.

Un estimador eficiente es también el estimador insesgado de varianza mínima (MVUE). Esto se debe a que un estimador eficiente mantiene la igualdad en la desigualdad de Cramér-Rao para todos los valores de los parámetros, lo que significa que alcanza la varianza mínima para todos los parámetros (la definición de MVUE). El estimador MVUE, incluso si existe, no es necesariamente eficiente, porque "mínimo" no significa que se mantenga la igualdad en la desigualdad de Cramér-Rao.

Por lo tanto, no es necesario que exista un estimador eficiente, pero si existe, es el MVUE.

Eficiencia de muestras finitas

Supongamos que { P _θ | θ ∈ Θ } es un modelo paramétrico y que X = ( X ₁ , …, X _n ) son los datos muestreados de este modelo. Sea T = T ( X ) un estimador para el parámetro θ . Si este estimador es insesgado (es decir, E[  T  ] = θ ), entonces la desigualdad de Cramér–Rao establece que la varianza de este estimador está acotada desde abajo:

${\displaystyle \operatorname {var} [\,T\,]\ \geq \ {\mathcal {I}}_{\theta }^{-1},}$

donde es la matriz de información de Fisher del modelo en el punto θ . Generalmente, la varianza mide el grado de dispersión de una variable aleatoria alrededor de su media. Por lo tanto, los estimadores con pequeñas varianzas están más concentrados, estiman los parámetros con mayor precisión. Decimos que el estimador es un estimador eficiente de muestra finita (en la clase de estimadores insesgados) si alcanza el límite inferior en la desigualdad de Cramér-Rao anterior, para todo θ ∈ Θ . Los estimadores eficientes son siempre estimadores insesgados de varianza mínima . Sin embargo, lo inverso es falso: existen problemas de estimación puntual para los cuales el estimador insesgado de media de varianza mínima es ineficiente. ^[6] ${\displaystyle \scriptstyle {\mathcal {I}}_{\theta }}$

Históricamente, la eficiencia de muestras finitas fue uno de los primeros criterios de optimalidad. Sin embargo, este criterio tiene algunas limitaciones:

• Los estimadores eficientes para muestras finitas son extremadamente raros. De hecho, se ha demostrado que la estimación eficiente solo es posible en una familia exponencial y solo para los parámetros naturales de esa familia. ^[7]
• Esta noción de eficiencia a veces se restringe a la clase de estimadores insesgados . (A menudo no es así. ^[8] ) Dado que no hay buenas razones teóricas para exigir que los estimadores sean insesgados, esta restricción es incómoda. De hecho, si utilizamos el error cuadrático medio como criterio de selección, muchos estimadores sesgados superarán ligeramente a los “mejores” estimadores insesgados. Por ejemplo, en las estadísticas multivariadas para la dimensión tres o más, el estimador insesgado de media, media de la muestra , es inadmisible : Independientemente del resultado, su rendimiento es peor que, por ejemplo, el estimador de James-Stein . ^{[ cita requerida ]}
• La eficiencia de una muestra finita se basa en la varianza, como criterio según el cual se juzgan los estimadores. Un enfoque más general es utilizar funciones de pérdida distintas de las cuadráticas, en cuyo caso ya no se puede formular la eficiencia de una muestra finita. ^{[ cita requerida ] [ dudoso – discutir ]}

A modo de ejemplo, entre los modelos encontrados en la práctica, existen estimadores eficientes para: la media μ de la distribución normal (pero no la varianza σ ² ), el parámetro λ de la distribución de Poisson , la probabilidad p en la distribución binomial o multinomial .

Consideremos el modelo de una distribución normal con media desconocida pero varianza conocida: { P _θ = N ( θ , σ ² ) | θ ∈ R }. Los datos consisten en n observaciones independientes e idénticamente distribuidas de este modelo: X = ( x ₁ , …, x _n ) . Estimamos el parámetro θ utilizando la media muestral de todas las observaciones:

${\displaystyle T(X)={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\ .}$

Este estimador tiene una media θ y una varianza de σ ²  /  n , que es igual al recíproco de la información de Fisher de la muestra. Por lo tanto, la media de la muestra es un estimador eficiente de muestras finitas para la media de la distribución normal.

Eficiencia asintótica

La eficiencia asintótica requiere consistencia (estadística) , una distribución normal asintótica del estimador y una matriz de varianza-covarianza asintótica no peor que cualquier otro estimador. ^[9]

Ejemplo: mediana

Consideremos una muestra de tamaño extraída de una distribución normal de media y varianza unitaria , es decir, ${\displaystyle N}$ ${\displaystyle \mu }$ ${\displaystyle X_{n}\sim {\mathcal {N}}(\mu ,1).}$

La media muestral , , de la muestra , definida como ${\displaystyle {\overline {X}}}$ ${\displaystyle X_{1},X_{2},\ldots ,X_{N}}$

${\displaystyle {\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\mu ,{\frac {1}{N}}\right).}$

La varianza de la media, 1/ N (el cuadrado del error estándar ) es igual al recíproco de la información de Fisher de la muestra y, por lo tanto, por la desigualdad de Cramér-Rao , la media de la muestra es eficiente en el sentido de que su eficiencia es la unidad (100%).

Consideremos ahora la mediana de la muestra , . Se trata de un estimador imparcial y consistente para . Para valores grandes, la mediana de la muestra se distribuye aproximadamente de manera normal con media y varianza ^[10] ${\displaystyle {\widetilde {X}}}$ ${\displaystyle \mu }$ ${\displaystyle N}$ ${\displaystyle \mu }$ ${\displaystyle {\pi }/{2N},}$

${\displaystyle {\widetilde {X}}\sim {\mathcal {N}}\left(\mu ,{\frac {\pi }{2N}}\right).}$

La eficiencia de la mediana para valores grandes es entonces ${\displaystyle N}$

${\displaystyle e\left({\widetilde {X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right)^{-1}=2/\pi \approx 0.64.}$

En otras palabras, la varianza relativa de la mediana será , o 57% mayor que la varianza de la media – el error estándar de la mediana será 25% mayor que el de la media. ^[11] ${\displaystyle \pi /2\approx 1.57}$

Obsérvese que esta es la eficiencia asintótica , es decir, la eficiencia en el límite a medida que el tamaño de la muestra tiende al infinito. Para valores finitos, la eficiencia es mayor que esto (por ejemplo, un tamaño de muestra de 3 da una eficiencia de aproximadamente el 74%). ^{[ cita requerida ]} ${\displaystyle N}$ ${\displaystyle N,}$

Por lo tanto, la media de la muestra es más eficiente que la mediana de la muestra en este ejemplo. Sin embargo, puede haber medidas por las que la mediana funcione mejor. Por ejemplo, la mediana es mucho más robusta a los valores atípicos , de modo que si el modelo gaussiano es cuestionable o aproximado, puede haber ventajas en utilizar la mediana (consulte Estadísticas robustas ).

Estimadores dominantes

Si y son estimadores del parámetro , entonces se dice que domina si: ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$ ${\displaystyle \theta }$ ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

1. Su error cuadrático medio (MSE) es menor para al menos algún valor de ${\displaystyle \theta }$
2. el MSE no excede el de para ningún valor de θ. ${\displaystyle T_{2}}$

Formalmente, domina si ${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

${\displaystyle \operatorname {E} [(T_{1}-\theta )^{2}]\leq \operatorname {E} [(T_{2}-\theta )^{2}]}$

se cumple para todos , con una desigualdad estricta en algún lugar. ${\displaystyle \theta }$

Eficiencia relativa

La eficiencia relativa de dos estimadores imparciales se define como ^[12]

${\displaystyle e(T_{1},T_{2})={\frac {\operatorname {E} [(T_{2}-\theta )^{2}]}{\operatorname {E} [(T_{1}-\theta )^{2}]}}={\frac {\operatorname {var} (T_{2})}{\operatorname {var} (T_{1})}}}$

Aunque en general es una función de , en muchos casos la dependencia desaparece; si es así, ser mayor que uno indicaría que es preferible, independientemente del valor real de . ${\displaystyle e}$ ${\displaystyle \theta }$ ${\displaystyle e}$ ${\displaystyle T_{1}}$ ${\displaystyle \theta }$

Una alternativa a la eficiencia relativa para comparar estimadores es el criterio de proximidad de Pitman . Este reemplaza la comparación de errores cuadráticos medios por la comparación de la frecuencia con la que un estimador produce estimaciones más cercanas al valor verdadero que otro estimador.

Estimadores de la media de las variables uid

Al estimar la media de variables no correlacionadas, distribuidas de manera idéntica, podemos aprovechar el hecho de que la varianza de la suma es la suma de las varianzas . En este caso, la eficiencia se puede definir como el cuadrado del coeficiente de variación , es decir, ^[13]

${\displaystyle e\equiv \left({\frac {\sigma }{\mu }}\right)^{2}}$

La eficiencia relativa de dos de estos estimadores puede interpretarse como el tamaño de muestra relativo de uno necesario para lograr la certeza del otro. Demostración:

${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.}$

Ahora bien, como tenemos , la eficiencia relativa expresa el tamaño de muestra relativo del primer estimador necesario para que coincida con la varianza del segundo. ${\displaystyle s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}}$ ${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}}$

Robustez

La eficiencia de un estimador puede cambiar significativamente si la distribución cambia, a menudo disminuyendo. Esta es una de las motivaciones de las estadísticas robustas : un estimador como la media de la muestra es un estimador eficiente de la media de la población de una distribución normal, por ejemplo, pero puede ser un estimador ineficiente de una distribución mixta de dos distribuciones normales con la misma media y diferentes varianzas. Por ejemplo, si una distribución es una combinación de 98% N ( μ, σ ) y 2% N ( μ, 10 σ ), la presencia de valores extremos de la última distribución (a menudo "valores atípicos contaminantes") reduce significativamente la eficiencia de la media de la muestra como estimador de μ. Por el contrario, la media recortada es menos eficiente para una distribución normal, pero es más robusta (es decir, menos afectada) por los cambios en la distribución y, por lo tanto, puede ser más eficiente para una distribución mixta. De manera similar, la forma de una distribución , como la asimetría o las colas pesadas , puede reducir significativamente la eficiencia de los estimadores que asumen una distribución simétrica o colas delgadas.

Usos de estimadores ineficientes

Si bien la eficiencia es una cualidad deseable de un estimador, debe sopesarse frente a otras consideraciones, y un estimador que es eficiente para ciertas distribuciones puede ser ineficiente para otras distribuciones. Lo más importante es que los estimadores que son eficientes para datos limpios de una distribución simple, como la distribución normal (que es simétrica, unimodal y tiene colas delgadas) pueden no ser robustos a la contaminación por valores atípicos y pueden ser ineficientes para distribuciones más complicadas. En las estadísticas robustas , se da más importancia a la robustez y la aplicabilidad a una amplia variedad de distribuciones, en lugar de la eficiencia en una sola distribución. Los estimadores M son una clase general de estimadores motivados por estas preocupaciones. Pueden diseñarse para producir tanto robustez como alta eficiencia relativa, aunque posiblemente menor eficiencia que los estimadores tradicionales para algunos casos. Sin embargo, pueden ser muy complicados computacionalmente.

Una alternativa más tradicional son los estimadores L , que son estadísticas muy simples, fáciles de calcular e interpretar, en muchos casos robustas y, a menudo, lo suficientemente eficientes para realizar estimaciones iniciales. Consulte las aplicaciones de los estimadores L para obtener más información.

Eficiencia en las estadísticas

La eficiencia en las estadísticas es importante porque permite comparar el desempeño de varios estimadores. Aunque un estimador imparcial suele preferirse a uno sesgado, un estimador sesgado más eficiente a veces puede ser más valioso que un estimador imparcial menos eficiente. Por ejemplo, esto puede ocurrir cuando los valores del estimador sesgado se agrupan en torno a un número más cercano al valor verdadero. Por lo tanto, el desempeño del estimador se puede predecir fácilmente comparando sus errores cuadráticos medios o varianzas.

Pruebas de hipótesis

Para comparar pruebas de significancia , se puede definir una medida significativa de eficiencia en función del tamaño de muestra requerido para que la prueba logre una potencia de tarea determinada . ^[14]

La eficiencia de Pitman ^[15] y la eficiencia de Bahadur (o eficiencia de Hodges-Lehmann) ^{[16] [17] [18]} se relacionan con la comparación del desempeño de los procedimientos de prueba de hipótesis estadísticas .

Diseño experimental

En el caso de los diseños experimentales, la eficiencia se relaciona con la capacidad de un diseño para lograr el objetivo del estudio con un gasto mínimo de recursos, como tiempo y dinero. En casos simples, la eficiencia relativa de los diseños se puede expresar como la relación entre los tamaños de muestra necesarios para lograr un objetivo determinado. ^[19]

Véase también

• Estimador de Bayes
• Estimador consistente
• Estimador de Hodges
• Instrumentos óptimos

Notas

1. Everitt 2002, pág. 128.
2. Nikulin, MS (2001) [1994], "Eficiencia de un procedimiento estadístico", Enciclopedia de Matemáticas , EMS Press
3. Fisher, R (1921). "Sobre los fundamentos matemáticos de la estadística teórica". Philosophical Transactions of the Royal Society of London A . 222 : 309–368. JSTOR  91208.
4. Everitt 2002, pág. 128.
5. Dekking, FM (2007). Una introducción moderna a la probabilidad y la estadística: comprender por qué y cómo . Springer. págs. 303–305. ISBN 978-1852338961.
6. Romano, Joseph P.; Siegel, Andrew F. (1986). Contraejemplos en probabilidad y estadística . Chapman y Hall. pág. 194.
7. Van Trees, Harry L. (2013). Estimación de detección y teoría de modulación. Kristine L. Bell, Zhi Tian (segunda edición). Hoboken, NJ ISBN 978-1-299-66515-6. OCLC  851161356.{{cite book}}: Mantenimiento de CS1: falta la ubicación del editor ( enlace )
8. DeGroot; Schervish (2002). Probabilidad y estadística (3.ª ed.). Págs. 440–441.
9. Greene, William H. (2012). Análisis econométrico (7.ª ed., ed. internacional). Boston: Pearson. ISBN 978-0-273-75356-8.OCLC 726074601  .
10. Williams, D. (2001). Weighing the Odds (Pesando las probabilidades ). Cambridge University Press. pág. 165. ISBN 052100618X.
11. Maindonald, John; Braun, W. John (6 de mayo de 2010). Análisis de datos y gráficos con R: un enfoque basado en ejemplos. Cambridge University Press. pág. 104. ISBN 978-1-139-48667-5.
12. Wackerly, Dennis D.; Mendenhall, William; Scheaffer, Richard L. (2008). Estadística matemática con aplicaciones (séptima edición). Belmont, CA: Thomson Brooks/Cole. pág. 445. ISBN 9780495110811.OCLC 183886598  .
13. Grubbs, Frank (1965). Medidas estadísticas de precisión para fusileros e ingenieros de misiles . págs. 26-27.
14. Everitt 2002, pág. 321.
15. Nikitin, Ya.Yu. (2001) [1994], "Eficiencia asintótica", Enciclopedia de Matemáticas , EMS Press
16. "Eficiencia Bahadur - Enciclopedia de Matemáticas".
17. Preimpresión de Arcones MA "Eficiencia de Bahadur de la prueba de razón de verosimilitud"
18. Canay IA y Otsu, T. "Optimalidad de Hodges-Lehmann para probar modelos de condición de momento"
19. Dodge, Y. (2006). Diccionario Oxford de términos estadísticos . Oxford University Press. ISBN 0-19-920613-9.

Referencias

• Everitt, Brian S. (2002). Diccionario de estadística de Cambridge . Cambridge University Press. ISBN 0-521-81099-X.
• Lehmann, Erich L. (1998). Elementos de la teoría de muestras grandes . Nueva York: Springer Verlag. ISBN 978-0-387-98595-4.

Lectura adicional

• Lehmann, EL ; Casella, G. (1998). Teoría de la estimación puntual (2.ª ed.). Springer. ISBN 0-387-98502-6.
• Pfanzagl, Johann ; con la ayuda de R. Hamböker (1994). Teoría estadística paramétrica . Berlín: Walter de Gruyter. ISBN 3-11-013863-8.Señor 1291393  .