stringtranslate.com

Estimador

Una estimación no es lo mismo que un estimador: una estimación es un valor específico que depende únicamente del conjunto de datos, mientras que un estimador es un método de estimación que se realiza a través de variables aleatorias.

En estadística , un estimador es una regla para calcular una estimación de una cantidad determinada a partir de datos observados : así se distinguen la regla (el estimador), la cantidad de interés (el estimador ) y su resultado (la estimación). [1] Por ejemplo, la media muestral es un estimador de la media poblacional comúnmente utilizado .

Hay estimadores puntuales y de intervalo . Los estimadores puntuales arrojan resultados de un solo valor. Esto contrasta con un estimador de intervalo , donde el resultado sería un rango de valores plausibles. "Valor único" no significa necesariamente "número único", pero incluye estimadores con valores vectoriales o con valores funcionales.

La teoría de la estimación se ocupa de las propiedades de los estimadores; es decir, con propiedades definitorias que se pueden utilizar para comparar diferentes estimadores (diferentes reglas para crear estimaciones) para la misma cantidad, basándose en los mismos datos. Estas propiedades se pueden utilizar para determinar las mejores reglas a utilizar en determinadas circunstancias. Sin embargo, en las estadísticas sólidas , la teoría estadística pasa a considerar el equilibrio entre tener buenas propiedades, si se cumplen supuestos estrictamente definidos, y tener propiedades menos buenas que se cumplen en condiciones más amplias.

Fondo

Un "estimador" o " estimación puntual " es una estadística (es decir, una función de los datos) que se utiliza para inferir el valor de un parámetro desconocido en un modelo estadístico . Una forma común de expresarlo es "el estimador es el método seleccionado para obtener una estimación de un parámetro desconocido". El parámetro que se estima a veces se denomina estimación . Puede ser de dimensión finita (en modelos paramétricos y semiparamétricos ) o de dimensión infinita ( modelos semiparamétricos y no paramétricos ). [2] Si se denota el parámetro, entonces el estimador se escribe tradicionalmente agregando un circunflejo sobre el símbolo: . Al ser función de los datos, el estimador es en sí mismo una variable aleatoria ; una realización particular de esta variable aleatoria se llama "estimación". A veces, las palabras "estimador" y "estimación" se utilizan indistintamente.

La definición prácticamente no impone restricciones sobre qué funciones de los datos pueden denominarse "estimadores". El atractivo de diferentes estimadores se puede juzgar observando sus propiedades, como insesgamiento , error cuadrático medio , consistencia , distribución asintótica , etc. La construcción y comparación de estimadores son los temas de la teoría de la estimación . En el contexto de la teoría de la decisión , un estimador es un tipo de regla de decisión y su desempeño puede evaluarse mediante el uso de funciones de pérdida .

Cuando la palabra "estimador" se utiliza sin calificativo, generalmente se refiere a una estimación puntual. La estimación en este caso es un único punto en el espacio de parámetros . También existe otro tipo de estimador: los estimadores de intervalo , donde las estimaciones son subconjuntos del espacio de parámetros.

El problema de la estimación de la densidad surge en dos aplicaciones. En primer lugar, en la estimación de las funciones de densidad de probabilidad de variables aleatorias y en segundo lugar, en la estimación de la función de densidad espectral de una serie temporal . En estos problemas, las estimaciones son funciones que pueden considerarse como estimaciones puntuales en un espacio de dimensión infinita, y existen problemas de estimación de intervalos correspondientes.

Definición

Supongamos que es necesario estimar un parámetro fijo. Entonces, un "estimador" es una función que asigna el espacio muestral a un conjunto de estimaciones muestrales . Un estimador de suele denotarse con el símbolo . A menudo es conveniente expresar la teoría usando el álgebra de variables aleatorias : así, si X se usa para denotar una variable aleatoria correspondiente a los datos observados, el estimador (a su vez tratado como una variable aleatoria) se simboliza como una función de esa variable aleatoria. , . La estimación de un valor de datos observado particular (es decir, para ) es entonces , que es un valor fijo. A menudo se utiliza una notación abreviada en la que se interpreta directamente como una variable aleatoria , pero esto puede causar confusión.

Propiedades cuantificadas

Las siguientes definiciones y atributos son relevantes. [3]

Error

Para una muestra dada , el " error " del estimador se define como

¿Dónde está el parámetro que se está estimando? El error, e , depende no sólo del estimador (la fórmula o procedimiento de estimación), sino también de la muestra.

Error medio cuadrado

El error cuadrático medio de se define como el valor esperado (promedio ponderado por probabilidad, sobre todas las muestras) de los errores cuadráticos; eso es,

Se utiliza para indicar qué tan lejos, en promedio, está la colección de estimaciones del parámetro único que se está estimando. Considere la siguiente analogía. Supongamos que el parámetro es la diana de un objetivo, el estimador es el proceso de disparar flechas al objetivo y las flechas individuales son estimaciones (muestras). Entonces, un MSE alto significa que la distancia promedio de las flechas desde el centro de la diana es alta, y un MSE bajo significa que la distancia promedio desde el centro de la diana es baja. Las flechas pueden estar agrupadas o no. Por ejemplo, incluso si todas las flechas dan en el mismo punto, pero fallan rotundamente en el objetivo, el MSE sigue siendo relativamente grande. Sin embargo, si el MSE es relativamente bajo, es probable que las flechas estén más agrupadas (que muy dispersas) alrededor del objetivo.

Desviación muestral

Para una muestra dada , la desviación muestral del estimador se define como

donde es el valor esperado del estimador. La desviación muestral, d , depende no sólo del estimador, sino también de la muestra.

Diferencia

La varianza de es el valor esperado de las desviaciones muestrales al cuadrado; eso es, . Se utiliza para indicar qué tan lejos, en promedio, está la recopilación de estimaciones del valor esperado de las estimaciones. (Observe la diferencia entre MSE y varianza). Si el parámetro es la diana de un objetivo y las flechas son estimaciones, entonces una varianza relativamente alta significa que las flechas están dispersas y una varianza relativamente baja significa que las flechas están agrupadas. Incluso si la varianza es baja, el grupo de flechas aún puede estar lejos del objetivo, e incluso si la varianza es alta, la colección difusa de flechas aún puede ser imparcial. Finalmente, incluso si todas las flechas fallan rotundamente en el objetivo, si todas dan en el mismo punto, la varianza es cero.

Inclinación

El sesgo de se define como . Es la distancia entre el promedio de la colección de estimaciones y el parámetro único que se estima. El sesgo de es una función del valor verdadero de, por lo que decir que el sesgo de es significa que para cada sesgo de es .

Hay dos tipos de estimadores: estimadores sesgados y estimadores insesgados. Si un estimador está sesgado o no, se puede identificar mediante la relación entre y 0:

El sesgo es también el valor esperado del error, ya que . Si el parámetro es la diana de un objetivo y las flechas son estimaciones, entonces un valor absoluto relativamente alto para el sesgo significa que la posición promedio de las flechas está fuera del objetivo, y un sesgo absoluto relativamente bajo significa la posición promedio de las flechas. está en el objetivo. Pueden estar dispersos o agrupados. La relación entre sesgo y varianza es análoga a la relación entre exactitud y precisión .

El estimador es un estimador insesgado de si y sólo si . El sesgo es una propiedad del estimador, no de la estimación. A menudo, la gente se refiere a una "estimación sesgada" o una "estimación insesgada", pero en realidad están hablando de una "estimación de un estimador sesgado" o una "estimación de un estimador insesgado". Además, la gente suele confundir el "error" de una estimación única con el "sesgo" de un estimador. Que el error de una estimación sea grande no significa que el estimador esté sesgado. De hecho, incluso si todas las estimaciones tienen valores absolutos astronómicos para sus errores, si el valor esperado del error es cero, el estimador es insesgado. Además, el hecho de que un estimador esté sesgado no impide que el error de una estimación sea cero en un caso particular. La situación ideal es tener un estimador insesgado con baja varianza y también intentar limitar el número de muestras donde el error es extremo (es decir, tener pocos valores atípicos). Sin embargo, la imparcialidad no es esencial. A menudo, si se permite un pequeño sesgo, entonces se puede encontrar un estimador con un error cuadrático medio más bajo y/o menos estimaciones muestrales atípicas.

Una alternativa a la versión anterior de "imparcial" es "insesgada mediana", donde la mediana de la distribución de estimaciones concuerda con el valor real; por lo tanto, a largo plazo la mitad de las estimaciones serán demasiado bajas y la otra mitad demasiado altas. Si bien esto se aplica inmediatamente solo a estimadores con valores escalares, se puede extender a cualquier medida de tendencia central de una distribución: ver estimadores insesgados de mediana .

En un problema práctico, siempre puede tener una relación funcional con . Por ejemplo, una teoría genética establece que hay un tipo de hoja, la verde almidonada, que ocurre con probabilidad , con . Para las hojas, la variable aleatoria , el número de hojas verdes con almidón, se puede modelar con una distribución. El número se puede utilizar para expresar el siguiente estimador de : . Se puede demostrar que es un estimador insesgado para : .

Imparcial

Diferencia entre estimadores: un estimador insesgado se centra frente a un estimador sesgado .

Una propiedad deseada por los estimadores es el rasgo insesgado en el que se demuestra que un estimador no tiene una tendencia sistemática a producir estimaciones mayores o menores que la probabilidad proporcionada. Además, se prefieren los estimadores insesgados con varianzas más pequeñas a las varianzas más grandes porque estarán más cerca del valor "verdadero" del parámetro. El estimador insesgado con la varianza más pequeña se conoce como estimador insesgado de varianza mínima (MVUE).

Para saber si su estimador es insesgado , es fácil seguir la ecuación . Con el estimador T con un parámetro de interés resolviendo la ecuación anterior por lo que se muestra como el estimador es insesgado. Mirando la figura de la derecha a pesar de ser el único estimador insesgado. Si las distribuciones se superpusieran y ambas estuvieran centradas, entonces la distribución sería en realidad el estimador insesgado preferido.

Expectativa Cuando se analizan cantidades en interés de la expectativa para la distribución del modelo, existe un estimador insesgado que debería satisfacer las dos ecuaciones siguientes.

Varianza De manera similar, cuando se consideran cantidades en interés de la varianza como distribución del modelo, también hay un estimador insesgado que debería satisfacer las dos ecuaciones siguientes.

Tenga en cuenta que estamos dividiendo por n - 1 porque si dividiéramos por n obtendríamos un estimador con un sesgo negativo que produciría estimaciones demasiado pequeñas para . También cabe mencionar que aunque es imparcial, lo contrario no es cierto. [4]

Relaciones entre las cantidades

Distribución muestral

La distribución muestral puede ser mostrada por el estimador . representado por la muestra aleatoria: . La distribución muestral es equivalente a la distribución de probabilidad del estimador S que también puede representarse mediante la ecuación:

.

donde Y es el número de ensayos iguales a cero y n es el número de ensayos. Para comprender por qué el valor esperado depende de la probabilidad ( ), debemos comprender la distribución. Por ejemplo, en la distribución muestral para cada i en el conjunto de datos aleatorio X, se puede considerar un éxito cuando X = 0. Esto hace que Y sea igual al éxito de X = 0 en n ensayos. Dado que el concepto de Y es un éxito o no, se puede considerar como una distribución binomial con probabilidad constante . Por lo tanto, la distribución muestral S puede verse como la distribución que convierte a S en una variable aleatoria discreta . Como resultado, la expectativa para la distribución muestral puede considerarse como

.

demostrar que la propiedad se mantiene independientemente de cuál sea su valor . Esto muestra que a pesar de que los valores fluctúan entre muestras, los estimadores pueden dar en el blanco independientemente de las diferencias. [4]

Propiedades de comportamiento

Consistencia

Una secuencia consistente de estimadores es una secuencia de estimadores que convergen en probabilidad a la cantidad que se estima a medida que el índice (generalmente el tamaño de la muestra ) crece sin límite. En otras palabras, aumentar el tamaño de la muestra aumenta la probabilidad de que el estimador se acerque al parámetro poblacional.

Matemáticamente, una secuencia de estimadores { t n ; n ≥ 0 } es un estimador consistente para el parámetro θ si y sólo si, para todo ε > 0 , no importa cuán pequeño sea, tenemos

.

La consistencia definida anteriormente puede denominarse consistencia débil. La secuencia es fuertemente consistente si converge casi con seguridad al valor verdadero.

Un estimador que converge a un múltiplo de un parámetro se puede convertir en un estimador consistente multiplicando el estimador por un factor de escala , es decir, el valor verdadero dividido por el valor asintótico del estimador. Esto ocurre frecuentemente en la estimación de parámetros de escala mediante medidas de dispersión estadística .

Consistencia de Fisher

Un estimador puede considerarse consistente de Fisher siempre que el estimador sea el mismo funcional de la función de distribución empírica que la función de distribución verdadera. Siguiendo la fórmula:

Donde y es la función de distribución empírica y las funciones de distribución teórica respectivamente. Un ejemplo sencillo para ver si algo es consistente con Fisher es verificar la consistencia media y la varianza. Por ejemplo, para verificar la coherencia de la media y verificar la varianza, confirme que . [5]

Normalidad asintótica

Un estimador asintóticamente normal es un estimador consistente cuya distribución alrededor del parámetro verdadero θ se acerca a una distribución normal con una desviación estándar que se reduce proporcionalmente a medida que crece el tamaño de la muestra n . Utilizando para denotar convergencia en la distribución , t n es asintóticamente normal si

para algunos V .

En esta formulación, V/n puede denominarse varianza asintótica del estimador. Sin embargo, algunos autores también llaman a V la varianza asintótica . Tenga en cuenta que la convergencia no necesariamente habrá ocurrido para cualquier "n" finito, por lo tanto, este valor es solo una aproximación a la varianza verdadera del estimador, mientras que en el límite la varianza asintótica (V/n) es simplemente cero. Para ser más específico, la distribución del estimador t n converge débilmente a una función delta de dirac centrada en .

El teorema del límite central implica la normalidad asintótica de la media muestral como estimador de la media verdadera. De manera más general, los estimadores de máxima verosimilitud son asintóticamente normales en condiciones de regularidad bastante débiles; consulte la sección de asintóticas del artículo de máxima verosimilitud. Sin embargo, no todos los estimadores son asintóticamente normales; Los ejemplos más simples se encuentran cuando el valor verdadero de un parámetro se encuentra en el límite de la región de parámetros permitida.

Eficiencia

La eficiencia de un estimador se utiliza para estimar la cantidad de interés con un "error mínimo". En realidad, no existe un mejor estimador explícito; sólo puede haber un mejor estimador. El bien o no de la eficiencia de un estimador se basa en la elección de una función de pérdida particular , y se refleja en dos propiedades naturalmente deseables de los estimadores: ser insesgados y tener un error cuadrático medio (MSE) mínimo . En general, ambos no pueden satisfacerse simultáneamente: un estimador insesgado puede tener un error cuadrático medio más bajo que cualquier estimador sesgado (ver sesgo del estimador ). Una función relaciona el error cuadrático medio con el sesgo del estimador. [6]

El primer término representa el error cuadrático medio; el segundo término representa el cuadrado del sesgo del estimador; y el tercer término representa la varianza de la muestra. La calidad del estimador se puede identificar a partir de la comparación entre la varianza, el cuadrado del sesgo del estimador o el MSE. La varianza del buen estimador (buena eficiencia) sería menor que la varianza del mal estimador (mala eficiencia). El cuadrado de un sesgo del estimador con un buen estimador sería menor que el sesgo del estimador con un mal estimador. El MSE de un buen estimador sería menor que el MSE del mal estimador. Supongamos que hay dos estimadores, el buen estimador y el mal estimador. La relación anterior se puede expresar mediante las siguientes fórmulas.

Además de utilizar fórmulas para identificar la eficiencia del estimador, también se puede identificar a través del gráfico. Si un estimador es eficiente, en el gráfico frecuencia versus valor, habrá una curva con alta frecuencia en el centro y baja frecuencia en los dos lados. Por ejemplo:

Si un estimador no es eficiente, en el gráfico frecuencia versus valor, habrá una curva relativamente más suave.

En pocas palabras, el buen estimador tiene una curva estrecha, mientras que el mal estimador tiene una curva grande. Al trazar estas dos curvas en un gráfico con un eje y compartido, la diferencia se vuelve más obvia.

Comparación entre buen y mal estimador.

Entre los estimadores insesgados, a menudo existe uno con la varianza más baja, llamado estimador insesgado de varianza mínima ( MVUE ). En algunos casos existe un estimador eficiente insesgado que, además de tener la varianza más baja entre los estimadores insesgados, satisface el límite de Cramér-Rao , que es un límite inferior absoluto de la varianza para las estadísticas de una variable.

Con respecto a estos "mejores estimadores insesgados", véase también Límite de Cramér-Rao , Teorema de Gauss-Markov , Teorema de Lehmann-Scheffé , Teorema de Rao-Blackwell .

Robustez

Ver también

Referencias

  1. ^ Mosteller, F.; Tukey, JW (1987) [1968]. "Análisis de datos, incluidas estadísticas". Las obras completas de John W. Tukey: filosofía y principios del análisis de datos 1965-1986 . vol. 4. Prensa CRC. págs. 601–720 [pág. 633]. ISBN 0-534-05101-4– a través de libros de Google .
  2. ^ Kosorok (2008), sección 3.1, págs. 35–39.
  3. ^ Jaynes (2007), p.172.
  4. ^ ab Dekking, Frederik (15 de junio de 2005). Una introducción moderna a la probabilidad y la estadística . Saltador. págs. 285–293. ISBN 978-1-85233-896-1.
  5. ^ Lauritzen, Steffen. "Propiedades de los estimadores" (PDF) . Universidad de Oxford . Consultado el 9 de diciembre de 2023 .
  6. ^ Dekking, Frederik Michel; Kraaikamp, ​​Cornelis; Lopuhaä, Hendrik Paul; Meester, Ludolf Erwin (2005). "Una introducción moderna a la probabilidad y la estadística". Textos Springer en Estadística . doi :10.1007/1-84628-168-7. ISBN 978-1-85233-896-1. ISSN  1431-875X.

Otras lecturas

enlaces externos