Estimador consistente

Estimador estadístico que converge en probabilidad a un parámetro verdadero a medida que aumenta el tamaño de la muestra

{ T ₁ , T ₂ , T ₃ , ...} es una secuencia de estimadores para el parámetro θ ₀ , cuyo valor verdadero es 4. Esta secuencia es consistente: los estimadores se están concentrando cada vez más cerca del valor verdadero θ ₀ ; al mismo tiempo, estos estimadores están sesgados. La distribución límite de la secuencia es una variable aleatoria degenerada que es igual a θ ₀ con probabilidad 1.

En estadística , un estimador consistente o estimador asintóticamente consistente es un estimador —una regla para calcular estimaciones de un parámetro θ ₀ —que tiene la propiedad de que, a medida que el número de puntos de datos utilizados aumenta indefinidamente, la secuencia resultante de estimaciones converge en probabilidad a θ _0. Esto significa que las distribuciones de las estimaciones se concentran cada vez más cerca del valor verdadero del parámetro que se está estimando, de modo que la probabilidad de que el estimador esté arbitrariamente cerca de θ ₀ converge a uno.

En la práctica, se construye un estimador en función de una muestra disponible de tamaño n y luego se imagina que se puede seguir recopilando datos y ampliando la muestra hasta el infinito . De esta manera, se obtendría una secuencia de estimaciones indexadas por n , y la consistencia es una propiedad de lo que ocurre a medida que el tamaño de la muestra “crece hasta el infinito”. Si se puede demostrar matemáticamente que la secuencia de estimaciones converge en probabilidad al valor verdadero θ ₀ , se denomina estimador consistente; de ​​lo contrario, se dice que el estimador es inconsistente .

La consistencia, tal como se define aquí, a veces se denomina consistencia débil . Cuando reemplazamos la convergencia en probabilidad por la convergencia casi segura , se dice que el estimador es fuertemente consistente . La consistencia está relacionada con el sesgo ; consulte sesgo versus consistencia.

Definición

Formalmente hablando, se dice que un estimador T _n de parámetro θ es débilmente consistente si converge en probabilidad al valor verdadero del parámetro: ^[1]

${\displaystyle {\underset {n\to \infty }{\operatorname {plim} }}\;T_{n}=\theta .}$

es decir, si, para todo ε > 0

${\displaystyle \lim _{n\to \infty }\Pr {\big (}|T_{n}-\theta |>\varepsilon {\big )}=0.}$

Se dice que un estimador T _n del parámetro θ es fuertemente consistente si converge casi con seguridad al valor verdadero del parámetro:

${\displaystyle \Pr {\big (}\lim _{n\to \infty }T_{n}=\theta {\big )}=1.}$

Una definición más rigurosa tiene en cuenta el hecho de que θ es en realidad desconocido y, por lo tanto, la convergencia en probabilidad debe tener lugar para cada valor posible de este parámetro. Supongamos que { p _θ : θ  ∈ Θ } es una familia de distribuciones (el modelo paramétrico ), y X ^θ = { X ₁ , X ₂ , … : X _i ~ p _θ } es una muestra infinita de la distribución p _θ . Sea {  T _n ( X ^θ ) } una secuencia de estimadores para algún parámetro g ( θ ). Por lo general, T _n se basará en las primeras n observaciones de una muestra. Entonces se dice que esta secuencia { T _n } es (débilmente) consistente si ^[2]

${\displaystyle {\underset {n\to \infty }{\operatorname {plim} }}\;T_{n}(X^{\theta })=g(\theta ),\ \ {\text{for all}}\ \theta \in \Theta .}$

Esta definición utiliza g ( θ ) en lugar de simplemente θ , porque a menudo se busca estimar una determinada función o un subvector del parámetro subyacente. En el siguiente ejemplo, estimamos el parámetro de ubicación del modelo, pero no la escala:

Ejemplos

Media muestral de una variable aleatoria normal

Supongamos que se tiene una secuencia de observaciones estadísticamente independientes { X ₁ , X ₂ , ...} de una distribución normal N ( μ ,  σ ² ) . Para estimar μ en función de las primeras n observaciones, se puede utilizar la media de la muestra : T _n  = ( X ₁ + ... + X _n )/ n . Esto define una secuencia de estimadores, indexada por el tamaño de la muestra n .

A partir de las propiedades de la distribución normal, conocemos la distribución muestral de este estadístico: T _n se distribuye normalmente, con media μ y varianza σ ² / n . Equivalentemente, tiene una distribución normal estándar: ${\displaystyle \scriptstyle (T_{n}-\mu )/(\sigma /{\sqrt {n}})}$

${\displaystyle \Pr \!\left[\,|T_{n}-\mu |\geq \varepsilon \,\right]=\Pr \!\left[{\frac {{\sqrt {n}}\,{\big |}T_{n}-\mu {\big |}}{\sigma }}\geq {\sqrt {n}}\varepsilon /\sigma \right]=2\left(1-\Phi \left({\frac {{\sqrt {n}}\,\varepsilon }{\sigma }}\right)\right)\to 0}$

como n tiende a infinito, para cualquier ε fijo > 0 . Por lo tanto, la secuencia T _n de medias muestrales es consistente para la media poblacional  μ (recordando que es la distribución acumulativa de la distribución normal). ${\displaystyle \Phi }$

Estableciendo coherencia

La noción de consistencia asintótica es muy similar, casi sinónima, a la noción de convergencia en probabilidad. Por lo tanto, cualquier teorema, lema o propiedad que establezca la convergencia en probabilidad puede utilizarse para demostrar la consistencia. Existen muchas herramientas de este tipo:

• Para demostrar la consistencia directamente desde la definición se puede utilizar la desigualdad ^[3]

${\displaystyle \Pr \!{\big [}h(T_{n}-\theta )\geq \varepsilon {\big ]}\leq {\frac {\operatorname {E} {\big [}h(T_{n}-\theta ){\big ]}}{h(\varepsilon )}},}$

La elección más común para la función h es el valor absoluto (en cuyo caso se conoce como desigualdad de Markov ) o la función cuadrática (respectivamente, desigualdad de Chebyshev ).

• Otro resultado útil es el teorema de aplicación continua : si T _n es consistente para θ y g (·) es una función de valor real continua en el punto θ , entonces g ( T _n ) será consistente para g ( θ ): ^[4]

${\displaystyle T_{n}\ {\xrightarrow {p}}\ \theta \ \quad \Rightarrow \quad g(T_{n})\ {\xrightarrow {p}}\ g(\theta )}$

• El teorema de Slutsky se puede utilizar para combinar varios estimadores diferentes, o un estimador con una secuencia convergente no aleatoria. Si T _n  → ^d α , y S _n  → ^p β , entonces ^[5]

${\displaystyle {\begin{aligned}&T_{n}+S_{n}\ {\xrightarrow {d}}\ \alpha +\beta ,\\&T_{n}S_{n}\ {\xrightarrow {d}}\ \alpha \beta ,\\&T_{n}/S_{n}\ {\xrightarrow {d}}\ \alpha /\beta ,{\text{ provided that }}\beta \neq 0\end{aligned}}}$

• Si el estimador T _n se da mediante una fórmula explícita, entonces lo más probable es que la fórmula emplee sumas de variables aleatorias, y entonces se puede utilizar la ley de los grandes números : para una secuencia { X _n } de variables aleatorias y en condiciones adecuadas,

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}g(X_{i})\ {\xrightarrow {p}}\ \operatorname {E} [\,g(X)\,]}$

• Si el estimador T _n se define implícitamente, por ejemplo como un valor que maximiza cierta función objetivo (ver estimador de extremo ), entonces se debe utilizar un argumento más complicado que involucra equicontinuidad estocástica . ^[6]

Sesgo versus consistencia

Imparcial pero no consistente

Un estimador puede ser imparcial pero no consistente. Por ejemplo, para una muestra iid { x
₁,..., x
_norte} se puede usar T
_norte( X ) = x
_nortecomo estimador de la media E[ X ]. Nótese que aquí la distribución de muestreo de T
_nortees lo mismo que la distribución subyacente (para cualquier n, ya que ignora todos los puntos excepto el último), por lo que E[ T
_norte( X )] = E[ X ] y es insesgado, pero no converge a ningún valor.

Sin embargo, si una secuencia de estimadores es imparcial y converge a un valor, entonces es consistente, ya que debe converger al valor correcto.

Parcial pero consistente

Alternativamente, un estimador puede ser sesgado pero consistente. Por ejemplo, si la media se estima mediante , es sesgado, pero a medida que , se acerca al valor correcto y, por lo tanto, es consistente. ${\displaystyle {1 \over n}\sum x_{i}+{1 \over n}}$ ${\displaystyle n\rightarrow \infty }$

Algunos ejemplos importantes son la varianza de la muestra y la desviación estándar de la muestra . Sin la corrección de Bessel (es decir, cuando se utiliza el tamaño de la muestra en lugar de los grados de libertad ), ambos son estimadores sesgados negativamente, pero consistentes. Con la corrección, la varianza de la muestra corregida no está sesgada, mientras que la desviación estándar de la muestra corregida sigue estando sesgada, pero menos, y ambas siguen siendo consistentes: el factor de corrección converge a 1 a medida que aumenta el tamaño de la muestra. ${\displaystyle n}$ ${\displaystyle n-1}$

He aquí otro ejemplo. Sea una secuencia de estimadores para . ${\displaystyle T_{n}}$ ${\displaystyle \theta }$

${\displaystyle \Pr(T_{n})={\begin{cases}1-1/n,&{\mbox{if }}\,T_{n}=\theta \\1/n,&{\mbox{if }}\,T_{n}=n\delta +\theta \end{cases}}}$

Podemos ver que , , y el sesgo no converge a cero. ${\displaystyle T_{n}{\xrightarrow {p}}\theta }$ ${\displaystyle \operatorname {E} [T_{n}]=\theta +\delta }$

Véase también

• Estimador eficiente
• Consistencia de Fisher : concepto alternativo, aunque poco utilizado, de consistencia para los estimadores
• Dilución de regresión
• Prueba de hipótesis estadística
• Estimación de variables instrumentales

Notas

1. Amemiya 1985, Definición 3.4.2.
2. Lehman y Casella 1998, pág. 332.
3. Amemiya 1985, ecuación (3.2.5).
4. Amemiya 1985, Teorema 3.2.6.
5. Amemiya 1985, Teorema 3.2.7.
6. Newey y McFadden 1994, capítulo 2.

Referencias

• Amemiya, Takeshi (1985). Econometría avanzada . Harvard University Press . ISBN 0-674-00560-0.
• Lehmann, EL ; Casella, G. (1998). Teoría de la estimación puntual (2.ª ed.). Springer. ISBN 0-387-98502-6.
• Newey, WK; McFadden, D. (1994). "Capítulo 36: Estimación de muestras grandes y prueba de hipótesis". En Robert F. Engle; Daniel L. McFadden (eds.). Handbook of Econometrics . Vol. 4. Elsevier Science. ISBN 0-444-88766-0.S2CID 29436457  .
• Nikulin, MS (2001) [1994], "Estimador consistente", Enciclopedia de Matemáticas , EMS Press
• Sober, E. (1988), "Verosimilitud y convergencia", Philosophy of Science , 55 (2): 228–237, doi :10.1086/289429.

Enlaces externos

• Conferencia sobre econometría (tema: imparcial vs. consistente) en YouTube por Mark Thoma