Cramér-Rao con destino

Límite inferior de la varianza de un estimador

Ilustración del límite de Cramer-Rao: no existe un estimador insesgado que sea capaz de estimar el parámetro (bidimensional) con menos varianza que el límite de Cramer-Rao, ilustrado como una elipse de desviación estándar.

En teoría y estadística de la estimación , el límite de Cramér-Rao ( CRB ) se relaciona con la estimación de un parámetro determinista (fijo, aunque desconocido). El resultado lleva el nombre de Harald Cramér y CR Rao , ^{[1] [2] [3]} pero también ha sido obtenido de forma independiente por Maurice Fréchet , ^[4] Georges Darmois , ^[5] y por Alexander Aitken y Harold Silverstone . ^{[6] [7]} También se conoce como límite inferior de Fréchet-Cramér-Rao o Fréchet-Darmois-Cramér-Rao. Afirma que la precisión de cualquier estimador insesgado es como máximo la información de Fisher ; o (de manera equivalente) el recíproco de la información de Fisher es un límite inferior de su varianza .

Un estimador insesgado que logra este límite se dice que es (totalmente) eficiente . Esta solución logra el error cuadrático medio más bajo posible entre todos los métodos insesgados y, por lo tanto, es el estimador insesgado de varianza mínima (MVU). Sin embargo, en algunos casos, no existe una técnica imparcial que logre el límite. Esto puede ocurrir si para cualquier estimador insesgado existe otro con una varianza estrictamente menor, o si existe un estimador MVU, pero su varianza es estrictamente mayor que la inversa de la información de Fisher.

El límite de Cramér-Rao también se puede utilizar para limitar la varianza de estimadores sesgados de un sesgo dado. En algunos casos, un enfoque sesgado puede dar como resultado una varianza y un error cuadrático medio que están por debajo del límite inferior insesgado de Cramér-Rao; ver sesgo del estimador .

A. Bhattacharyya propuso un progreso significativo sobre el límite inferior de Cramér-Rao a través de una serie de trabajos, llamados Bhattacharyya Bound. ^{[8] [9] [10] [11]}

Declaración

La cota de Cramér-Rao se establece en esta sección para varios casos cada vez más generales, comenzando con el caso en el que el parámetro es un escalar y su estimador es insesgado . Todas las versiones del límite requieren ciertas condiciones de regularidad, que son válidas para la mayoría de las distribuciones con buen comportamiento. Estas condiciones se enumeran más adelante en esta sección.

Caso escalar imparcial

Supongamos que es un parámetro determinista desconocido que debe estimarse a partir de observaciones (mediciones) independientes de , cada una de una distribución de acuerdo con alguna función de densidad de probabilidad . La varianza de cualquier estimador insesgado de está entonces limitada ^[12] por el recíproco de la información de Fisher : ${\displaystyle \theta }$ ${\displaystyle n}$ ${\displaystyle x}$ ${\displaystyle f(x;\theta )}$ ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle I(\theta )}$

${\displaystyle \operatorname {var} ({\hat {\theta }})\geq {\frac {1}{I(\theta )}}}$

donde la información de Fisher está definida por ${\displaystyle I(\theta )}$

${\displaystyle I(\theta )=n\operatorname {E} _{X;\theta }\left[\left({\frac {\partial \ell (X;\theta )}{\partial \theta }}\right)^{2}\right]}$

y es el logaritmo natural de la función de verosimilitud para una sola muestra y denota el valor esperado con respecto a la densidad de . Si no se indica, en lo que sigue, se toma la expectativa con respecto a . ${\displaystyle \ell (x;\theta )=\log(f(x;\theta ))}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} _{x;\theta }}$ ${\displaystyle f(x;\theta )}$ ${\displaystyle X}$ ${\displaystyle X}$

Si es dos veces diferenciable y se cumplen ciertas condiciones de regularidad, entonces la información de Fisher también se puede definir de la siguiente manera: ^[13] ${\displaystyle \ell (x;\theta )}$

${\displaystyle I(\theta )=-n\operatorname {E} _{X;\theta }\left[{\frac {\partial ^{2}\ell (X;\theta )}{\partial \theta ^{2}}}\right]}$

La eficiencia de un estimador insesgado mide qué tan cerca se acerca la varianza de este estimador a este límite inferior; la eficiencia del estimador se define como ${\displaystyle {\hat {\theta }}}$

${\displaystyle e({\hat {\theta }})={\frac {I(\theta )^{-1}}{\operatorname {var} ({\hat {\theta }})}}}$

o la varianza mínima posible para un estimador insesgado dividida por su varianza real. El límite inferior de Cramér-Rao da así

${\displaystyle e({\hat {\theta }})\leq 1}$.

Caso escalar general

Se puede obtener una forma más general de la cota considerando un estimador sesgado , cuya expectativa no es más que una función de este parámetro, digamos, . Por lo tanto , generalmente no es igual a 0. En este caso, el límite viene dado por ${\displaystyle T(X)}$ ${\displaystyle \theta }$ ${\displaystyle \psi (\theta )}$ ${\displaystyle E\{T(X)\}-\theta =\psi (\theta )-\theta }$

${\displaystyle \operatorname {var} (T)\geq {\frac {[\psi '(\theta )]^{2}}{I(\theta )}}}$

donde es la derivada de (por ) y es la información de Fisher definida anteriormente. ${\displaystyle \psi '(\theta )}$ ${\displaystyle \psi (\theta )}$ ${\displaystyle \theta }$ ${\displaystyle I(\theta )}$

Limitado a la varianza de estimadores sesgados

Además de ser un límite para los estimadores de funciones del parámetro, este enfoque se puede utilizar para derivar un límite para la varianza de estimadores sesgados con un sesgo dado, como sigue. ^[14] Considere un estimador con sesgo y sea . Según el resultado anterior, cualquier estimador insesgado cuya expectativa sea tiene una varianza mayor o igual a . Por tanto, cualquier estimador cuyo sesgo esté dado por una función satisface ^[15] ${\displaystyle {\hat {\theta }}}$ ${\displaystyle b(\theta )=E\{{\hat {\theta }}\}-\theta }$ ${\displaystyle \psi (\theta )=b(\theta )+\theta }$ ${\displaystyle \psi (\theta )}$ ${\displaystyle (\psi '(\theta ))^{2}/I(\theta )}$ ${\displaystyle {\hat {\theta }}}$ ${\displaystyle b(\theta )}$

${\displaystyle \operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}.}$

La versión imparcial del límite es un caso especial de este resultado, con . ${\displaystyle b(\theta )=0}$

Es trivial tener una varianza pequeña: un "estimador" que es constante tiene una varianza de cero. Pero a partir de la ecuación anterior, encontramos que el error cuadrático medio de un estimador sesgado está limitado por

${\displaystyle \operatorname {E} \left(({\hat {\theta }}-\theta )^{2}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}+b(\theta )^{2},}$

utilizando la descomposición estándar del MSE. Tenga en cuenta, sin embargo, que si este límite podría ser menor que el límite imparcial de Cramér-Rao . Por ejemplo, en el ejemplo de estimación de la varianza a continuación , ${\displaystyle 1+b'(\theta )<1}$ ${\displaystyle 1/I(\theta )}$ ${\displaystyle 1+b'(\theta )={\frac {n}{n+2}}<1}$

Caso multivariado

Ampliando el enlace de Cramér-Rao a múltiples parámetros, defina un vector de columna de parámetros

${\displaystyle {\boldsymbol {\theta }}=\left[\theta _{1},\theta _{2},\dots ,\theta _{d}\right]^{T}\in \mathbb {R} ^{d}}$

con función de densidad de probabilidad que satisface las dos condiciones de regularidad siguientes. ${\displaystyle f(x;{\boldsymbol {\theta }})}$

La matriz de información de Fisher es una matriz con un elemento definido como ${\displaystyle d\times d}$ ${\displaystyle I_{m,k}}$

${\displaystyle I_{m,k}=\operatorname {E} \left[{\frac {\partial }{\partial \theta _{m}}}\log f\left(x;{\boldsymbol {\theta }}\right){\frac {\partial }{\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right]=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta _{m}\,\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right].}$

Sea un estimador de cualquier función vectorial de parámetros, y denotemos su vector de expectativa por . El límite de Cramér-Rao establece entonces que la matriz de covarianza de satisface ${\displaystyle {\boldsymbol {T}}(X)}$ ${\displaystyle {\boldsymbol {T}}(X)=(T_{1}(X),\ldots ,T_{d}(X))^{T}}$ ${\displaystyle \operatorname {E} [{\boldsymbol {T}}(X)]}$ ${\displaystyle {\boldsymbol {\psi }}({\boldsymbol {\theta }})}$ ${\displaystyle {\boldsymbol {T}}(X)}$

${\displaystyle I\left({\boldsymbol {\theta }}\right)\geq \phi (\theta )^{T}\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)^{-1}\phi (\theta )}$,

${\displaystyle \operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq \phi (\theta )I\left({\boldsymbol {\theta }}\right)^{-1}\phi (\theta )^{T}}$

dónde

• Se entiende que la desigualdad matricial significa que la matriz es semidefinida positiva , y ${\displaystyle A\geq B}$ ${\displaystyle A-B}$
• ${\displaystyle \phi (\theta ):=\partial {\boldsymbol {\psi }}({\boldsymbol {\theta }})/\partial {\boldsymbol {\theta }}}$es la matriz jacobiana cuyo elemento viene dado por . ${\displaystyle ij}$ ${\displaystyle \partial \psi _{i}({\boldsymbol {\theta }})/\partial \theta _{j}}$

Si es un estimador insesgado de (es decir, ), entonces el límite de Cramér-Rao se reduce a ${\displaystyle {\boldsymbol {T}}(X)}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)={\boldsymbol {\theta }}}$

${\displaystyle \operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq I\left({\boldsymbol {\theta }}\right)^{-1}.}$

Si no es conveniente calcular la inversa de la matriz de información de Fisher , entonces simplemente se puede tomar el recíproco del elemento diagonal correspondiente para encontrar un límite inferior (posiblemente flexible). ^[dieciséis]

${\displaystyle \operatorname {var} _{\boldsymbol {\theta }}(T_{m}(X))=\left[\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\right]_{mm}\geq \left[I\left({\boldsymbol {\theta }}\right)^{-1}\right]_{mm}\geq \left(\left[I\left({\boldsymbol {\theta }}\right)\right]_{mm}\right)^{-1}.}$

Condiciones de regularidad

El límite se basa en dos condiciones de regularidad débiles en la función de densidad de probabilidad , y el estimador : ${\displaystyle f(x;\theta )}$ ${\displaystyle T(X)}$

• La información de Fisher siempre está definida; de manera equivalente, para todos aquellos que , ${\displaystyle x}$ ${\displaystyle f(x;\theta )>0}$
  $${\displaystyle {\frac {\partial }{\partial \theta }}\log f(x;\theta )}$$
  existe y es finito.
• Las operaciones de integración con respecto a y diferenciación con respecto a pueden intercambiarse en la expectativa de ; eso es, ${\displaystyle x}$ ${\displaystyle \theta }$ ${\displaystyle T}$
  $${\displaystyle {\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx}$$
  siempre que el lado derecho sea finito.
  Esta condición a menudo puede confirmarse utilizando el hecho de que la integración y la diferenciación pueden intercambiarse cuando se cumple cualquiera de los siguientes casos:
  1. La función tiene soporte acotado en y los límites no dependen de ; ${\displaystyle f(x;\theta )}$ ${\displaystyle x}$ ${\displaystyle \theta }$
  2. La función tiene soporte infinito, es continuamente diferenciable y la integral converge uniformemente para todos . ${\displaystyle f(x;\theta )}$ ${\displaystyle \theta }$

Prueba

Prueba para el caso general basado en el límite de Chapman-Robbins

Prueba basada en. ^[17]

Prueba

Primera ecuación:

Sea un infinitesimal, entonces para cualquier conexión, tenemos ${\displaystyle \delta }$ ${\displaystyle v\in \mathbb {R} ^{n}}$ ${\displaystyle \theta '=\theta +\delta v}$ ${\displaystyle (E_{\theta '}[T]-E_{\theta }[T])=v^{T}\phi (\theta )\delta ;\quad \chi ^{2}(\mu _{\theta '};\mu _{\theta })=v^{T}I(\theta )v\delta ^{2}}$

Al conectar esto al límite multivariado de Chapman-Robbins se obtiene . ${\displaystyle I(\theta )\geq \phi (\theta )\operatorname {Cov} _{\theta }[T]^{-1}\phi (\theta )^{T}}$

Segunda ecuación:

Es suficiente demostrar esto para el caso escalar, tomando valores en . Porque en general , podemos tomar cualquiera , luego al definirlo , el caso escalar da ${\displaystyle h(X)}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle T(X)}$ ${\displaystyle v\in \mathbb {R} ^{m}}$ ${\textstyle h:=\sum _{j}v_{j}T_{j}}$

$${\displaystyle \operatorname {Var} _{\theta }[h]=v^{T}\operatorname {Cov} _{\theta }[T]v\geq v^{T}\phi (\theta )I(\theta )^{-1}\phi (\theta )^{T}v}$$

Esto es válido para todos , por lo que podemos concluir ${\displaystyle v\in \mathbb {R} ^{m}}$

$${\displaystyle \operatorname {Cov} _{\theta }[T]\geq \phi (\theta )I(\theta )^{-1}\phi (\theta )^{T}}$$

El caso escalar establece que con . ${\displaystyle \operatorname {Var} _{\theta }[h]\geq \phi (\theta )^{T}I(\theta )^{-1}\phi (\theta )}$ ${\displaystyle \phi (\theta ):=\nabla _{\theta }E_{\theta }[h]}$

Sea un infinitesimal, entonces, para cualquier , tomando el límite de Chapman-Robbins de variable única se obtiene . ${\displaystyle \delta }$ ${\displaystyle v\in \mathbb {R} ^{n}}$ ${\displaystyle \theta '=\theta +\delta v}$ ${\displaystyle \operatorname {Var} _{\theta }[h]\geq {\frac {\langle v,\phi (\theta )\rangle ^{2}}{v^{T}I(\theta )v}}}$

Por álgebra lineal, para cualquier matriz definida positiva , obtenemos así ${\displaystyle \sup _{v\neq 0}{\frac {\langle w,v\rangle ^{2}}{v^{T}Mv}}=w^{T}M^{-1}w}$ ${\displaystyle M}$

$${\displaystyle \operatorname {Var} _{\theta }[h]\geq \phi (\theta )^{T}I(\theta )^{-1}\phi (\theta ).}$$

Una prueba independiente para el caso escalar general.

Para el caso escalar general:

Supongamos que es un estimador con expectativa (basado en las observaciones ), es decir, que . El objetivo es demostrar que, para todos , ${\displaystyle T=t(X)}$ ${\displaystyle \psi (\theta )}$ ${\displaystyle X}$ ${\displaystyle \operatorname {E} (T)=\psi (\theta )}$ ${\displaystyle \theta }$

${\displaystyle \operatorname {var} (t(X))\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}.}$

Sea una variable aleatoria con función de densidad de probabilidad . A continuación se muestra una estadística que se utiliza como estimador de . Definir como puntuación : ${\displaystyle X}$ ${\displaystyle f(x;\theta )}$ ${\displaystyle T=t(X)}$ ${\displaystyle \psi (\theta )}$ ${\displaystyle V}$

${\displaystyle V={\frac {\partial }{\partial \theta }}\ln f(X;\theta )={\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )}$

donde la regla de la cadena se usa en la igualdad final anterior. Entonces la expectativa de , escrita , es cero. Esto es porque: ${\displaystyle V}$ ${\displaystyle \operatorname {E} (V)}$

${\displaystyle \operatorname {E} (V)=\int f(x;\theta )\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx={\frac {\partial }{\partial \theta }}\int f(x;\theta )\,dx=0}$

donde se han intercambiado la integral y la derivada parcial (justificado por la segunda condición de regularidad).

Si consideramos la covarianza de y , tenemos , porque . Ampliando esta expresión tenemos ${\displaystyle \operatorname {cov} (V,T)}$ ${\displaystyle V}$ ${\displaystyle T}$ ${\displaystyle \operatorname {cov} (V,T)=\operatorname {E} (VT)}$ ${\displaystyle \operatorname {E} (V)=0}$

${\displaystyle {\begin{aligned}\operatorname {cov} (V,T)&=\operatorname {E} \left(T\cdot \left[{\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )\right]\right)\\[6pt]&=\int t(x)\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]f(x;\theta )\,dx\\[6pt]&={\frac {\partial }{\partial \theta }}\left[\int t(x)f(x;\theta )\,dx\right]={\frac {\partial }{\partial \theta }}E(T)=\psi ^{\prime }(\theta )\end{aligned}}}$

nuevamente porque las operaciones de integración y diferenciación conmutan (segunda condición).

La desigualdad de Cauchy-Schwarz muestra que

${\displaystyle {\sqrt {\operatorname {var} (T)\operatorname {var} (V)}}\geq \left|\operatorname {cov} (V,T)\right|=\left|\psi ^{\prime }(\theta )\right|}$

por lo tanto

${\displaystyle \operatorname {var} (T)\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{\operatorname {var} (V)}}={\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}}$

lo que prueba la proposición.

Ejemplos

Distribución normal multivariada

Para el caso de una distribución normal d -variable

${\displaystyle {\boldsymbol {x}}\sim {\mathcal {N}}_{d}\left({\boldsymbol {\mu }}({\boldsymbol {\theta }}),{\boldsymbol {C}}({\boldsymbol {\theta }})\right)}$

la matriz de información de Fisher tiene elementos ^[18]

${\displaystyle I_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\operatorname {tr} \left({\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{k}}}\right)}$

donde "tr" es la traza .

Por ejemplo, sea una muestra de observaciones independientes con media desconocida y varianza conocida . ${\displaystyle w[j]}$ ${\displaystyle n}$ ${\displaystyle \theta }$ ${\displaystyle \sigma ^{2}}$

${\displaystyle w[j]\sim {\mathcal {N}}_{d,n}\left(\theta {\boldsymbol {1}},\sigma ^{2}{\boldsymbol {I}}\right).}$

Entonces la información de Fisher es un escalar dado por

${\displaystyle I(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)^{T}{\boldsymbol {C}}^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)=\sum _{i=1}^{n}{\frac {1}{\sigma ^{2}}}={\frac {n}{\sigma ^{2}}},}$

y así el límite Cramér-Rao es

${\displaystyle \operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {\sigma ^{2}}{n}}.}$

Varianza normal con media conocida

Supongamos que X es una variable aleatoria distribuida normalmente con media conocida y varianza desconocida . Considere la siguiente estadística: ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$

${\displaystyle T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}.}$

Entonces T es insesgado para , como . ¿ Cuál es la varianza de T ? ${\displaystyle \sigma ^{2}}$ ${\displaystyle E(T)=\sigma ^{2}}$

${\displaystyle \operatorname {var} (T)=\operatorname {var} \left({\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}\right)={\frac {\sum _{i=1}^{n}\operatorname {var} (X_{i}-\mu )^{2}}{n^{2}}}={\frac {n\operatorname {var} (X-\mu )^{2}}{n^{2}}}={\frac {1}{n}}\left[\operatorname {E} \left\{(X-\mu )^{4}\right\}-\left(\operatorname {E} \{(X-\mu )^{2}\}\right)^{2}\right]}$

(la segunda igualdad se deriva directamente de la definición de varianza). El primer término es el cuarto momento respecto de la media y tiene valor ; el segundo es el cuadrado de la varianza, o . De este modo ${\displaystyle 3(\sigma ^{2})^{2}}$ ${\displaystyle (\sigma ^{2})^{2}}$

${\displaystyle \operatorname {var} (T)={\frac {2(\sigma ^{2})^{2}}{n}}.}$

Ahora bien, ¿cuál es la información de Fisher en la muestra? Recuerde que la puntuación se define como ${\displaystyle V}$

${\displaystyle V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]}$

¿Dónde está la función de verosimilitud ? Así, en este caso, ${\displaystyle L}$

${\displaystyle \log \left[L(\sigma ^{2},X)\right]=\log \left[{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(X-\mu )^{2}/{2\sigma ^{2}}}\right]=-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}}$

${\displaystyle V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]={\frac {\partial }{\partial \sigma ^{2}}}\left[-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}\right]=-{\frac {1}{2\sigma ^{2}}}+{\frac {(X-\mu )^{2}}{2(\sigma ^{2})^{2}}}}$

donde la segunda igualdad es del cálculo elemental. Por lo tanto, la información en una sola observación es simplemente menos la expectativa de la derivada de , o ${\displaystyle V}$

${\displaystyle I=-\operatorname {E} \left({\frac {\partial V}{\partial \sigma ^{2}}}\right)=-\operatorname {E} \left(-{\frac {(X-\mu )^{2}}{(\sigma ^{2})^{3}}}+{\frac {1}{2(\sigma ^{2})^{2}}}\right)={\frac {\sigma ^{2}}{(\sigma ^{2})^{3}}}-{\frac {1}{2(\sigma ^{2})^{2}}}={\frac {1}{2(\sigma ^{2})^{2}}}.}$

Por lo tanto, la información en una muestra de observaciones independientes es solo multiplicada por esto, o ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle {\frac {n}{2(\sigma ^{2})^{2}}}.}$

El límite Cramér-Rao establece que

${\displaystyle \operatorname {var} (T)\geq {\frac {1}{I}}.}$

En este caso, la desigualdad está saturada (se logra la igualdad), lo que demuestra que el estimador es eficiente .

Sin embargo, podemos lograr un error cuadrático medio más bajo utilizando un estimador sesgado. el estimador

${\displaystyle T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n+2}}.}$

obviamente tiene una variación menor, que de hecho es

${\displaystyle \operatorname {var} (T)={\frac {2n(\sigma ^{2})^{2}}{(n+2)^{2}}}.}$

Su sesgo es

${\displaystyle \left(1-{\frac {n}{n+2}}\right)\sigma ^{2}={\frac {2\sigma ^{2}}{n+2}}}$

entonces su error cuadrático medio es

${\displaystyle \operatorname {MSE} (T)=\left({\frac {2n}{(n+2)^{2}}}+{\frac {4}{(n+2)^{2}}}\right)(\sigma ^{2})^{2}={\frac {2(\sigma ^{2})^{2}}{n+2}}}$

que es menor de lo que los estimadores insesgados pueden lograr según el límite de Cramér-Rao.

Cuando no se conoce la media, la estimación del error cuadrático medio mínimo de la varianza de una muestra de la distribución gaussiana se logra dividiendo por , en lugar de o . ${\displaystyle n+1}$ ${\displaystyle n-1}$ ${\displaystyle n+2}$

Ver también

• Chapman-Robbins atados
• La desigualdad de Kullback
• Desigualdad de Brascamp-Lieb

Referencias y notas

1. Cramér, Harald (1946). Métodos matemáticos de estadística. Princeton, Nueva Jersey: Universidad de Princeton. Prensa. ISBN 0-691-08004-6. OCLC  185436716.
2. Rao, Calyampudi Radakrishna (1945). "Información y precisión alcanzable en la estimación de parámetros estadísticos". Boletín de la Sociedad Matemática de Calcuta . Sociedad Matemática de Calcuta . 37 : 81–89. SEÑOR  0015748.
3. Rao, Calyampudi Radakrishna (1994). S. Das Gupta (ed.). Artículos seleccionados de CR Rao . Nueva York: Wiley. ISBN 978-0-470-22091-7. OCLC  174244259.
4. Fréchet, Maurice (1943). "Sobre la extensión de ciertas evaluaciones estadísticas au cas de petits échantillons". Rev. Inst. En t. Estatista . 11 (3/4): 182–205. doi :10.2307/1401114. JSTOR  1401114.
5. Darmois, Georges (1945). "Sobre los límites de la dispersión de ciertas estimaciones". Rev. Int. Inst. Estatista . 13 (1/4): 9–15. doi :10.2307/1400974. JSTOR  1400974.
6. Aitken, CA; Silverstone, H. (1942). "XV.—De la Estimación de Parámetros Estadísticos". Actas de la Royal Society of Edinburgh Sección A: Matemáticas . 61 (2): 186-194. doi :10.1017/S008045410000618X. ISSN  2053-5902. S2CID  124029876.
7. Shenton, LR (1970). "La llamada desigualdad Cramer-Rao". El estadístico estadounidense . 24 (2): 36. JSTOR  2681931.
8. Esquivar, Yadolah (2003). El Diccionario Oxford de términos estadísticos. Prensa de la Universidad de Oxford. ISBN 978-0-19-920613-1.
9. Bhattacharyya, A. (1946). "Sobre algunos análogos de la cantidad de información y su uso en la estimación estadística". Sankhya . 8 (1): 1–14. JSTOR  25047921. SEÑOR  0020242.
10. Bhattacharyya, A. (1947). "Sobre algunos análogos de la cantidad de información y su uso en la estimación estadística (cont.)". Sankhya . 8 (3): 201–218. JSTOR  25047948. SEÑOR  0023503.
11. Bhattacharyya, A. (1948). "Sobre algunos análogos de la cantidad de información y su uso en la estimación estadística (conclusión)". Sankhya . 8 (4): 315–328. JSTOR  25047897. SEÑOR  0026302.
12. Nielsen, Frank (2013). "Límite inferior de Cramér-Rao y geometría de la información". Conectado en Infinity II . Textos y Lecturas en Matemáticas. vol. 67. Agencia de libros Hindustan, Gurgaon. pag. 18-37. arXiv : 1301.3578 . doi :10.1007/978-93-86279-56-9_2. ISBN 978-93-80250-51-9. S2CID  16759683.
13. Suba Rao. "Conferencias sobre inferencia estadística" (PDF) . Archivado desde el original (PDF) el 26 de septiembre de 2020 . Consultado el 24 de mayo de 2020 .
14. "Límite inferior de Cramér Rao - Navipedia". gssc.esa.int .
15. "Cramér-Rao atado".
16. Para el caso bayesiano, consulte la ecuación. (11) de Bobrovsky; Mayer-Wolf; Zakai (1987). "Algunas clases de límites globales de Cramer-Rao". Ana. Estadística . 15 (4): 1421–38. doi : 10.1214/aos/1176350602 .
17. Polyanskiy, Yuri (2017). "Apuntes de conferencias sobre teoría de la información, capítulo 29, ECE563 (UIUC)" (PDF) . Apuntes de conferencias sobre teoría de la información . Archivado (PDF) desde el original el 24 de mayo de 2022 . Consultado el 24 de mayo de 2022 .
18. Kay, SM (1993). Fundamentos del procesamiento estadístico de señales: teoría de la estimación . Prentice Hall. pag. 47.ISBN​ 0-13-042268-1.

Otras lecturas

• Amemiya, Takeshi (1985). Econometría avanzada . Cambridge: Prensa de la Universidad de Harvard. págs. 14-17. ISBN 0-674-00560-0.
• Bos, Adriaan van den (2007). Estimación de parámetros para científicos e ingenieros . Hoboken: John Wiley e hijos. págs. 45–98. ISBN 978-0-470-14781-8.
• Kay, Steven M. (1993). Fundamentos del procesamiento estadístico de señales, volumen I: teoría de la estimación . Prentice Hall. ISBN 0-13-345711-7.. Capítulo 3.
• Shao, junio (1998). Estadística Matemática . Nueva York: Springer. ISBN 0-387-98674-X.. Sección 3.1.3.
• Incertidumbre posterior, ley asintótica y límite de Cramér-Rao, Control estructural y monitoreo de la salud 25(1851):e2113 DOI: 10.1002/stc.2113

enlaces externos

• FandPLimitTool, un software basado en GUI para calcular la información de Fisher y el límite inferior de Cramér-Rao con aplicación a microscopía de molécula única.