En teoría y estadística de la estimación , el límite de Cramér-Rao ( CRB ) se relaciona con la estimación de un parámetro determinista (fijo, aunque desconocido). El resultado lleva el nombre de Harald Cramér y CR Rao , [1] [2] [3] pero también ha sido obtenido de forma independiente por Maurice Fréchet , [4] Georges Darmois , [5] y por Alexander Aitken y Harold Silverstone . [6] [7] También se conoce como límite inferior de Fréchet-Cramér-Rao o Fréchet-Darmois-Cramér-Rao. Afirma que la precisión de cualquier estimador insesgado es como máximo la información de Fisher ; o (de manera equivalente) el recíproco de la información de Fisher es un límite inferior de su varianza .
Un estimador insesgado que logra este límite se dice que es (totalmente) eficiente . Esta solución logra el error cuadrático medio más bajo posible entre todos los métodos insesgados y, por lo tanto, es el estimador insesgado de varianza mínima (MVU). Sin embargo, en algunos casos, no existe una técnica imparcial que logre el límite. Esto puede ocurrir si para cualquier estimador insesgado existe otro con una varianza estrictamente menor, o si existe un estimador MVU, pero su varianza es estrictamente mayor que la inversa de la información de Fisher.
El límite de Cramér-Rao también se puede utilizar para limitar la varianza de estimadores sesgados de un sesgo dado. En algunos casos, un enfoque sesgado puede dar como resultado una varianza y un error cuadrático medio que están por debajo del límite inferior insesgado de Cramér-Rao; ver sesgo del estimador .
A. Bhattacharyya propuso un progreso significativo sobre el límite inferior de Cramér-Rao a través de una serie de trabajos, llamados Bhattacharyya Bound. [8] [9] [10] [11]
Declaración
La cota de Cramér-Rao se establece en esta sección para varios casos cada vez más generales, comenzando con el caso en el que el parámetro es un escalar y su estimador es insesgado . Todas las versiones del límite requieren ciertas condiciones de regularidad, que son válidas para la mayoría de las distribuciones con buen comportamiento. Estas condiciones se enumeran más adelante en esta sección.
Caso escalar imparcial
Supongamos que es un parámetro determinista desconocido que debe estimarse a partir de observaciones (mediciones) independientes de , cada una de una distribución de acuerdo con alguna función de densidad de probabilidad . La varianza de cualquier estimador insesgado de está entonces limitada [12] por el recíproco de la información de Fisher :
Si es dos veces diferenciable y se cumplen ciertas condiciones de regularidad, entonces la información de Fisher también se puede definir de la siguiente manera: [13]
La eficiencia de un estimador insesgado mide qué tan cerca se acerca la varianza de este estimador a este límite inferior; la eficiencia del estimador se define como
o la varianza mínima posible para un estimador insesgado dividida por su varianza real. El límite inferior de Cramér-Rao da así
.
Caso escalar general
Se puede obtener una forma más general de la cota considerando un estimador sesgado , cuya expectativa no es más que una función de este parámetro, digamos, . Por lo tanto, generalmente no es igual a 0. En este caso, el límite viene dado por
donde es la derivada de (por ) y es la información de Fisher definida anteriormente.
Limitado a la varianza de estimadores sesgados
Además de ser un límite para los estimadores de funciones del parámetro, este enfoque se puede utilizar para derivar un límite para la varianza de estimadores sesgados con un sesgo dado, como sigue. [14] Considere un estimador con sesgo y sea . Según el resultado anterior, cualquier estimador insesgado cuya expectativa sea tiene una varianza mayor o igual a . Por lo tanto, cualquier estimador cuyo sesgo esté dado por una función satisface [15]
La versión imparcial del límite es un caso especial de este resultado, con .
Es trivial tener una varianza pequeña: un "estimador" que es constante tiene una varianza de cero. Pero a partir de la ecuación anterior, encontramos que el error cuadrático medio de un estimador sesgado está limitado por
utilizando la descomposición estándar del MSE. Tenga en cuenta, sin embargo, que si este límite podría ser menor que el límite imparcial de Cramér-Rao . Por ejemplo, en el ejemplo de estimación de la varianza a continuación ,
Sea un estimador de cualquier función vectorial de parámetros, y denotemos su vector de expectativa por . El límite de Cramér-Rao establece entonces que la matriz de covarianza de satisface
,
dónde
Se entiende que la desigualdad matricial significa que la matriz es semidefinida positiva , y
Si es un estimador insesgado de (es decir, ), entonces el límite de Cramér-Rao se reduce a
Si no es conveniente calcular la inversa de la matriz de información de Fisher , entonces simplemente se puede tomar el recíproco del elemento diagonal correspondiente para encontrar un límite inferior (posiblemente flexible). [dieciséis]
La información de Fisher siempre está definida; de manera equivalente, para todo lo que existe y es finito.
Las operaciones de integración con respecto a y diferenciación con respecto a pueden intercambiarse en la expectativa de ; es decir, siempre que el lado derecho sea finito.Esta condición a menudo puede confirmarse utilizando el hecho de que la integración y la diferenciación pueden intercambiarse cuando se cumple cualquiera de los siguientes casos:
La función tiene soporte acotado en y los límites no dependen de ;
La función tiene soporte infinito, es continuamente diferenciable y la integral converge uniformemente para todos .
Prueba
Prueba para el caso general basada en laChapman-Robbins atados
Prueba basada en. [17]
Prueba
Primera ecuación:
Sea un infinitesimal, entonces para cualquier conexión , tenemos
Es suficiente probar esto para el caso escalar, tomando valores en . Porque en general podemos tomar cualquiera , luego al definirlo , el caso escalar da Esto es válido para todos , por lo que podemos concluir El caso escalar establece que con .
Sea un infinitesimal, entonces, para cualquier , tomando el límite de Chapman-Robbins de variable única se obtiene .
Por álgebra lineal, para cualquier matriz definida positiva , obtenemos así
Una prueba independiente para el caso escalar general.
Para el caso escalar general:
Supongamos que es un estimador con expectativa (basado en las observaciones ), es decir, que . El objetivo es demostrar que, para todos ,
Por ejemplo, sea una muestra de observaciones independientes con media desconocida y varianza conocida .
Entonces la información de Fisher es un escalar dado por
y así el límite Cramér-Rao es
Varianza normal con media conocida
Supongamos que X es una variable aleatoria distribuida normalmente con media conocida y varianza desconocida . Considere la siguiente estadística:
Entonces T es insesgado para , como . ¿Cuál es la varianza de T ?
(la segunda igualdad se deriva directamente de la definición de varianza). El primer término es el cuarto momento respecto de la media y tiene valor ; el segundo es el cuadrado de la varianza, o . De este modo
donde la segunda igualdad es del cálculo elemental. Por lo tanto, la información en una sola observación es simplemente menos la expectativa de la derivada de , o
Por lo tanto, la información en una muestra de observaciones independientes es solo multiplicada por esto, o
El límite Cramér-Rao establece que
En este caso, la desigualdad está saturada (se logra la igualdad), lo que demuestra que el estimador es eficiente .
Sin embargo, podemos lograr un error cuadrático medio más bajo utilizando un estimador sesgado. el estimador
obviamente tiene una variación menor, que de hecho es
Su sesgo es
entonces su error cuadrático medio es
que es menor de lo que los estimadores insesgados pueden lograr según el límite de Cramér-Rao.
Cuando no se conoce la media, la estimación del error cuadrático medio mínimo de la varianza de una muestra de la distribución gaussiana se logra dividiendo por , en lugar de o .
^ Cramér, Harald (1946). Métodos matemáticos de estadística. Princeton, Nueva Jersey: Universidad de Princeton. Prensa. ISBN 0-691-08004-6. OCLC 185436716.
^ Rao, Calyampudi Radakrishna (1994). S. Das Gupta (ed.). Artículos seleccionados de CR Rao . Nueva York: Wiley. ISBN978-0-470-22091-7. OCLC 174244259.
^ Fréchet, Maurice (1943). "Sobre la extensión de ciertas evaluaciones estadísticas au cas de petits échantillons". Rev. Inst. En t. Estatista . 11 (3/4): 182–205. doi :10.2307/1401114. JSTOR 1401114.
^ Darmois, Georges (1945). "Sobre los límites de la dispersión de ciertas estimaciones". Rev. Int. Inst. Estatista . 13 (1/4): 9–15. doi :10.2307/1400974. JSTOR 1400974.
^ Aitken, CA; Silverstone, H. (1942). "XV.—De la Estimación de Parámetros Estadísticos". Actas de la Royal Society of Edinburgh Sección A: Matemáticas . 61 (2): 186-194. doi :10.1017/S008045410000618X. ISSN 2053-5902. S2CID 124029876.
^ Esquivar, Yadolah (2003). El Diccionario Oxford de términos estadísticos. Prensa de la Universidad de Oxford. ISBN978-0-19-920613-1.
^ Bhattacharyya, A. (1946). "Sobre algunos análogos de la cantidad de información y su uso en la estimación estadística". Sankhya . 8 (1): 1–14. JSTOR 25047921. SEÑOR 0020242.
^ Bhattacharyya, A. (1947). "Sobre algunos análogos de la cantidad de información y su uso en la estimación estadística (cont.)". Sankhya . 8 (3): 201–218. JSTOR 25047948. SEÑOR 0023503.
^ Bhattacharyya, A. (1948). "Sobre algunos análogos de la cantidad de información y su uso en la estimación estadística (conclusión)". Sankhya . 8 (4): 315–328. JSTOR 25047897. SEÑOR 0026302.
^ Nielsen, Frank (2013). "Límite inferior de Cramér-Rao y geometría de la información". Conectado en Infinity II . Textos y Lecturas en Matemáticas. vol. 67. Agencia de libros Hindustan, Gurgaon. pag. 18-37. arXiv : 1301.3578 . doi :10.1007/978-93-86279-56-9_2. ISBN978-93-80250-51-9. S2CID 16759683.
^ Suba Rao. "Conferencias sobre inferencia estadística" (PDF) . Archivado desde el original (PDF) el 26 de septiembre de 2020 . Consultado el 24 de mayo de 2020 .
^ "Límite inferior de Cramér Rao - Navipedia". gssc.esa.int .
^ "Cramér-Rao atado".
^ Para el caso bayesiano, consulte la ecuación. (11) de Bobrovsky; Mayer-Wolf; Zakai (1987). "Algunas clases de límites globales de Cramer-Rao". Ana. Estadística . 15 (4): 1421–38. doi : 10.1214/aos/1176350602 .
^ Polyanskiy, Yuri (2017). "Apuntes de conferencias sobre teoría de la información, capítulo 29, ECE563 (UIUC)" (PDF) . Apuntes de conferencias sobre teoría de la información . Archivado (PDF) desde el original el 24 de mayo de 2022 . Consultado el 24 de mayo de 2022 .
^ Kay, SM (1993). Fundamentos del procesamiento estadístico de señales: teoría de la estimación . Prentice Hall. pag. 47.ISBN0-13-042268-1.
Otras lecturas
Amemiya, Takeshi (1985). Econometría avanzada . Cambridge: Prensa de la Universidad de Harvard. págs. 14-17. ISBN 0-674-00560-0.
Bos, Adriaan van den (2007). Estimación de parámetros para científicos e ingenieros . Hoboken: John Wiley e hijos. págs. 45–98. ISBN 978-0-470-14781-8.
Kay, Steven M. (1993). Fundamentos del procesamiento estadístico de señales, volumen I: teoría de la estimación . Prentice Hall. ISBN 0-13-345711-7.. Capítulo 3.
Shao, junio (1998). Estadística Matemática . Nueva York: Springer. ISBN 0-387-98674-X.. Sección 3.1.3.
Incertidumbre posterior, ley asintótica y límite de Cramér-Rao, Control estructural y monitoreo de la salud 25(1851):e2113 DOI: 10.1002/stc.2113
enlaces externos
FandPLimitTool, un software basado en GUI para calcular la información de Fisher y el límite inferior de Cramér-Rao con aplicación a microscopía de molécula única.