Información del pescador

Noción en estadística

En estadística matemática , la información de Fisher (a veces llamada simplemente información ^[1] ) es una forma de medir la cantidad de información que una variable aleatoria observable X lleva sobre un parámetro desconocido θ de una distribución que modela X. Formalmente, es la varianza de la puntuación , o el valor esperado de la información observada .

El papel de la información de Fisher en la teoría asintótica de la estimación de máxima verosimilitud fue enfatizado por el estadístico Sir Ronald Fisher (tras algunos resultados iniciales de Francis Ysidro Edgeworth ). La matriz de información de Fisher se utiliza para calcular las matrices de covarianza asociadas con las estimaciones de máxima verosimilitud . También se puede utilizar en la formulación de estadísticas de prueba, como la prueba de Wald .

En la estadística bayesiana , la información de Fisher juega un papel en la derivación de distribuciones previas no informativas según la regla de Jeffreys . ^[2] También aparece como la covarianza de muestra grande de la distribución posterior , siempre que la anterior sea suficientemente suave (un resultado conocido como teorema de Bernstein-von Mises , que fue anticipado por Laplace para las familias exponenciales ). ^[3] El mismo resultado se utiliza al aproximar el posterior con la aproximación de Laplace , donde la información de Fisher aparece como la covarianza del Gaussiano ajustado. ^[4]

Se ha demostrado que los sistemas estadísticos de naturaleza científica (física, biológica, etc.) cuyas funciones de probabilidad obedecen a la invariancia de cambio obedecen a la información máxima de Fisher. ^[5] El nivel del máximo depende de la naturaleza de las restricciones del sistema.

Definición

La información de Fisher es una forma de medir la cantidad de información que lleva una variable aleatoria observable sobre un parámetro desconocido del que depende la probabilidad. Sea la función de densidad de probabilidad (o función de masa de probabilidad ) condicionada al valor de . Describe la probabilidad de que observemos un resultado dado de , dado un valor conocido de . Si tiene un pico pronunciado con respecto a los cambios en , es fácil indicar el valor "correcto" de los datos o, de manera equivalente, que los datos proporcionan mucha información sobre el parámetro . Si es plano y extendido, se necesitarían muchas muestras para estimar el valor "verdadero" real de que se obtendría utilizando toda la población de la que se está muestreando. Esto sugiere estudiar algún tipo de varianza con respecto a . ${\displaystyle X}$ ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle f(X;\theta )}$ ${\displaystyle X}$ ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle \theta }$ ${\displaystyle f}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle \theta }$ ${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$

Formalmente, la derivada parcial con respecto al logaritmo natural de la función de verosimilitud se llama puntuación . Bajo ciertas condiciones de regularidad, si es el parámetro verdadero (es decir, en realidad se distribuye como ), se puede demostrar que el valor esperado (el primer momento ) de la puntuación, evaluado en el valor verdadero del parámetro , es 0: ^[6] ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle f(X;\theta )}$ ${\displaystyle \theta }$

${\displaystyle {\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial }{\partial \theta }}\log f(X;\theta )\,\,\right|\,\,\theta \right]={}&\int _{\mathbb {R} }{\frac {{\frac {\partial }{\partial \theta }}f(x;\theta )}{f(x;\theta )}}f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}\int _{\mathbb {R} }f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}1\\[6pt]={}&0.\end{aligned}}}$

La información de Fisher se define como la varianza de la puntuación: ^[7]

${\displaystyle {\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\,\,\right|\,\,\theta \right]=\int _{\mathbb {R} }\left({\frac {\partial }{\partial \theta }}\log f(x;\theta )\right)^{2}f(x;\theta )\,dx,}$

Tenga en cuenta que . Una variable aleatoria con información de Fisher alta implica que el valor absoluto de la puntuación suele ser alto. La información de Fisher no es función de una observación particular, ya que la variable aleatoria X ha sido promediada. ${\displaystyle {\mathcal {I}}(\theta )\geq 0}$

Si log  f ( x ; θ ) es dos veces diferenciable con respecto a θ , y bajo ciertas condiciones de regularidad, entonces la información de Fisher también se puede escribir como ^[8]

${\displaystyle {\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right],}$

desde

${\displaystyle {\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {{\frac {\partial }{\partial \theta }}f(X;\theta )}{f(X;\theta )}}\right)^{2}={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}}$

y

${\displaystyle \operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int _{\mathbb {R} }f(x;\theta )\,dx=0.}$

Por lo tanto, la información de Fisher puede verse como la curvatura de la curva de soporte (la gráfica del logaritmo de verosimilitud). Cerca de la estimación de máxima verosimilitud , la información baja de Fisher indica, por lo tanto, que el máximo parece "contundente", es decir, el máximo es poco profundo y hay muchos valores cercanos con una probabilidad logarítmica similar. Por el contrario, una información alta de Fisher indica que el máximo es agudo.

Condiciones de regularidad

Las condiciones de regularidad son las siguientes: ^[9]

1. La derivada parcial de f ( X ; θ ) con respecto a θ existe casi en todas partes . (Puede dejar de existir en un conjunto nulo, siempre que este conjunto no dependa de θ ).
2. La integral de f ( X ; θ ) se puede diferenciar bajo el signo integral con respecto a θ .
3. El soporte de f ( X ; θ ) no depende de θ .

Si θ es un vector, entonces las condiciones de regularidad deben cumplirse para cada componente de θ . Es fácil encontrar un ejemplo de una densidad que no satisface las condiciones de regularidad: la densidad de una variable Uniforme(0, θ ) no satisface las condiciones 1 y 3. En este caso, aunque la información de Fisher se puede calcular a partir de según la definición, no tendrá las propiedades que normalmente se supone que tiene.

En términos de probabilidad

Debido a que la probabilidad de θ dado X es siempre proporcional a la probabilidad f ( X ; θ ), sus logaritmos necesariamente difieren por una constante que es independiente de θ , y las derivadas de estos logaritmos con respecto a θ son necesariamente iguales. Por lo tanto, se puede sustituir en una probabilidad logarítmica l ( θ ; X ) en lugar de log f ( X ; θ ) en las definiciones de Fisher Information.

Muestras de cualquier tamaño.

El valor X puede representar una única muestra extraída de una única distribución o puede representar una colección de muestras extraídas de una colección de distribuciones. Si hay n muestras y las n distribuciones correspondientes son estadísticamente independientes , entonces la información de Fisher será necesariamente la suma de los valores de información de Fisher de una sola muestra, uno para cada muestra de su distribución. En particular, si las n distribuciones son independientes y están distribuidas de manera idéntica , entonces la información de Fisher será necesariamente n veces la información de Fisher de una sola muestra de la distribución común. Dicho en otras palabras, la información de Fisher de observaciones iid de una muestra de tamaño n de una población es igual al producto de n y la información de Fisher de una sola observación de la misma población.

Derivación informal del límite Cramér-Rao

El límite de Cramér-Rao ^{[10] [11]} establece que la inversa de la información de Fisher es un límite inferior de la varianza de cualquier estimador insesgado de θ . HL Van Trees (1968) y B. Roy Frieden (2004) proporcionan el siguiente método para derivar el límite de Cramér-Rao , un resultado que describe el uso de la información de Fisher.

De manera informal, comenzamos considerando un estimador insesgado . Matemáticamente, "imparcial" significa que ${\displaystyle {\hat {\theta }}(X)}$

${\displaystyle \operatorname {E} \left[\left.{\hat {\theta }}(X)-\theta \,\,\right|\,\,\theta \right]=\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=0{\text{ regardless of the value of }}\theta .}$

Esta expresión es cero independiente de θ , por lo que su derivada parcial con respecto a θ también debe ser cero. Por la regla del producto , esta derivada parcial también es igual a

${\displaystyle 0={\frac {\partial }{\partial \theta }}\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=\int \left({\hat {\theta }}(x)-\theta \right){\frac {\partial f}{\partial \theta }}\,dx-\int f\,dx.}$

Para cada θ , la función de verosimilitud es una función de densidad de probabilidad y, por tanto , . Al usar la regla de la cadena en la derivada parcial de y luego dividir y multiplicar por , se puede verificar que ${\displaystyle \int f\,dx=1}$ ${\displaystyle \log f}$ ${\displaystyle f(x;\theta )}$

${\displaystyle {\frac {\partial f}{\partial \theta }}=f\,{\frac {\partial \log f}{\partial \theta }}.}$

Usando estos dos hechos en lo anterior, obtenemos

${\displaystyle \int \left({\hat {\theta }}-\theta \right)f\,{\frac {\partial \log f}{\partial \theta }}\,dx=1.}$

Factorizar el integrando da

${\displaystyle \int \left(\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right)\left({\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right)\,dx=1.}$

Al elevar al cuadrado la expresión en la integral, la desigualdad de Cauchy-Schwarz produce

${\displaystyle 1={\biggl (}\int \left[\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right]\cdot \left[{\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right]\,dx{\biggr )}^{2}\leq \left[\int \left({\hat {\theta }}-\theta \right)^{2}f\,dx\right]\cdot \left[\int \left({\frac {\partial \log f}{\partial \theta }}\right)^{2}f\,dx\right].}$

El segundo factor entre corchetes se define como la información de Fisher, mientras que el primer factor entre corchetes es el error cuadrático medio esperado del estimador . Al reordenar, la desigualdad nos dice que ${\displaystyle {\hat {\theta }}}$

${\displaystyle \operatorname {Var} \left({\hat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}\left(\theta \right)}}.}$

En otras palabras, la precisión con la que podemos estimar θ está fundamentalmente limitada por la información de Fisher de la función de verosimilitud.

Alternativamente, se puede obtener la misma conclusión directamente de la desigualdad de Cauchy-Schwarz para variables aleatorias , aplicada a las variables aleatorias y , y observando que para estimadores insesgados tenemos ${\displaystyle |\operatorname {Cov} (A,B)|^{2}\leq \operatorname {Var} (A)\operatorname {Var} (B)}$ ${\displaystyle {\hat {\theta }}(X)}$ ${\displaystyle \partial _{\theta }\log f(X;\theta )}$

$${\displaystyle \operatorname {Cov} [{\hat {\theta }}(X),\partial _{\theta }\log f(X;\theta )]=\int {\hat {\theta }}(x)\,\partial _{\theta }f(x;\theta )\,dx=\partial _{\theta }\operatorname {E} [{\hat {\theta }}]=1.}$$

Ejemplo: experimento de Bernoulli de un solo parámetro

Una prueba de Bernoulli es una variable aleatoria con dos resultados posibles, 0 y 1, donde 1 tiene una probabilidad de θ . Se puede considerar que el resultado está determinado por el lanzamiento de una moneda sesgada, siendo la probabilidad de que salga cara (1) θ y la probabilidad de que salga cruz (0) 1 − θ .

Sea X un ensayo de Bernoulli de una muestra de la distribución. La información de Fisher contenida en X puede calcularse como:

${\displaystyle {\begin{aligned}{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(\theta ^{X}(1-\theta )^{1-X}\right)\right|\theta \right]\\[5pt]&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left(X\log \theta +(1-X)\log(1-\theta )\right)\,\,\right|\,\,\theta \right]\\[5pt]&=\operatorname {E} \left[\left.{\frac {X}{\theta ^{2}}}+{\frac {1-X}{(1-\theta )^{2}}}\,\,\right|\,\,\theta \right]\\[5pt]&={\frac {\theta }{\theta ^{2}}}+{\frac {1-\theta }{(1-\theta )^{2}}}\\[5pt]&={\frac {1}{\theta (1-\theta )}}.\end{aligned}}}$

Debido a que la información de Fisher es aditiva, la información de Fisher contenida en n ensayos independientes de Bernoulli es, por lo tanto,

${\displaystyle {\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}}.}$

Si es uno de los posibles resultados de n ensayos independientes de Bernoulli y es el jésimo resultado del iésimo ensayo, entonces la probabilidad de viene dada por: ${\displaystyle x_{i}}$ ${\displaystyle 2^{n}}$ ${\displaystyle x_{ij}}$ ${\displaystyle x_{i}}$

${\displaystyle p(x_{i},\theta )=\prod _{j=0}^{n}\theta ^{x_{ij}}(1-\theta )^{x_{ij}}}$

La media del i- ésimo ensayo es. El valor esperado de la media de un ensayo es: ${\displaystyle \mu _{i}=(1/n)\sum _{j=1}^{n}x_{ij}}$

${\displaystyle E(\mu )=\sum _{x_{i}}\mu _{i}\,p(x_{i},\theta )=\theta }$

donde la suma es sobre todos los resultados posibles del ensayo. El valor esperado del cuadrado de las medias es: ${\displaystyle 2^{n}}$

${\displaystyle E(\mu ^{2})=\sum _{x_{i}}\mu _{i}^{2}\,p(x_{i},\theta )={\frac {(1+(n-1)\theta )\theta }{n}}}$

entonces la varianza en el valor de la media es:

${\displaystyle E(\mu ^{2})-E(\mu )^{2}=(1/n)\theta (1-\theta )}$

Se ve que la información de Fisher es el recíproco de la varianza del número medio de éxitos en n ensayos de Bernoulli . Esto es generalmente cierto. En este caso, el límite de Cramér-Rao es una igualdad.

forma matricial

Cuando hay N parámetros, de modo que θ es un vector N × 1 , entonces la información de Fisher toma la forma de una matriz N × N. Esta matriz se llama matriz de información de Fisher (FIM) y tiene un elemento típico ${\displaystyle \theta ={\begin{bmatrix}\theta _{1}&\theta _{2}&\dots &\theta _{N}\end{bmatrix}}^{\textsf {T}},}$

${\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\,\,\right|\,\,\theta \right].}$

La FIM es una matriz semidefinida positiva N × N. Si es definido positivo, entonces define una métrica de Riemann en el espacio de parámetros N - dimensional . El tema Geometría de la información utiliza esto para conectar la información de Fisher con la geometría diferencial y, en ese contexto, esta métrica se conoce como métrica de información de Fisher .

Bajo ciertas condiciones de regularidad, la matriz de información de Fisher también se puede escribir como

${\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]\,.}$

El resultado es interesante en varios sentidos:

• Puede derivarse como el hessiano de la entropía relativa .
• Se puede utilizar como métrica de Riemann para definir la geometría de Fisher-Rao cuando es definida positiva. ^[12]
• Puede entenderse como una métrica inducida a partir de la métrica euclidiana , tras un cambio apropiado de variable.
• En su forma de valores complejos, es la métrica de Fubini-Study .
• Es la parte clave de la prueba del teorema de Wilks , que permite estimaciones de regiones de confianza para la estimación de máxima verosimilitud (para aquellas condiciones para las que se aplica) sin necesidad del Principio de Probabilidad .
• En los casos en que los cálculos analíticos del FIM anteriores sean difíciles, es posible formar un promedio de estimaciones sencillas de Monte Carlo del hessiano de la función de probabilidad logarítmica negativa como una estimación del FIM. ^{[13] [14] [15]} Las estimaciones pueden basarse en valores de la función de probabilidad logarítmica negativa o el gradiente de la función de probabilidad logarítmica negativa; no se necesita ningún cálculo analítico del hessiano de la función de probabilidad logarítmica negativa.

Información de parámetros ortogonales.

Decimos que dos vectores componentes de parámetros θ ₁ y θ ₂ son ortogonales de información si la matriz de información de Fisher es diagonal de bloques, con estos componentes en bloques separados. ^[16] Los parámetros ortogonales son fáciles de tratar en el sentido de que sus estimaciones de máxima verosimilitud no están asintóticamente correlacionadas. Al considerar cómo analizar un modelo estadístico, se recomienda al modelador invertir algo de tiempo buscando una parametrización ortogonal del modelo, en particular cuando el parámetro de interés es unidimensional, pero el parámetro molesto puede tener cualquier dimensión. ^[17]

Modelo estadístico singular

Si la matriz de información de Fisher es definida positiva para todo θ , entonces se dice que el modelo estadístico correspondiente es regular ; en caso contrario, se dice que el modelo estadístico es singular . ^[18] Ejemplos de modelos estadísticos singulares incluyen los siguientes: mezclas normales, mezclas binomiales, mezclas multinomiales, redes bayesianas, redes neuronales, funciones de base radial, modelos ocultos de Markov, gramáticas estocásticas libres de contexto, regresiones de rango reducido, máquinas de Boltzmann.

En el aprendizaje automático , si se diseña un modelo estadístico de modo que extraiga la estructura oculta de un fenómeno aleatorio, entonces, naturalmente, se vuelve singular. ^[19]

Distribución normal multivariada

El FIM para una distribución normal multivariada de N variables tiene una forma especial. Sea el vector de parámetros K -dimensional y el vector de variables normales aleatorias . Supongamos que los valores medios de estas variables aleatorias son , y sea la matriz de covarianza . Entonces, para , la entrada ( m , n ) del FIM es: ^[20] ${\displaystyle \,X\sim N\left(\mu (\theta ),\,\Sigma (\theta )\right)}$ ${\displaystyle \theta ={\begin{bmatrix}\theta _{1}&\dots &\theta _{K}\end{bmatrix}}^{\textsf {T}}}$ ${\displaystyle X={\begin{bmatrix}X_{1}&\dots &X_{N}\end{bmatrix}}^{\textsf {T}}}$ ${\displaystyle \,\mu (\theta )={\begin{bmatrix}\mu _{1}(\theta )&\dots &\mu _{N}(\theta )\end{bmatrix}}^{\textsf {T}}}$ ${\displaystyle \,\Sigma (\theta )}$ ${\displaystyle 1\leq m,\,n\leq K}$

${\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}+{\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),}$

donde denota la transpuesta de un vector, denota la traza de una matriz cuadrada y: ${\displaystyle (\cdot )^{\textsf {T}}}$ ${\displaystyle \operatorname {tr} (\cdot )}$

${\displaystyle {\begin{aligned}{\frac {\partial \mu }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \mu _{1}}{\partial \theta _{m}}}&{\dfrac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \mu _{N}}{\partial \theta _{m}}}\end{bmatrix}}^{\textsf {T}};\\[8pt]{\dfrac {\partial \Sigma }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\[5pt]{\dfrac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}.\end{aligned}}}$

Tenga en cuenta que un caso especial, pero muy común, es aquel en el que , es una constante. Entonces ${\displaystyle \Sigma (\theta )=\Sigma }$

${\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}.\ }$

En este caso la matriz de información de Fisher puede identificarse con la matriz de coeficientes de las ecuaciones normales de la teoría de estimación de mínimos cuadrados .

Otro caso especial ocurre cuando la media y la covarianza dependen de dos parámetros vectoriales diferentes, digamos, β y θ . Esto es especialmente popular en el análisis de datos espaciales, que a menudo utiliza un modelo lineal con residuos correlacionados. En este caso, ^[21]

${\displaystyle {\mathcal {I}}(\beta ,\theta )=\operatorname {diag} \left({\mathcal {I}}(\beta ),{\mathcal {I}}(\theta )\right)}$

dónde

${\displaystyle {\begin{aligned}{\mathcal {I}}{(\beta )_{m,n}}&={\frac {\partial \mu ^{\textsf {T}}}{\partial \beta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \beta _{n}}},\\[5pt]{\mathcal {I}}{(\theta )_{m,n}}&={\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)\end{aligned}}}$

Propiedades

Cadena de reglas

Similar a la entropía o información mutua , la información de Fisher también posee una descomposición por regla de cadena . En particular, si X e Y son variables aleatorias distribuidas conjuntamente, se deduce que: ^[22]

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y\mid X}(\theta ),}$

donde y es la información de Fisher de Y relativa a calculada con respecto a la densidad condicional de Y dado un valor específico  X  =  x . ${\displaystyle {\mathcal {I}}_{Y\mid X}(\theta )=\operatorname {E} _{X}\left[{\mathcal {I}}_{Y\mid X=x}(\theta )\right]}$ ${\displaystyle {\mathcal {I}}_{Y\mid X=x}(\theta )}$ ${\displaystyle \theta }$

Como caso especial, si las dos variables aleatorias son independientes , la información producida por las dos variables aleatorias es la suma de la información de cada variable aleatoria por separado:

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta ).}$

En consecuencia, la información en una muestra aleatoria de n observaciones independientes e idénticamente distribuidas es n veces la información en una muestra de tamaño 1.

F-divergencia

Dada una función convexa que es finita para todos , y (que podría ser infinita), define una f-divergencia . Entonces, si es estrictamente convexa en , entonces localmente en , la matriz de información de Fisher es una métrica, en el sentido de que ^[23] ${\displaystyle f:[0,\infty )\to (-\infty ,\infty ]}$ ${\displaystyle f(x)}$ ${\displaystyle x>0}$ ${\displaystyle f(1)=0}$ ${\displaystyle f(0)=\lim _{t\to 0^{+}}f(t)}$ ${\displaystyle D_{f}}$ ${\displaystyle f}$ ${\displaystyle 1}$ ${\displaystyle \theta \in \Theta }$

$${\displaystyle (\delta \theta )^{T}I(\theta )(\delta \theta )={\frac {1}{f''(1)}}D_{f}(P_{\theta +\delta \theta }\parallel P_{\theta })}$$

${\displaystyle P_{\theta }}$ ${\displaystyle \theta }$ ${\displaystyle f(x;\theta )}$

De esta forma, queda claro que la matriz de información de Fisher es una métrica de Riemann y varía correctamente ante un cambio de variables. (ver sección sobre Reparametrización.)

estadística suficiente

La información que proporciona un estadístico suficiente es la misma que la de la muestra X. Esto puede verse utilizando el criterio de factorización de Neyman para una estadística suficiente. Si T ( X ) es suficiente para θ , entonces

${\displaystyle f(X;\theta )=g(T(X),\theta )h(X)}$

para algunas funciones g y h . La independencia de h ( X ) de θ implica

${\displaystyle {\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right],}$

y la igualdad de información se deriva entonces de la definición de información de Fisher. De manera más general, si T = t ( X ) es una estadística , entonces

${\displaystyle {\mathcal {I}}_{T}(\theta )\leq {\mathcal {I}}_{X}(\theta )}$

con igualdad si y sólo si T es un estadístico suficiente . ^[24]

Reparametrización

La información de Fisher depende de la parametrización del problema. Si θ y η son dos parametrizaciones escalares de un problema de estimación, y θ es una función continuamente diferenciable de η , entonces

${\displaystyle {\mathcal {I}}_{\eta }(\eta )={\mathcal {I}}_{\theta }(\theta (\eta ))\left({\frac {d\theta }{d\eta }}\right)^{2}}$

donde y son las medidas de información de Fisher de η y θ , respectivamente. ^[25] ${\displaystyle {\mathcal {I}}_{\eta }}$ ${\displaystyle {\mathcal {I}}_{\theta }}$

En el caso de los vectores, supongamos que y son k -vectores que parametrizan un problema de estimación, y supongamos que es una función continuamente diferenciable de , entonces, ^[26] ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\boldsymbol {\eta }}}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\boldsymbol {\eta }}}$

${\displaystyle {\mathcal {I}}_{\boldsymbol {\eta }}({\boldsymbol {\eta }})={\boldsymbol {J}}^{\textsf {T}}{\mathcal {I}}_{\boldsymbol {\theta }}({\boldsymbol {\theta }}({\boldsymbol {\eta }})){\boldsymbol {J}}}$

donde el ( i , j )ésimo elemento de la matriz jacobiana k  ×  k está definido por ${\displaystyle {\boldsymbol {J}}}$

${\displaystyle J_{ij}={\frac {\partial \theta _{i}}{\partial \eta _{j}}},}$

y ¿dónde está la transpuesta de matriz de ${\displaystyle {\boldsymbol {J}}^{\textsf {T}}}$ ${\displaystyle {\boldsymbol {J}}.}$

En geometría de la información , esto se ve como un cambio de coordenadas en una variedad de Riemann , y las propiedades intrínsecas de la curvatura no cambian bajo diferentes parametrizaciones. En general, la matriz de información de Fisher proporciona una métrica de Riemann (más precisamente, la métrica de Fisher-Rao) para la variedad de estados termodinámicos y puede usarse como una medida de complejidad geométrica de la información para una clasificación de transiciones de fase , por ejemplo, el escalar. La curvatura del tensor métrico termodinámico diverge en (y solo en) un punto de transición de fase. ^[27]

En el contexto termodinámico, la matriz de información de Fisher está directamente relacionada con la tasa de cambio en los parámetros de orden correspondientes . ^[28] En particular, tales relaciones identifican transiciones de fase de segundo orden a través de divergencias de elementos individuales de la matriz de información de Fisher.

Desigualdad isoperimétrica

La matriz de información de Fisher juega un papel en una desigualdad como la desigualdad isoperimétrica . ^[29] De todas las distribuciones de probabilidad con una entropía dada, aquella cuya matriz de información de Fisher tiene la traza más pequeña es la distribución gaussiana. Esto es así, de todos los conjuntos acotados con un volumen dado, la esfera tiene el área de superficie más pequeña.

La prueba implica tomar una variable aleatoria multivariada con función de densidad y agregar un parámetro de ubicación para formar una familia de densidades . Luego, por analogía con la fórmula de Minkowski-Steiner , el "área de superficie" de se define como ${\displaystyle X}$ ${\displaystyle f}$ ${\displaystyle \{f(x-\theta )\mid \theta \in \mathbb {R} ^{n}\}}$ ${\displaystyle X}$

${\displaystyle S(X)=\lim _{\varepsilon \to 0}{\frac {e^{H(X+Z_{\varepsilon })}-e^{H(X)}}{\varepsilon }}}$

donde es una variable gaussiana con matriz de covarianza . El nombre "área de superficie" es apropiado porque el poder de entropía es el volumen del "conjunto de soporte efectivo", ^[30] también lo es la "derivada" del volumen del conjunto de soporte efectivo, muy parecido a la fórmula de Minkowski-Steiner. El resto de la prueba utiliza la desigualdad del poder de la entropía , que es similar a la desigualdad de Brunn-Minkowski . Se encuentra que la traza de la matriz de información de Fisher es un factor de . ${\displaystyle Z_{\varepsilon }}$ ${\displaystyle \varepsilon I}$ ${\displaystyle e^{H(X)}}$ ${\displaystyle S(X)}$ ${\displaystyle S(X)}$

Aplicaciones

Diseño óptimo de experimentos.

La información de Fisher se utiliza ampliamente en el diseño experimental óptimo . Debido a la reciprocidad de la varianza del estimador y la información de Fisher, minimizar la varianza corresponde a maximizar la información .

Cuando el modelo estadístico lineal (o linealizado ) tiene varios parámetros , la media del estimador de parámetros es un vector y su varianza es una matriz . La inversa de la matriz de varianza se llama "matriz de información". Debido a que la varianza del estimador de un vector de parámetros es una matriz, el problema de "minimizar la varianza" es complicado. Utilizando la teoría estadística , los estadísticos comprimen la matriz de información utilizando estadísticas resumidas de valor real ; Al ser funciones de valor real, estos "criterios de información" pueden maximizarse.

Tradicionalmente, los estadísticos han evaluado estimadores y diseños considerando algún estadístico resumido de la matriz de covarianza (de un estimador insesgado), generalmente con valores reales positivos (como el determinante o la traza de la matriz ). Trabajar con números reales positivos trae varias ventajas: si el estimador de un solo parámetro tiene una varianza positiva, entonces la varianza y la información de Fisher son números reales positivos; por tanto, son miembros del cono convexo de números reales no negativos (cuyos miembros distintos de cero tienen recíprocos en este mismo cono).

Para varios parámetros, las matrices de covarianza y las matrices de información son elementos del cono convexo de matrices simétricas definidas no negativas en un espacio vectorial parcialmente ordenado , bajo el orden de Loewner (Löwner). Este cono está cerrado bajo la suma e inversión de matrices, así como bajo la multiplicación de matrices y números reales positivos. En Pukelsheim aparece una exposición de la teoría de matrices y el orden de Loewner. ^[31]

Los criterios tradicionales de optimización son los invariantes de la matriz de información , en el sentido de teoría de invariantes ; Algebraicamente, los criterios de optimización tradicionales son funcionales de los valores propios de la matriz de información (de Fisher) (ver diseño óptimo ).

Jeffreys prior en estadística bayesiana

En estadística bayesiana , la información de Fisher se utiliza para calcular el previo de Jeffreys , que es un previo estándar y no informativo para parámetros de distribución continua. ^[32]

Neurociencia Computacional

La información de Fisher se ha utilizado para encontrar límites a la precisión de los códigos neuronales. En ese caso, X suele ser la respuesta conjunta de muchas neuronas que representan una variable de baja dimensión θ (como un parámetro de estímulo). En particular, se ha estudiado el papel de las correlaciones en el ruido de las respuestas neuronales. ^[33]

Epidemiología

La información de Fisher se utilizó para estudiar qué tan informativas son las diferentes fuentes de datos para estimar el número de reproducción del SARS-CoV-2. ^[34]

Derivación de leyes físicas.

La información de Fisher desempeña un papel central en un principio controvertido propuesto por Frieden como base de las leyes físicas, afirmación que ha sido cuestionada. ^[35]

Aprendizaje automático

La información de Fisher se utiliza en técnicas de aprendizaje automático, como la consolidación elástica de peso , ^[36] que reduce el olvido catastrófico en redes neuronales artificiales .

La información de Fisher se puede utilizar como una alternativa a la función de pérdida de Hesse en el entrenamiento de redes de descenso de gradiente de segundo orden. ^[37]

Discriminación de color

Utilizando una métrica de información de Fisher , da Fonseca et. al ^[38] investigó el grado en que las elipses de MacAdam (elipses de discriminación de color) pueden derivarse de las funciones de respuesta de los fotorreceptores de la retina.

Relación con la entropía relativa

La información de Fisher está relacionada con la entropía relativa . ^[39] La entropía relativa, o divergencia Kullback-Leibler , entre dos distribuciones y se puede escribir como ${\displaystyle p}$ ${\displaystyle q}$

${\displaystyle KL(p:q)=\int p(x)\log {\frac {p(x)}{q(x)}}\,dx.}$

Ahora, considere una familia de distribuciones de probabilidad parametrizada por . Entonces, la divergencia Kullback-Leibler , entre dos distribuciones de la familia, se puede escribir como ${\displaystyle f(x;\theta )}$ ${\displaystyle \theta \in \Theta }$

${\displaystyle D(\theta ,\theta ')=KL(p({}\cdot {};\theta ):p({}\cdot {};\theta '))=\int f(x;\theta )\log {\frac {f(x;\theta )}{f(x;\theta ')}}\,dx.}$

Si es fijo, entonces la entropía relativa entre dos distribuciones de la misma familia se minimiza en . Para cerca de , se puede expandir la expresión anterior en una serie hasta el segundo orden: ${\displaystyle \theta }$ ${\displaystyle \theta '=\theta }$ ${\displaystyle \theta '}$ ${\displaystyle \theta }$

${\displaystyle D(\theta ,\theta ')={\frac {1}{2}}(\theta '-\theta )^{\textsf {T}}\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }(\theta '-\theta )+o\left((\theta '-\theta )^{2}\right)}$

Pero la derivada de segundo orden se puede escribir como

${\displaystyle \left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }=-\int f(x;\theta )\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}\log(f(x;\theta '))\right)_{\theta '=\theta }\,dx=[{\mathcal {I}}(\theta )]_{i,j}.}$

Así, la información de Fisher representa la curvatura de la entropía relativa de una distribución condicional con respecto a sus parámetros.

Historia

La información de Fisher fue discutida por varios de los primeros estadísticos, en particular FY Edgeworth . ^[40] Por ejemplo, Savage ^[41] dice: "En ella [la información de Fisher], él [Fisher] fue anticipado hasta cierto punto (Edgeworth 1908–9, especialmente 502, 507–8, 662, 677–8, 82– 5 y referencias que él [Edgeworth] cita, incluidas Pearson y Filon 1898 [. . .])". Hay varias fuentes históricas tempranas ^[42] y varias reseñas de estos primeros trabajos. ^{[43] [44] [45]}

Ver también

• Eficiencia (estadísticas)
• Información observada
• Métrica de información de Fisher
• matriz de formación
• Geometría de la información
• jeffrey antes
• Cramér-Rao con destino
• Información mínima de Fisher
• Información sobre el pescador cuántico

Otras medidas empleadas en la teoría de la información :

• Entropía (teoría de la información)
• Divergencia Kullback-Leibler
• Autoinformación

Notas

1. Lehmann y Casella, pag. 115
2. Robert, cristiano (2007). "Distribuciones previas no informativas". La elección bayesiana (2ª ed.). Saltador. págs. 127-141. ISBN 978-0-387-71598-8.
3. Le Cam, Lucien (1986). Métodos asintóticos en la teoría de la decisión estadística . Nueva York: Springer. págs. 618–621. ISBN 0-387-96307-3.
4. Kass, Robert E.; Tierney, Lucas; Kadane, José B. (1990). "La validez de las expansiones posteriores basadas en el método de Laplace". En Geisser, S.; Hodges, JS; Prensa, SJ; Zellner, A. (eds.). Métodos bayesianos y de verosimilitud en estadística y econometría . Elsevier. págs. 473–488. ISBN 0-444-88376-2.
5. Frieden y Gatenby (2013)
6. Suba Rao. "Conferencias sobre inferencia estadística" (PDF) .
7. Pescador (1922)
8. Lehmann y Casella, ecuación. (2.5.16), Lema 5.3, p.116.
9. Schervish, Mark J. (1995). Teoría de la Estadística. Nueva York, Nueva York: Springer Nueva York. pag. 111.ISBN​ 978-1-4612-4250-5. OCLC  852790658.
10. Cramer (1946)
11. Rao (1945)
12. Nielsen, Frank (2013). "Límite inferior de Cramér-Rao y geometría de la información". Conectado en Infinity II . Textos y Lecturas en Matemáticas. vol. 67, págs. 18–37. arXiv : 1301.3578 . doi :10.1007/978-93-86279-56-9_2. ISBN 978-93-80250-51-9. S2CID  16759683.
13. Spall, JC (2005). "Cálculo de Monte Carlo de la matriz de información de Fisher en entornos no estándar". Revista de Estadística Computacional y Gráfica . 14 (4): 889–909. doi :10.1198/106186005X78800. S2CID  16090098.
14. Spall, JC (2008), "Métodos mejorados para la estimación de Monte Carlo de la matriz de información de Fisher", Actas de la Conferencia Estadounidense de Control , Seattle, WA, 11 a 13 de junio de 2008, págs. https://doi.org/10.1109/ACC.2008.4586850
15. Das, S.; Spall, JC; Ghanem, R. (2010). "Cálculo eficiente de Monte Carlo de la matriz de información de Fisher utilizando información previa". Estadística Computacional y Análisis de Datos . 54 (2): 272–289. doi :10.1016/j.csda.2009.09.018.
16. Barndorff-Nielsen, OE; Cox, DR (1994). Inferencia y Asintótica . Chapman y Hall. ISBN 9780412494406.
17. Cox, DR; Reid, N. (1987). "Ortogonalidad de parámetros e inferencia condicional aproximada (con discusión)". J. Sociedad Real de Estadística. B . 49 : 1–39.
18. Watanabe, S. (2008), Accardi, L.; Freudenberg, W.; Ohya, M. (eds.), "Método geométrico algebraico en estimación estadística singular", Bioinformática cuántica , World Scientific : 325–336, Bibcode :2008qbi..conf..325W, doi :10.1142/9789812793171_0024, ISBN 978-981-279-316-4.
19. Watanabe, S (2013). "Un criterio de información bayesiano ampliamente aplicable". Revista de investigación sobre aprendizaje automático . 14 : 867–897.
20. Malagó, Luigi; Pistone, Giovanni (2015). "Geometría de la información de la distribución gaussiana en vista de la optimización estocástica". Actas de la Conferencia ACM de 2015 sobre los fundamentos de los algoritmos genéticos XIII . págs. 150-162. doi :10.1145/2725494.2725510. ISBN 9781450334341. S2CID  693896.
21. Mardia, KV; Marshall, RJ (1984). "Estimación de máxima verosimilitud de modelos de covarianza residual en regresión espacial". Biometrika . 71 (1): 135–46. doi :10.1093/biomet/71.1.135.
22. Zamir, R. (1998). "Una prueba de la desigualdad de la información de Fisher a través de un argumento de procesamiento de datos". Transacciones IEEE sobre teoría de la información . 44 (3): 1246-1250. CiteSeerX 10.1.1.49.6628 . doi : 10.1109/18.669301. 
23. Polyanskiy, Yuri (2017). "Apuntes de conferencias sobre teoría de la información, capítulo 29, ECE563 (UIUC)" (PDF) . Apuntes de conferencias sobre teoría de la información . Archivado (PDF) desde el original el 24 de mayo de 2022 . Consultado el 24 de mayo de 2022 .
24. Schervish, Mark J. (1995). Teoría Estadística . Springer-Verlag. pag. 113.
25. Lehmann y Casella, ecuación. (2.5.11).
26. Lehmann y Casella, ecuación. (2.6.16)
27. Janke, W.; Johnston, fiscal del distrito; Kenna, R. (2004). "Geometría de la información y transiciones de fase". Física A. 336 (1–2): 181. arXiv : cond-mat/0401092 . Código Bib : 2004PhyA..336..181J. doi :10.1016/j.physa.2004.01.023. S2CID  119085942.
28. Prokopenko, M.; Lizier, José T.; Lizier, JT; Obst, O.; Wang, XR (2011). "Relacionar la información de Fisher con los parámetros del pedido". Revisión física E. 84 (4): 041116. Código bibliográfico : 2011PhRvE..84d1116P. doi : 10.1103/PhysRevE.84.041116. PMID  22181096. S2CID  18366894.
29. Costa, M.; Portada, T. (noviembre de 1984). "Sobre la similitud de la desigualdad del poder de la entropía y la desigualdad de Brunn-Minkowski". Transacciones IEEE sobre teoría de la información . 30 (6): 837–839. doi :10.1109/TIT.1984.1056983. ISSN  1557-9654.
30. Portada, Thomas M. (2006). Elementos de la teoría de la información. Joy A. Thomas (2ª ed.). Hoboken, Nueva Jersey: Wiley-Interscience. pag. 256.ISBN​ 0-471-24195-4. OCLC  59879802.
31. Pukelsheim, Friedrich (1993). Diseño Óptimo de Experimentos . Nueva York: Wiley. ISBN 978-0-471-61971-0.
32. Bernardo, José M.; Smith, Adrián FM (1994). Teoría bayesiana . Nueva York: John Wiley & Sons. ISBN 978-0-471-92416-6.
33. Abbott, Larry F.; Dayán, Peter (1999). "El efecto de la variabilidad correlacionada sobre la precisión de un código de población". Computación neuronal . 11 (1): 91-101. doi :10.1162/089976699300016827. PMID  9950724. S2CID  2958438.
34. Parag, KV; Donnelly, California; Zarebski, AE (2022). "Cuantificar la información en curvas epidémicas ruidosas". Ciencia Computacional de la Naturaleza . 2 (9): 584–594. doi : 10.1038/s43588-022-00313-1 . hdl : 10044/1/100205 . S2CID  248811793.
35. Streamer, RF (2007). Causas perdidas en y más allá de la Física . Saltador. pag. 69.ISBN​ 978-3-540-36581-5.
36. Kirkpatrick, James; Pascanu, Razvan; Rabinowitz, Neil; Venecia, Joel; Desjardins, Guillaume; Rusu, Andrei A.; Milán, Kieran; Quan, Juan; Ramalho, Tiago (28 de marzo de 2017). "Superar el olvido catastrófico en las redes neuronales". Procedimientos de la Academia Nacional de Ciencias . 114 (13): 3521–3526. arXiv : 1612.00796 . Código Bib : 2017PNAS..114.3521K. doi : 10.1073/pnas.1611835114 . ISSN  0027-8424. PMC 5380101 . PMID  28292907. 
37. Martens, James (agosto de 2020). "Nuevos conocimientos y perspectivas sobre el método del gradiente natural". Revista de investigación sobre aprendizaje automático (21). arXiv : 1412.1193 .
38. da Fonseca, María; Samengo, In´es (1 de diciembre de 2016). "Derivación de la capacidad de discriminación cromática humana a partir de una noción teórica de la información de distancia en el espacio de color". Computación neuronal . 28 (12): 2628–2655 . Consultado el 10 de diciembre de 2023 .
39. Gourieroux y Montfort (1995), página 87
40. Salvaje (1976)
41. Salvaje (1976), página 156
42. Edgeworth (septiembre de 1908, diciembre de 1908)
43. Pratt (1976)
44. Stigler (1978, 1986, 1999)
45. Mitad (1998, 1999)

Referencias

• Cramér, Harald (1946). Métodos matemáticos de estadística . Serie matemática de Princeton. Princeton: Prensa de la Universidad de Princeton. ISBN 0691080046.
• Edgeworth, FY (junio de 1908). "Sobre los posibles errores de las constantes de frecuencia". Revista de la Real Sociedad de Estadística . 71 (2): 381–397. doi :10.2307/2339461. JSTOR  2339461.
• Edgeworth, FY (septiembre de 1908). "Sobre los posibles errores de las constantes de frecuencia (cont.)". Revista de la Real Sociedad de Estadística . 71 (3): 499–512. doi :10.2307/2339293. JSTOR  2339293.
• Edgeworth, FY (diciembre de 1908). "Sobre los posibles errores de las constantes de frecuencia (cont.)". Revista de la Real Sociedad de Estadística . 71 (4): 651–678. doi :10.2307/2339378. JSTOR  2339378.
• Fisher, RA (1 de enero de 1922). "Sobre los fundamentos matemáticos de la estadística teórica". Transacciones filosóficas de la Royal Society de Londres, Serie A. 222 (594–604): 309–368. Código Bib : 1922RSPTA.222..309F. doi : 10.1098/rsta.1922.0009 . hdl : 2440/15172 .
• Frieden, BR (2004) Ciencia de Fisher Information: una unificación . Universidad de Cambridge. Prensa. ISBN 0-521-00911-1 . 
• Frieden, B. Roy; Gatenby, Robert A. (2013). "Principio de máxima información de Fisher a partir de los axiomas de Hardy aplicados a sistemas estadísticos". Revisión física E. 88 (4): 042144. arXiv : 1405.0007 . Código bibliográfico : 2013PhRvE..88d2144F. doi : 10.1103/PhysRevE.88.042144. PMC  4010149 . PMID  24229152.
• Hald, A. (mayo de 1999). "Sobre la historia de la máxima verosimilitud en relación con la probabilidad inversa y los mínimos cuadrados". Ciencia estadística . 14 (2): 214–222. doi : 10.1214/ss/1009212248 . JSTOR  2676741.
• Hald, A. (1998). Una historia de la estadística matemática de 1750 a 1930 . Nueva York: Wiley. ISBN 978-0-471-17912-2.
• Lehmann, EL ; Casella, G. (1998). Teoría de la estimación puntual (2ª ed.). Saltador. ISBN 978-0-387-98502-2.
• Le Cam, Lucien (1986). Métodos asintóticos en la teoría de la decisión estadística . Springer-Verlag. ISBN 978-0-387-96307-5.
• Pratt, John W. (mayo de 1976). "FY Edgeworth y RA Fisher sobre la eficiencia de la estimación de máxima verosimilitud". Anales de Estadística . 4 (3): 501–514. doi : 10.1214/aos/1176343457 . JSTOR  2958222.
• Rao, C. Radhakrishna (1945). "Información y precisión alcanzable en la estimación de parámetros estadísticos". Avances en estadística . Serie Springer en Estadística. vol. 37. págs. 81–91. doi :10.1007/978-1-4612-0919-5_16. ISBN 978-0-387-94037-3. S2CID  117034671. {{cite book}}: |journal=ignorado ( ayuda )
• Savage, LJ (mayo de 1976). "Sobre la relectura de RA Fisher". Anales de Estadística . 4 (3): 441–500. doi : 10.1214/aos/1176343456 . JSTOR  2958221.
• Schervish, Mark J. (1995). Teoría de la Estadística . Nueva York: Springer. ISBN 978-0-387-94546-0.
• Stigler, SM (1986). La historia de la estadística: la medición de la incertidumbre antes de 1900 . Prensa de la Universidad de Harvard. ISBN 978-0-674-40340-6.^{[ página necesaria ]}
• Stigler, SM (1978). «Francis Ysidro Edgeworth, estadístico» . Revista de la Royal Statistical Society, Serie A. 141 (3): 287–322. doi :10.2307/2344804. JSTOR  2344804.
• Stigler, SM (1999). Estadísticas sobre la mesa: la historia de los conceptos y métodos estadísticos . Prensa de la Universidad de Harvard. ISBN 978-0-674-83601-3.^{[ página necesaria ]}
• Van árboles, HL (1968). Teoría de detección, estimación y modulación, parte I. Nueva York: Wiley. ISBN 978-0-471-09517-0.