estadística suficiente

Principio estadístico

En estadística , una estadística es suficiente con respecto a un modelo estadístico y su parámetro desconocido asociado si "ninguna otra estadística que pueda calcularse a partir de la misma muestra proporciona información adicional sobre el valor del parámetro". ^[1] En particular, una estadística es suficiente para una familia de distribuciones de probabilidad si la muestra a partir de la cual se calcula no proporciona información adicional que la estadística, sobre cuál de esas distribuciones de probabilidad es la distribución muestral .

Un concepto relacionado es el de suficiencia lineal , que es más débil que suficiencia pero puede aplicarse en algunos casos donde no existe una estadística suficiente, aunque está restringido a estimadores lineales. ^[2] La función de estructura de Kolmogorov trata con datos finitos individuales; la noción relacionada es la estadística algorítmica suficiente.

El concepto se debe a Sir Ronald Fisher en 1920. Stephen Stigler señaló en 1973 que el concepto de suficiencia había caído en desgracia en la estadística descriptiva debido a la fuerte dependencia de un supuesto de la forma distributiva (ver el teorema de Pitman-Koopman-Darmois a continuación). ), pero siguió siendo muy importante en el trabajo teórico. ^[3]

Fondo

En términos generales, dado un conjunto de datos independientes distribuidos idénticamente condicionados a un parámetro desconocido , una estadística suficiente es una función cuyo valor contiene toda la información necesaria para calcular cualquier estimación del parámetro (por ejemplo, una estimación de máxima verosimilitud ). Debido al teorema de factorización (ver más abajo), para una estadística suficiente , la densidad de probabilidad se puede escribir como . A partir de esta factorización, se puede ver fácilmente que la estimación de máxima verosimilitud de interactuará solo a través de . Normalmente, la estadística suficiente es una función simple de los datos, por ejemplo, la suma de todos los puntos de datos. ${\displaystyle \mathbf {X} }$ ${\displaystyle \theta }$ ${\displaystyle T(\mathbf {X} )}$ ${\displaystyle T(\mathbf {X} )}$ ${\displaystyle f_{\mathbf {X} }(x)=h(x)\,g(\theta ,T(x))}$ ${\displaystyle \theta }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle T(\mathbf {X} )}$

De manera más general, el "parámetro desconocido" puede representar un vector de cantidades desconocidas o puede representar todo lo que se desconoce o no está completamente especificado en el modelo. En tal caso, la estadística suficiente puede ser un conjunto de funciones, denominada estadística conjuntamente suficiente . Normalmente, hay tantas funciones como parámetros. Por ejemplo, para una distribución gaussiana con media y varianza desconocidas , el estadístico conjuntamente suficiente, a partir del cual se pueden estimar las estimaciones de máxima verosimilitud de ambos parámetros, consta de dos funciones, la suma de todos los puntos de datos y la suma de todos los puntos de datos al cuadrado ( o equivalentemente, la media muestral y la varianza muestral ).

En otras palabras, la distribución de probabilidad conjunta de los datos es condicionalmente independiente del parámetro dado el valor del estadístico suficiente para el parámetro . Tanto la estadística como el parámetro subyacente pueden ser vectores.

Definición matemática

Una estadística t  =  T ( X ) es suficiente para el parámetro subyacente θ precisamente si la distribución de probabilidad condicional de los datos X , dada la estadística t  =  T ( X ), no depende del parámetro θ . ^[4]

Alternativamente, se puede decir que la estadística  T ( X ) es suficiente para θ si, para todas las distribuciones anteriores en θ , la información mutua entre θ y T(X) es igual a la información mutua entre θ y X . ^[5] En otras palabras, la desigualdad en el procesamiento de datos se convierte en una igualdad:

${\displaystyle I{\bigl (}\theta ;T(X){\bigr )}=I(\theta ;X)}$

Ejemplo

Como ejemplo, la media muestral es suficiente para la media ( μ ) de una distribución normal con varianza conocida. Una vez que se conoce la media de la muestra, no se puede obtener más información sobre μ de la muestra misma. Por otro lado, para una distribución arbitraria la mediana no es suficiente para la media: incluso si se conoce la mediana de la muestra, conocer la muestra misma proporcionaría más información sobre la media poblacional. Por ejemplo, si las observaciones que son menores que la mediana son solo un poco menores, pero las observaciones que exceden la mediana la exceden en gran medida, entonces esto tendría influencia en la inferencia que uno realiza sobre la media poblacional.

Teorema de factorización de Fisher-Neyman

El teorema de factorización de Fisher o criterio de factorización proporciona una caracterización conveniente de una estadística suficiente. Si la función de densidad de probabilidad es ƒ _θ ( x ), entonces T es suficiente para θ si y sólo si se pueden encontrar funciones no negativas g y h tales que

${\displaystyle f_{\theta }(x)=h(x)\,g_{\theta }(T(x)),}$

es decir, la densidad ƒ se puede factorizar en un producto tal que un factor, h , no depende de θ y el otro factor, que sí depende de θ , depende de x sólo a través de T ( x ). ^{Halmos y Savage [6]} dieron una prueba general de esto y el teorema a veces se denomina teorema de factorización de Halmos-Savage. ^[7] Las pruebas siguientes manejan casos especiales, pero se puede dar una prueba general alternativa en la misma línea. ^[8]

Es fácil ver que si F ( t ) es una función uno a uno y T es un estadístico suficiente, entonces F ( T ) es un estadístico suficiente. En particular, podemos multiplicar un estadístico suficiente por una constante distinta de cero y obtener otro estadístico suficiente.

Interpretación del principio de probabilidad

Una implicación del teorema es que cuando se utiliza la inferencia basada en la verosimilitud, dos conjuntos de datos que produzcan el mismo valor para el estadístico suficiente T ( X ) siempre producirán las mismas inferencias sobre θ . Según el criterio de factorización, la dependencia de la probabilidad de θ es sólo en conjunción con T ( X ). Como esto es lo mismo en ambos casos, la dependencia de θ también será la misma, lo que llevará a inferencias idénticas.

Prueba

Gracias a Hogg y Craig. ^[9] Sea , una muestra aleatoria de una distribución que tiene la función de probabilidad f ( x ,  θ ) para ι  <  θ  <  δ . Sea Y ₁  =  u ₁ ( X ₁ ,  X ₂ , ...,  X _n ) un estadístico cuya función de probabilidad es g ₁ ( y ₁ ;  θ ). Lo que queremos demostrar es que Y ₁  =  u ₁ ( X ₁ , X ₂ , ...,  X _n ) es un estadístico suficiente para θ si y sólo si, para alguna función H , ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

Primero, supongamos que

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

Haremos la transformación y _i  =  u _i ( x ₁ ,  x ₂ , ...,  x _n ), para i  = 1, ...,  n , teniendo funciones inversas x _i  =  w _i ( y ₁ ,  y ₂ , ...,  y _n ), para i  = 1, ...,  n y jacobiano . De este modo, ${\displaystyle J=\left[w_{i}/y_{j}\right]}$

${\displaystyle \prod _{i=1}^{n}f\left[w_{i}(y_{1},y_{2},\dots ,y_{n});\theta \right]=|J|g_{1}(y_{1};\theta )H\left[w_{1}(y_{1},y_{2},\dots ,y_{n}),\dots ,w_{n}(y_{1},y_{2},\dots ,y_{n})\right].}$

El miembro de la izquierda es la función de densidad de probabilidad conjunta g ( y ₁ , y ₂ , ..., y _n ; θ ) de Y ₁ = u ₁ ( X ₁ , ..., X _n ), ..., Y _n = u _norte ( X ₁ , ..., X _norte ). En el miembro de la derecha, está la densidad de probabilidad de , por lo que es el cociente de y ; es decir, es la pdf condicional de dado . ${\displaystyle g_{1}(y_{1};\theta )}$ ${\displaystyle Y_{1}}$ ${\displaystyle H[w_{1},\dots ,w_{n}]|J|}$ ${\displaystyle g(y_{1},\dots ,y_{n};\theta )}$ ${\displaystyle g_{1}(y_{1};\theta )}$ ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$ ${\displaystyle Y_{2},\dots ,Y_{n}}$ ${\displaystyle Y_{1}=y_{1}}$

Pero , y así , se le dio de qué depender . Dado que no se introdujo en la transformación y, por tanto, no en el jacobiano , se deduce que no depende de y que es una estadística suficiente para . ${\displaystyle H(x_{1},x_{2},\dots ,x_{n})}$ ${\displaystyle H\left[w_{1}(y_{1},\dots ,y_{n}),\dots ,w_{n}(y_{1},\dots ,y_{n}))\right]}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle J}$ ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$ ${\displaystyle \theta }$ ${\displaystyle Y_{1}}$ ${\displaystyle \theta }$

Lo contrario se prueba tomando:

${\displaystyle g(y_{1},\dots ,y_{n};\theta )=g_{1}(y_{1};\theta )h(y_{2},\dots ,y_{n}\mid y_{1}),}$

donde no depende de porque depende solo de , que son independientes cuando están condicionados por , una estadística suficiente por hipótesis. Ahora divida ambos miembros por el valor absoluto del jacobiano que no desaparece y reemplácelo por las funciones en . Esto produce ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$ ${\displaystyle \theta }$ ${\displaystyle Y_{2}...Y_{n}}$ ${\displaystyle X_{1}...X_{n}}$ ${\displaystyle \Theta }$ ${\displaystyle Y_{1}}$ ${\displaystyle J}$ ${\displaystyle y_{1},\dots ,y_{n}}$ ${\displaystyle u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n})}$ ${\displaystyle x_{1},\dots ,x_{n}}$

${\displaystyle {\frac {g\left[u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n});\theta \right]}{|J^{*}|}}=g_{1}\left[u_{1}(x_{1},\dots ,x_{n});\theta \right]{\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

¿Dónde se reemplaza el jacobiano por su valor en términos ? El miembro de la izquierda es necesariamente la pdf conjunta de . Puesto que y por tanto no depende de , entonces ${\displaystyle J^{*}}$ ${\displaystyle y_{1},\dots ,y_{n}}$ ${\displaystyle x_{1},\dots ,x_{n}}$ ${\displaystyle f(x_{1};\theta )\cdots f(x_{n};\theta )}$ ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$ ${\displaystyle h(u_{2},\dots ,u_{n}\mid u_{1})}$ ${\displaystyle \theta }$

${\displaystyle H(x_{1},\dots ,x_{n})={\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

es una función que no depende de . ${\displaystyle \theta }$

Otra prueba

Una prueba más simple e ilustrativa es la siguiente, aunque se aplica sólo en el caso discreto.

Usamos la notación abreviada para denotar la densidad de probabilidad conjunta de by . Como es función de , tenemos , siempre que y cero en caso contrario. Por lo tanto: ${\displaystyle (X,T(X))}$ ${\displaystyle f_{\theta }(x,t)}$ ${\displaystyle T}$ ${\displaystyle X}$ ${\displaystyle f_{\theta }(x,t)=f_{\theta }(x)}$ ${\displaystyle t=T(x)}$

${\displaystyle {\begin{aligned}f_{\theta }(x)&=f_{\theta }(x,t)\\[5pt]&=f_{\theta }(x\mid t)f_{\theta }(t)\\[5pt]&=f(x\mid t)f_{\theta }(t)\end{aligned}}}$

siendo la última igualdad cierta según la definición de estadísticas suficientes. Así con y . ${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$ ${\displaystyle a(x)=f_{X\mid t}(x)}$ ${\displaystyle b_{\theta }(t)=f_{\theta }(t)}$

Por el contrario, si tenemos ${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$

${\displaystyle {\begin{aligned}f_{\theta }(t)&=\sum _{x:T(x)=t}f_{\theta }(x,t)\\[5pt]&=\sum _{x:T(x)=t}f_{\theta }(x)\\[5pt]&=\sum _{x:T(x)=t}a(x)b_{\theta }(t)\\[5pt]&=\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t).\end{aligned}}}$

Con la primera igualdad por la definición de pdf para múltiples variables , la segunda por la observación anterior, la tercera por hipótesis y la cuarta porque la suma no ha terminado . ${\displaystyle t}$

Denotemos la densidad de probabilidad condicional de dado . Entonces podemos derivar una expresión explícita para esto: ${\displaystyle f_{X\mid t}(x)}$ ${\displaystyle X}$ ${\displaystyle T(X)}$

${\displaystyle {\begin{aligned}f_{X\mid t}(x)&={\frac {f_{\theta }(x,t)}{f_{\theta }(t)}}\\[5pt]&={\frac {f_{\theta }(x)}{f_{\theta }(t)}}\\[5pt]&={\frac {a(x)b_{\theta }(t)}{\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t)}}\\[5pt]&={\frac {a(x)}{\sum _{x:T(x)=t}a(x)}}.\end{aligned}}}$

Con la primera igualdad por definición de densidad de probabilidad condicional, la segunda por la observación anterior, la tercera por la igualdad demostrada anteriormente y la cuarta por simplificación. Esta expresión no depende de y por lo tanto es una estadística suficiente. ^[10] ${\displaystyle \theta }$ ${\displaystyle T}$

Suficiencia mínima

Una estadística suficiente es mínimamente suficiente si puede representarse como una función de cualquier otra estadística suficiente. En otras palabras, S ( X ) es mínimo suficiente si y sólo si ^[11]

1. S ( X ) es suficiente, y
2. si T ( X ) es suficiente, entonces existe una función f tal que S ( X ) = f ( T ( X )).

Intuitivamente, una estadística mínima suficiente captura de manera más eficiente toda la información posible sobre el parámetro θ .

Una caracterización útil de suficiencia mínima es que cuando existe la densidad f _θ , S ( X ) es mínima suficiente si y solo si ^{[ cita necesaria ]}

${\displaystyle {\frac {f_{\theta }(x)}{f_{\theta }(y)}}}$es independiente de θ  : S ( x ) = S ( y ) ${\displaystyle \Longleftrightarrow }$

Esto se deriva del teorema de factorización de Fisher mencionado anteriormente.

Bahadur, 1954, demostró un caso en el que no existe una estadística mínima suficiente. ^[12] Sin embargo, en condiciones suaves, siempre existe una estadística mínima suficiente. En particular, en el espacio euclidiano, estas condiciones siempre se cumplen si las variables aleatorias (asociadas con ) son todas discretas o todas continuas. ${\displaystyle P_{\theta }}$

Si existe una estadística mínima suficiente, y este suele ser el caso, entonces cada estadística suficiente completa es necesariamente mínima suficiente ^[13] (tenga en cuenta que esta afirmación no excluye un caso patológico en el que existe una suficiente completa mientras que no hay una estadística mínima suficiente). estadística). Si bien es difícil encontrar casos en los que no exista una estadística mínima suficiente, no lo es tanto encontrar casos en los que no exista una estadística completa.

La colección de razones de verosimilitud para , es una estadística mínima suficiente si el espacio de parámetros es discreto . ${\displaystyle \left\{{\frac {L(X\mid \theta _{i})}{L(X\mid \theta _{0})}}\right\}}$ ${\displaystyle i=1,...,k}$ ${\displaystyle \left\{\theta _{0},...,\theta _{k}\right\}}$

Ejemplos

Distribución de Bernoulli

Si X ₁ , ....,  X _n son variables aleatorias independientes distribuidas por Bernoulli con valor esperado p , entonces la suma T ( X ) =  X ₁  + ... +  X _n es un estadístico suficiente para p (aquí 'éxito ' corresponde a Xi ₌  1 y 'fracaso' a _Xi =  0; entonces T es el número total de éxitos)

Esto se ve considerando la distribución de probabilidad conjunta:

${\displaystyle \Pr\{X=x\}=\Pr\{X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}\}.}$

Como las observaciones son independientes, esto se puede escribir como

${\displaystyle p^{x_{1}}(1-p)^{1-x_{1}}p^{x_{2}}(1-p)^{1-x_{2}}\cdots p^{x_{n}}(1-p)^{1-x_{n}}}$

y, sumando potencias de p y 1 −  p , se obtiene

${\displaystyle p^{\sum x_{i}}(1-p)^{n-\sum x_{i}}=p^{T(x)}(1-p)^{n-T(x)}}$

que satisface el criterio de factorización, siendo h ( x ) = 1 solo una constante.

Tenga en cuenta la característica crucial: el parámetro desconocido p interactúa con los datos x sólo a través del estadístico T ( x ) = Σ  x _i .

Como aplicación concreta, esto proporciona un procedimiento para distinguir una moneda justa de una moneda sesgada .

Distribución uniforme

Si X ₁ , ...., X _n son independientes y están distribuidos uniformemente en el intervalo [0, θ ], entonces T ( X ) = max( X ₁ , ..., X _n ) es suficiente para θ — la muestra El máximo es una estadística suficiente para el máximo de población.

Para ver esto, considere la función de densidad de probabilidad conjunta de X   ( X ₁ ,..., X _n ). Debido a que las observaciones son independientes, la función de probabilidad se puede escribir como un producto de densidades individuales.

${\displaystyle {\begin{aligned}f_{\theta }(x_{1},\ldots ,x_{n})&={\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{1}\leq \theta \}}\cdots {\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{n}\leq \theta \}}\\[5pt]&={\frac {1}{\theta ^{n}}}\mathbf {1} _{\{0\leq \min\{x_{i}\}\}}\mathbf {1} _{\{\max\{x_{i}\}\leq \theta \}}\end{aligned}}}$

donde 1 _{{ ... }} es la función indicadora . Así, la densidad toma la forma requerida por el teorema de factorización de Fisher-Neyman, donde h ( x ) =  1 _{{min{ x i }≥0}} , y el resto de la expresión es función solo de θ y T ( x ) = max { xyo _} .

De hecho, el estimador insesgado de varianza mínima (MVUE) para θ es

${\displaystyle {\frac {n+1}{n}}T(X).}$

Este es el máximo muestral, ajustado para corregir el sesgo , y es MVUE según el teorema de Lehmann-Scheffé . El máximo de muestra sin escala T ( X ) es el estimador de máxima verosimilitud para θ .

Distribución uniforme (con dos parámetros)

Si son independientes y están distribuidos uniformemente en el intervalo (donde y son parámetros desconocidos), entonces es un estadístico bidimensional suficiente para . ${\displaystyle X_{1},...,X_{n}}$ ${\displaystyle [\alpha ,\beta ]}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$ ${\displaystyle (\alpha \,,\,\beta )}$

Para ver esto, considere la función de densidad de probabilidad conjunta de . Debido a que las observaciones son independientes, la función de probabilidad se puede escribir como un producto de densidades individuales, es decir ${\displaystyle X_{1}^{n}=(X_{1},\ldots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \beta -\alpha }\right)\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta \}}=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta ,\,\forall \,i=1,\ldots ,n\}}\\&=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

La densidad conjunta de la muestra toma la forma requerida por el teorema de factorización de Fisher-Neyman, dejando

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\quad g_{(\alpha ,\beta )}(x_{1}^{n})=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

Dado que no depende del parámetro y depende solo de la función. ${\displaystyle h(x_{1}^{n})}$ ${\displaystyle (\alpha ,\beta )}$ ${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$ ${\displaystyle x_{1}^{n}}$ ${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right),}$

el teorema de factorización de Fisher-Neyman implica que es un estadístico suficiente para . ${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$ ${\displaystyle (\alpha \,,\,\beta )}$

distribución de veneno

Si X ₁ , ....,  X _n son independientes y tienen una distribución de Poisson con parámetro λ , entonces la suma T ( X ) =  X ₁  + ... +  X _n es un estadístico suficiente para  λ .

Para ver esto, considere la distribución de probabilidad conjunta:

${\displaystyle \Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}).}$

Como las observaciones son independientes, esto se puede escribir como

${\displaystyle {e^{-\lambda }\lambda ^{x_{1}} \over x_{1}!}\cdot {e^{-\lambda }\lambda ^{x_{2}} \over x_{2}!}\cdots {e^{-\lambda }\lambda ^{x_{n}} \over x_{n}!}}$

que puede escribirse como

${\displaystyle e^{-n\lambda }\lambda ^{(x_{1}+x_{2}+\cdots +x_{n})}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}}$

lo que demuestra que se cumple el criterio de factorización, donde h ( x ) es el recíproco del producto de los factoriales. Tenga en cuenta que el parámetro λ interactúa con los datos solo a través de su suma T ( X ).

Distribución normal

Si son independientes y están distribuidos normalmente con un valor esperado (un parámetro) y una varianza finita conocida, entonces ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle \theta }$ ${\displaystyle \sigma ^{2},}$

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

es una estadística suficiente para ${\displaystyle \theta .}$

Para ver esto, considere la función de densidad de probabilidad conjunta de . Debido a que las observaciones son independientes, la función de probabilidad se puede escribir como un producto de densidades individuales, es decir ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {\left(\left(x_{i}-{\overline {x}}\right)-\left(\theta -{\overline {x}}\right)\right)^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+\sum _{i=1}^{n}(\theta -{\overline {x}})^{2}-2\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})\right)\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+n(\theta -{\overline {x}})^{2}\right)\right)&&\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})=0\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

La densidad conjunta de la muestra toma la forma requerida por el teorema de factorización de Fisher-Neyman, dejando

${\displaystyle {\begin{aligned}h(x_{1}^{n})&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\\[6pt]g_{\theta }(x_{1}^{n})&=\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

Dado que no depende del parámetro y depende solo de la función. ${\displaystyle h(x_{1}^{n})}$ ${\displaystyle \theta }$ ${\displaystyle g_{\theta }(x_{1}^{n})}$ ${\displaystyle x_{1}^{n}}$

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i},}$

el teorema de factorización de Fisher-Neyman implica que es un estadístico suficiente para . ${\displaystyle T(X_{1}^{n})}$ ${\displaystyle \theta }$

Si se desconoce y desde entonces , la probabilidad anterior se puede reescribir como ${\displaystyle \sigma ^{2}}$ ${\displaystyle s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})=(2\pi \sigma ^{2})^{-n/2}\exp \left(-{\frac {n-1}{2\sigma ^{2}}}s^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right).\end{aligned}}}$

El teorema de factorización de Fisher-Neyman todavía se cumple e implica que es un estadístico suficiente conjunto para . ${\displaystyle ({\overline {x}},s^{2})}$ ${\displaystyle (\theta ,\sigma ^{2})}$

Distribución exponencial

Si son independientes y están distribuidos exponencialmente con el valor esperado θ (un parámetro positivo desconocido de valor real), entonces es una estadística suficiente para θ. ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$

Para ver esto, considere la función de densidad de probabilidad conjunta de . Debido a que las observaciones son independientes, la función de probabilidad se puede escribir como un producto de densidades individuales, es decir ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{1 \over \theta }\,e^{{-1 \over \theta }x_{i}}={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

La densidad conjunta de la muestra toma la forma requerida por el teorema de factorización de Fisher-Neyman, dejando

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{\theta }(x_{1}^{n})={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Dado que no depende del parámetro y depende solo de la función. ${\displaystyle h(x_{1}^{n})}$ ${\displaystyle \theta }$ ${\displaystyle g_{\theta }(x_{1}^{n})}$ ${\displaystyle x_{1}^{n}}$ ${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$

el teorema de factorización de Fisher-Neyman implica que es un estadístico suficiente para . ${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$ ${\displaystyle \theta }$

Distribución gamma

Si son independientes y están distribuidos como a , donde y son parámetros desconocidos de una distribución gamma , entonces es un estadístico bidimensional suficiente para . ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle \Gamma (\alpha \,,\,\beta )}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}{X_{i}},\sum _{i=1}^{n}X_{i}\right)}$ ${\displaystyle (\alpha ,\beta )}$

Para ver esto, considere la función de densidad de probabilidad conjunta de . Debido a que las observaciones son independientes, la función de probabilidad se puede escribir como un producto de densidades individuales, es decir ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)x_{i}^{\alpha -1}e^{(-1/\beta )x_{i}}\\[5pt]&=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

La densidad conjunta de la muestra toma la forma requerida por el teorema de factorización de Fisher-Neyman, dejando

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{(\alpha \,,\,\beta )}(x_{1}^{n})=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Dado que no depende del parámetro y depende solo de la función. ${\displaystyle h(x_{1}^{n})}$ ${\displaystyle (\alpha \,,\,\beta )}$ ${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$ ${\displaystyle x_{1}^{n}}$ ${\displaystyle T(x_{1}^{n})=\left(\prod _{i=1}^{n}x_{i},\sum _{i=1}^{n}x_{i}\right),}$

el teorema de factorización de Fisher-Neyman implica que es una estadística suficiente para ${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}\right)}$ ${\displaystyle (\alpha \,,\,\beta ).}$

Teorema de Rao-Blackwell

La suficiencia encuentra una aplicación útil en el teorema de Rao-Blackwell , que establece que si g ( X ) es cualquier tipo de estimador de θ , entonces típicamente la expectativa condicional de g ( X ) dado el estadístico suficiente T ( X ) es mejor (en la sensación de tener un estimador de varianza más bajo de θ , y nunca es peor. A veces se puede construir muy fácilmente un estimador g ( X ) muy burdo y luego evaluar ese valor esperado condicional para obtener un estimador que sea óptimo en varios sentidos.

familia exponencial

Según el teorema de Pitman-Koopman-Darmois, entre familias de distribuciones de probabilidad cuyo dominio no varía con el parámetro que se estima, sólo en las familias exponenciales existe un estadístico suficiente cuya dimensión permanece acotada a medida que aumenta el tamaño de la muestra. Intuitivamente, esto establece que las familias de distribuciones no exponenciales en la línea real requieren estadísticas no paramétricas para capturar completamente la información de los datos.

De manera menos concisa, supongamos que son variables aleatorias reales independientes distribuidas idénticamente cuya distribución se sabe que pertenece a alguna familia de distribuciones de probabilidad, parametrizada por , que satisface ciertas condiciones de regularidad técnica, entonces esa familia es una familia exponencial si y solo si hay un valor suficiente. Estadístico cuyo número de componentes escalares no aumenta a medida que aumenta el tamaño de la muestra n . ^[14] ${\displaystyle X_{n},n=1,2,3,\dots }$ ${\displaystyle \theta }$ ${\displaystyle \mathbb {R} ^{m}}$ ${\displaystyle T(X_{1},\dots ,X_{n})}$ ${\displaystyle m}$

Este teorema muestra que la existencia de estadísticas suficientes de dimensión finita y valoradas en vectores reales restringe drásticamente las posibles formas de una familia de distribuciones en la línea real .

Cuando los parámetros o las variables aleatorias ya no tienen valores reales, la situación es más compleja. ^[15]

Otros tipos de suficiencia

suficiencia bayesiana

Una formulación alternativa de la condición de que una estadística sea suficiente, establecida en un contexto bayesiano, implica las distribuciones posteriores obtenidas utilizando el conjunto de datos completo y utilizando sólo una estadística. Por tanto, el requisito es que, para casi cada x ,

${\displaystyle \Pr(\theta \mid X=x)=\Pr(\theta \mid T(X)=t(x)).}$

De manera más general, sin asumir un modelo paramétrico, podemos decir que la estadística T es suficientemente predictiva si

${\displaystyle \Pr(X'=x'\mid X=x)=\Pr(X'=x'\mid T(X)=t(x)).}$

Resulta que esta "suficiencia bayesiana" es una consecuencia de la formulación anterior, ^[16] sin embargo, no son directamente equivalentes en el caso de dimensión infinita. ^[17] Está disponible una variedad de resultados teóricos sobre la suficiencia en un contexto bayesiano. ^[18]

suficiencia lineal

Un concepto llamado "suficiencia lineal" puede formularse en un contexto bayesiano ^[19] y de manera más general. ^[20] Primero defina el mejor predictor lineal de un vector Y basado en X como . Entonces un estadístico lineal T ( x ) es lineal suficiente ^[21] si ${\displaystyle {\hat {E}}[Y\mid X]}$

${\displaystyle {\hat {E}}[\theta \mid X]={\hat {E}}[\theta \mid T(X)].}$

Ver también

• Completitud de una estadística
• Teorema de Basu sobre la independencia de estadísticas auxiliares y suficientes completas
• Teorema de Lehmann-Scheffé : un estimador suficiente completo es el mejor estimador de su expectativa
• Teorema de Rao-Blackwell
• Teorema de Chentsov
• Reducción de dimensiones suficiente
• Estadística auxiliar

Notas

1. Pescador, RA (1922). "Sobre los fundamentos matemáticos de la estadística teórica". Transacciones filosóficas de la Royal Society A. 222 (594–604): 309–368. Código Bib : 1922RSPTA.222..309F. doi : 10.1098/rsta.1922.0009 . hdl : 2440/15172 . JFM  48.1280.02. JSTOR  91208.
2. Dodge, Y. (2003) - entrada para suficiencia lineal
3. Stigler, Stephen (diciembre de 1973). "Estudios de Historia de la Probabilidad y Estadística. XXXII: Laplace, Fisher y el descubrimiento del concepto de suficiencia". Biometrika . 60 (3): 439–445. doi :10.1093/biomet/60.3.439. JSTOR  2334992. SEÑOR  0326872.
4. Casella, George; Berger, Roger L. (2002). Inferencia estadística, 2ª ed . Prensa de Duxbury.
5. Portada, Thomas M. (2006). Elementos de la teoría de la información . Joy A. Thomas (2ª ed.). Hoboken, Nueva Jersey: Wiley-Interscience. pag. 36.ISBN​ 0-471-24195-4. OCLC  59879802.
6. Halmos, PR; Salvaje, LJ (1949). "Aplicación del teorema de radón-Nikodym a la teoría de la estadística suficiente". Los anales de la estadística matemática . 20 (2): 225–241. doi : 10.1214/aoms/1177730032 . ISSN  0003-4851.
7. "Teorema de factorización - Enciclopedia de Matemáticas". encyclopediaofmath.org . Consultado el 7 de septiembre de 2022 .
8. Taraldsen, G. (2022). "El teorema de factorización de la suficiencia". Preimpresión . doi :10.13140/RG.2.2.15068.87687.
9. Hogg, Robert V.; Craig, Allen T. (1995). Introducción a la Estadística Matemática . Prentice Hall. ISBN 978-0-02-355722-4.
10. "El teorema de factorización de Fisher-Neyman".. Página web en Connexions (cnx.org)
11. Dodge (2003): entrada para estadísticas mínimas suficientes
12. Lehmann y Casella (1998), Teoría de la estimación puntual , segunda edición, Springer, p.37
13. Lehmann y Casella (1998), Teoría de la estimación puntual , segunda edición, Springer, página 42
14. Tikochinsky, Y.; Tishby, Nueva Zelanda; Levine, RD (1 de noviembre de 1984). "Enfoque alternativo para la inferencia de máxima entropía". Revisión física A. 30 (5): 2638–2644. Código bibliográfico : 1984PhRvA..30.2638T. doi :10.1103/physreva.30.2638. ISSN  0556-2791.
15. Andersen, Erling Bernhard (septiembre de 1970). "Suficiencia y familias exponenciales para espacios muestrales discretos". Revista de la Asociación Estadounidense de Estadística . 65 (331): 1248-1255. doi :10.1080/01621459.1970.10481160. ISSN  0162-1459.
16. Bernardo, JM ; Smith, AFM (1994). "Sección 5.1.4". Teoría bayesiana . Wiley. ISBN 0-471-92416-4.
17. Blackwell, D .; Ramamoorthi, RV (1982). "Una estadística de Bayes pero no clásicamente suficiente". Anales de Estadística . 10 (3): 1025-1026. doi : 10.1214/aos/1176345895 . SEÑOR  0663456. Zbl  0485.62004.
18. Nogales, AG; Oyola, JA; Pérez, P. (2000). "Sobre la independencia condicional y la relación entre suficiencia e invariancia bajo el punto de vista bayesiano". Cartas de estadística y probabilidad . 46 (1): 75–84. doi :10.1016/S0167-7152(99)00089-9. SEÑOR  1731351. Zbl  0964.62003.
19. Goldstein, M.; O'Hagan, A. (1996). "Suficiencia lineal de Bayes y sistemas de valoraciones posteriores de expertos". Revista de la Real Sociedad de Estadística . Serie B. 58 (2): 301–316. JSTOR  2345978.
20. Godambe, vicepresidente (1966). "Un nuevo enfoque para el muestreo de poblaciones finitas. II Suficiencia sin distribución". Revista de la Real Sociedad de Estadística . Serie B. 28 (2): 320–328. JSTOR  2984375.
21. Ingenio, T. (1987). "La propiedad lineal de Markov en la teoría de la credibilidad". Boletín ASTIN . 17 (1): 71–84. doi : 10.2143/ast.17.1.2014984 . hdl : 20.500.11850/422507 .

Referencias

• Kholevo, AS (2001) [1994], "Estadística suficiente", Enciclopedia de Matemáticas , EMS Press
• Lehmann, EL; Casella, G. (1998). Teoría de la estimación puntual (2ª ed.). Saltador. Capítulo 4. ISBN 0-387-98502-6.
• Dodge, Y. (2003) Diccionario Oxford de términos estadísticos , OUP. ISBN 0-19-920613-9