Completitud (estadísticas)

Término estadístico

En estadística , la completitud es una propiedad de una estadística calculada sobre un conjunto de datos de muestra en relación con un modelo paramétrico del conjunto de datos. Se opone al concepto de estadística auxiliar . Mientras que una estadística auxiliar no contiene información sobre los parámetros del modelo, una estadística completa contiene solo información sobre los parámetros y ninguna información auxiliar. Está estrechamente relacionada con el concepto de estadística suficiente que contiene toda la información que proporciona el conjunto de datos sobre los parámetros. ^[1]

Definición

Consideremos una variable aleatoria X cuya distribución de probabilidad pertenece a un modelo paramétrico P _θ parametrizado por  θ .

Digamos que T es una estadística , es decir, la composición de una función medible con una muestra aleatoria X ₁ ,..., X _n .

Se dice que la estadística T es completa para la distribución de X si, para cada función medible g, ^[2]

${\displaystyle {\text{if }}\operatorname {E} _{\theta }(g(T))=0{\text{ for all }}\theta {\text{ then }}\mathbf {P} _{\theta }(g(T)=0)=1{\text{ for all }}\theta .}$

Se dice que la estadística T es acotadamente completa para la distribución de X si esta implicación es válida para cada función medible g que también esté acotada.

Ejemplo: modelo de Bernoulli

El modelo de Bernoulli admite una estadística completa. ^[3] Sea X una muestra aleatoria de tamaño n tal que cada X _i tiene la misma distribución de Bernoulli con parámetro p . Sea T el número de 1 observados en la muestra, es decir . T es una estadística de X que tiene una distribución binomial con parámetros ( n , p ). Si el espacio de parámetros para p es (0,1), entonces T es una estadística completa. Para ver esto, note que ${\displaystyle \textstyle T=\sum _{i=1}^{n}X_{i}}$

${\displaystyle \operatorname {E} _{p}(g(T))=\sum _{t=0}^{n}{g(t){n \choose t}p^{t}(1-p)^{n-t}}=(1-p)^{n}\sum _{t=0}^{n}{g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}}.}$

Observe también que ni p ni 1 −  p pueden ser 0. Por lo tanto , si y sólo si: ${\displaystyle E_{p}(g(T))=0}$

${\displaystyle \sum _{t=0}^{n}g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}=0.}$

Al denotar p /(1 −  p ) por r , se obtiene:

${\displaystyle \sum _{t=0}^{n}g(t){n \choose t}r^{t}=0.}$

En primer lugar, observe que el rango de r son los reales positivos . Además, E( g ( T )) es un polinomio en r y, por lo tanto, solo puede ser idéntico a 0 si todos los coeficientes son 0, es decir, g ( t ) = 0 para todo  t .

Es importante notar que el resultado de que todos los coeficientes deben ser 0 se obtuvo debido al rango de r . Si el espacio de parámetros hubiera sido finito y con un número de elementos menor o igual a n , podría ser posible resolver las ecuaciones lineales en g ( t ) obtenidas al sustituir los valores de r y obtener soluciones diferentes de 0. Por ejemplo, si n = 1 y el espacio de parámetros es {0.5}, una sola observación y un solo valor de parámetro, T no está completo. Observe que, con la definición:

${\displaystyle g(t)=2(t-0.5),\,}$

entonces, E( g ( T )) = 0 aunque g ( t ) no es 0 para t = 0 ni para t = 1.

Ejemplo: Suma de normales

Este ejemplo mostrará que, en una muestra X ₁ ,  X ₂ de tamaño 2 de una distribución normal con varianza conocida, el estadístico X ₁  +  X ₂ es completo y suficiente. Supongamos que ( X ₁ , X ₂ ) son variables aleatorias independientes , idénticamente distribuidas, normalmente distribuidas con una expectativa θ y una varianza 1. La suma

${\displaystyle s((X_{1},X_{2}))=X_{1}+X_{2}\,\!}$

es una estadística completa para θ .

Para demostrar esto, es suficiente demostrar que no existe ninguna función distinta de cero tal que la esperanza de ${\displaystyle g}$

${\displaystyle g(s(X_{1},X_{2}))=g(X_{1}+X_{2})\,\!}$

permanece cero independientemente del valor de θ .

Este hecho puede verse de la siguiente manera: la distribución de probabilidad de X ₁  +  X ₂ es normal con una esperanza 2 θ y una varianza 2. Por lo tanto, su función de densidad de probabilidad en es proporcional a ${\displaystyle x}$

${\displaystyle \exp \left(-(x-2\theta )^{2}/4\right).}$

La expectativa de g anterior sería por lo tanto una constante multiplicada por

${\displaystyle \int _{-\infty }^{\infty }g(x)\exp \left(-(x-2\theta )^{2}/4\right)\,dx.}$

Un poco de álgebra reduce esto a

${\displaystyle k(\theta )\int _{-\infty }^{\infty }h(x)e^{x\theta }\,dx\,\!}$

donde k ( θ ) no es cero en ninguna parte y

${\displaystyle h(x)=g(x)e^{-x^{2}/4}.\,\!}$

Como función de θ, esta es una transformada de Laplace de dos lados de h ( X ), y no puede ser idénticamente cero a menos que h ( x ) sea cero en casi todas partes. ^[4] La exponencial no es cero, por lo que esto solo puede suceder si g ( x ) es cero en casi todas partes.

Por el contrario, la estadística es suficiente pero no completa. Admite un estimador imparcial distinto de cero, es decir ${\textstyle (X_{1},X_{2})}$ ${\textstyle X_{1}-X_{2}.}$

Ejemplo: Ubicación de una distribución uniforme

Supongamos entonces que, independientemente del valor de Por lo tanto, no es completo. ${\textstyle X\sim \operatorname {Uniform} (\theta -1,\theta +1).}$ ${\textstyle \operatorname {E} (\sin(\pi X))=0}$ ${\textstyle \theta .}$ ${\textstyle \sin(\pi X)}$

Relación con estadísticas suficientes

Para algunas familias paramétricas, no existe una estadística completa y suficiente (por ejemplo, consulte Galili y Meilijson 2016 ^[5] ).

Por ejemplo, si toma una muestra de tamaño n  > 2 de una distribución N ( θ , θ ² ), entonces es una estadística mínima suficiente y es una función de cualquier otra estadística mínima suficiente, pero tiene una expectativa de 0 para todos los θ , por lo que no puede haber una estadística completa. ${\displaystyle \left(\sum _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}^{2}\right)}$ ${\displaystyle 2\left(\sum _{i=1}^{n}X_{i}\right)^{2}-(n+1)\sum _{i=1}^{n}X_{i}^{2}}$

Si existe una estadística mínima suficiente, entonces cualquier estadística completa suficiente también es mínimamente suficiente. Pero hay casos patológicos en los que no existe una estadística mínima suficiente aunque exista una estadística completa.

Importancia de la completitud

La noción de completitud tiene muchas aplicaciones en estadística, particularmente en los siguientes dos teoremas de estadística matemática.

Teorema de Lehmann-Scheffé

La completitud se da en el teorema de Lehmann-Scheffé ^[6] , que establece que si una estadística es insesgada, completa y suficiente para algún parámetro θ , entonces es el mejor estimador insesgado en cuanto a la media para  θ . En otras palabras, esta estadística tiene una pérdida esperada menor para cualquier función de pérdida convexa ; en muchas aplicaciones prácticas con la función de pérdida al cuadrado, tiene un error cuadrático medio menor entre todos los estimadores con el mismo valor esperado .

Existen ejemplos de que cuando la estadística mínima suficiente no está completa , existen varias estadísticas alternativas para la estimación imparcial de θ , aunque algunas de ellas tienen menor varianza que otras. ^[7]

Véase también estimador insesgado de varianza mínima .

Teorema de Basu

La completitud acotada se da en el teorema de Basu , ^[8] que establece que una estadística que es a la vez acotadamente completa y suficiente es independiente de cualquier estadística auxiliar .

Teorema de Bahadur

La completitud acotada también se da en el teorema de Bahadur. En el caso en que exista al menos una estadística mínima suficiente , una estadística que sea suficiente y acotadamente completa, es necesariamente mínimamente suficiente. Otra forma del teorema de Bahadur establece que cualquier estadística suficiente y acotadamente completa sobre un espacio de coordenadas de dimensión finita también es mínimamente suficiente. ^[9]

Notas

1. Casella, George; Berger, Roger W. (2001). Inferencia estadística . CRC Press. ISBN 978-1-032-59303-6.
2. Young, GA y Smith, RL (2005). Fundamentos de inferencia estadística. (pág. 94). Cambridge University Press.
3. Casella, G. y Berger, RL (2001). Inferencia estadística. (págs. 285-286). Duxbury Press.
4. Orloff, Jeremy. "Singularidad de la transformada de Laplace" (PDF) .
5. Tal Galili; Isaac Meilijson (31 de marzo de 2016). "Un ejemplo de una mejora Rao-Blackwell mejorable, un estimador de máxima verosimilitud ineficiente y un estimador bayesiano generalizado imparcial". The American Statistician . 70 (1): 108–113. doi :10.1080/00031305.2015.1100683. PMC 4960505 . PMID  27499547. 
6. Casella, George; Berger, Roger L. (2001). Inferencia estadística (2.ª ed.). Duxbury Press. ISBN 978-0534243128.
7. Tal Galili; Isaac Meilijson (31 de marzo de 2016). "Un ejemplo de una mejora Rao-Blackwell mejorable, un estimador de máxima verosimilitud ineficiente y un estimador bayesiano generalizado imparcial". The American Statistician . 70 (1): 108–113. doi :10.1080/00031305.2015.1100683. PMC 4960505 . PMID  27499547. 
8. Casella, G. y Berger, RL (2001). Inferencia estadística. (págs. 287). Duxbury Press.
9. "Apuntes de la clase sobre inferencia estadística" (PDF) . 7 de julio de 2022.

Referencias

• Basu, D. (1988). JK Ghosh (ed.). Información estadística y probabilidad: una colección de ensayos críticos del Dr. D. Basu . Apuntes de clase sobre estadística. Vol. 45. Springer. ISBN 978-0-387-96751-6.Sr. 0953081  .
• Bickel, Peter J. ; Doksum, Kjell A. (2001). Estadística matemática, volumen 1: temas básicos y seleccionados (segunda edición (edición actualizada en 2007) de Holden-Day 1976). Pearson Prentice–Hall. ISBN 978-0-13-850363-5.Sr. 0443141  .
• EL, Lehmann ; Romano, Joseph P. (2005). Prueba de hipótesis estadísticas. Springer Texts in Statistics (tercera edición). Nueva York: Springer. pp. xiv+784. ISBN 978-0-387-98864-1. MR  2135927. Archivado desde el original el 2 de febrero de 2013.
• Lehmann, EL; Scheffé, H. (1950). "Completitud, regiones similares y estimación no sesgada". Sankhyā: la revista india de estadística . 10 (4): 305–340. doi : 10.1007/978-1-4614-1412-4_23 . JSTOR  25048038. MR  0039201.
• Lehmann, EL; Scheffé, H. (1955). "Completitud, regiones similares y estimación no sesgada. II". Sankhyā: The Indian Journal of Statistics . 15 (3): 219–236. doi : 10.1007/978-1-4614-1412-4_24 . JSTOR  25048243. MR  0072410.