Integridad (estadísticas)

Término estadístico

En estadística , la integridad es una propiedad de una estadística en relación con un modelo parametrizado para un conjunto de datos observados.

Una estadística T completa es aquella para la cual cualquier distribución propuesta en el dominio de T es predicha por una o más distribuciones previas en el espacio de parámetros del modelo. En otras palabras, el espacio modelo es "lo suficientemente rico" como para que cada distribución posible de T pueda explicarse mediante alguna distribución previa en el espacio de parámetros del modelo. Por el contrario, una estadística T suficiente es aquella para la cual dos distribuciones anteriores cualesquiera producirán distribuciones diferentes en T. (Esta última afirmación supone que el espacio modelo es identificable , es decir, que no hay valores de parámetros "duplicados". Este es un punto menor .)

Dicho de otra manera: supongamos que tenemos un espacio modelo identificable parametrizado por y una estadística (que en realidad es solo una función de una o más variables aleatorias iid extraídas del modelo). Luego considere el mapa que lleva cada distribución del parámetro del modelo a su distribución inducida en la estadística . Se dice que la estadística es completa cuando es sobreyectiva y suficiente cuando es inyectiva. ${\displaystyle \theta }$ ${\displaystyle T}$ ${\displaystyle f:p_{\theta }\mapsto p_{T|\theta }}$ ${\displaystyle \theta }$ ${\displaystyle T}$ ${\displaystyle T}$ ${\displaystyle f}$ ${\displaystyle f}$

Definición

Considere una variable aleatoria X cuya distribución de probabilidad pertenece a un modelo paramétrico P _θ parametrizado por  θ .

Digamos que T es una estadística ; es decir, la composición de una función medible con una muestra aleatoria X ₁ ,..., X _n .

Se dice que el estadístico T es completo para la distribución de X si, para cada función medible g, ^[1]

${\displaystyle {\text{if }}\operatorname {E} _{\theta }(g(T))=0{\text{ for all }}\theta {\text{ then }}\mathbf {P} _{\theta }(g(T)=0)=1{\text{ for all }}\theta .}$

Se dice que el estadístico T es acotado completo para la distribución de X si esta implicación es válida para toda función medible g que también sea acotada.

Ejemplo 1: modelo de Bernoulli

El modelo de Bernoulli admite una estadística completa. ^[2] Sea X una muestra aleatoria de tamaño n tal que cada X _i tenga la misma distribución de Bernoulli con parámetro p . Sea T el número de unos observados en la muestra, es decir . T es una estadística de X que tiene una distribución binomial con parámetros ( n , p ). Si el espacio de parámetros para p es (0,1), entonces T es una estadística completa. Para ver esto, tenga en cuenta que ${\displaystyle \textstyle T=\sum _{i=1}^{n}X_{i}}$

${\displaystyle \operatorname {E} _{p}(g(T))=\sum _{t=0}^{n}{g(t){n \choose t}p^{t}(1-p)^{n-t}}=(1-p)^{n}\sum _{t=0}^{n}{g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}}.}$

Observe también que ni p ni 1 −  p pueden ser 0. Por tanto, si y sólo si: ${\displaystyle E_{p}(g(T))=0}$

${\displaystyle \sum _{t=0}^{n}g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}=0.}$

Al denotar p /(1 −  p ) por r , se obtiene:

${\displaystyle \sum _{t=0}^{n}g(t){n \choose t}r^{t}=0.}$

Primero, observe que el rango de r son los reales positivos . Además, E( g ( T )) es un polinomio en r y, por lo tanto, sólo puede ser idéntico a 0 si todos los coeficientes son 0, es decir, g ( t ) = 0 para todo  t .

Es importante notar que el resultado de que todos los coeficientes deben ser 0 se obtuvo debido al rango de r . Si el espacio de parámetros hubiera sido finito y con un número de elementos menor o igual a n , sería posible resolver las ecuaciones lineales en g ( t ) obtenidas sustituyendo los valores de r y obtener soluciones diferentes de 0. Por ejemplo, si n = 1 y el espacio de parámetros es {0,5}, una sola observación y un solo valor de parámetro, T no está completo. Observe que, con la definición:

${\displaystyle g(t)=2(t-0.5),\,}$

entonces, E( g ( T )) = 0 aunque g ( t ) no es 0 para t = 0 ni para t = 1.

Ejemplo 2: suma de normales

Este ejemplo mostrará que, en una muestra X ₁ ,  X ₂ de tamaño 2 de una distribución normal con varianza conocida, el estadístico X ₁  +  X ₂ es completo y suficiente. Supongamos que ( X ₁ , X ₂ ) son variables aleatorias independientes , distribuidas idénticamente, normalmente distribuidas con expectativa θ y varianza 1. La suma

${\displaystyle s((X_{1},X_{2}))=X_{1}+X_{2}\,\!}$

es una estadística completa para θ .

Para demostrar esto, es suficiente demostrar que no existe una función distinta de cero tal que la expectativa de ${\displaystyle g}$

${\displaystyle g(s(X_{1},X_{2}))=g(X_{1}+X_{2})\,\!}$

permanece cero independientemente del valor de θ .

Ese hecho puede verse de la siguiente manera. La distribución de probabilidad de X ₁  +  X ₂ es normal con expectativa 2 θ y varianza 2. Por lo tanto, su función de densidad de probabilidad es proporcional a ${\displaystyle x}$

${\displaystyle \exp \left(-(x-2\theta )^{2}/4\right).}$

Por lo tanto , la expectativa de g anterior sería una constante multiplicada por

${\displaystyle \int _{-\infty }^{\infty }g(x)\exp \left(-(x-2\theta )^{2}/4\right)\,dx.}$

Un poco de álgebra reduce esto a

${\displaystyle k(\theta )\int _{-\infty }^{\infty }h(x)e^{x\theta }\,dx\,\!}$

donde k ( θ ) no es cero en ninguna parte y

${\displaystyle h(x)=g(x)e^{-x^{2}/4}.\,\!}$

Como función de θ, esta es una transformada de Laplace bilateral de h ( X ), y no puede ser idénticamente cero a menos que h ( x ) sea cero en casi todas partes. ^[3] El exponencial no es cero, por lo que esto sólo puede suceder si g ( x ) es cero en casi todas partes.

Relación con estadísticas suficientes

Para algunas familias paramétricas, no existe una estadística suficiente completa (por ejemplo, ver Galili y Meilijson 2016 ^[4] ).

Por ejemplo, si toma una muestra de tamaño n  > 2 de una distribución N (θ,θ ² ), entonces es un estadístico mínimo suficiente y es función de cualquier otro estadístico mínimo suficiente, pero tiene una expectativa de 0 para todo θ, por lo que no puede haber una estadística completa. ${\displaystyle \left(\sum _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}^{2}\right)}$ ${\displaystyle 2\left(\sum _{i=1}^{n}X_{i}\right)^{2}-(n+1)\sum _{i=1}^{n}X_{i}^{2}}$

Si hay una estadística mínima suficiente, entonces cualquier estadística suficiente completa también es mínima suficiente. Pero hay casos patológicos en los que no existe una estadística mínima suficiente, incluso si existe una estadística completa.

Importancia de la integridad

La noción de completitud tiene muchas aplicaciones en estadística, particularmente en los dos teoremas siguientes de estadística matemática.

Teorema de Lehmann-Scheffé

La completitud ocurre en el teorema de Lehmann-Scheffé , ^[5] que establece que si una estadística es insesgada, completa y suficiente para algún parámetro θ , entonces es el mejor estimador insesgado medio para  θ . En otras palabras, esta estadística tiene una pérdida esperada menor para cualquier función de pérdida convexa ; En muchas aplicaciones prácticas con la función de pérdida al cuadrado, tiene un error cuadrático medio más pequeño entre cualquier estimador con el mismo valor esperado .

Existen ejemplos de que cuando la estadística mínima suficiente no está completa , existen varias estadísticas alternativas para la estimación insesgada de θ , mientras que algunas de ellas tienen una varianza menor que otras. ^[6]

Véase también estimador insesgado de varianza mínima .

teorema de basu

La completitud acotada ocurre en el teorema de Basu , ^[7] que establece que una estadística que es a la vez completa y suficiente acotada es independiente de cualquier estadística auxiliar .

teorema de bahadur

La completitud acotada también ocurre en el teorema de Bahadur. En el caso en que exista al menos una estadística mínima suficiente , una estadística que sea suficiente y limitadamente completa, es necesariamente mínima suficiente. Otra forma del teorema de Bahadur establece que cualquier estadística suficiente y acotadamente completa en un espacio de coordenadas de dimensión finita también es mínimamente suficiente. ^[8]

Notas

1. Young, GA y Smith, RL (2005). Fundamentos de la inferencia estadística. (pág. 94). Prensa de la Universidad de Cambridge.
2. Casella, G. y Berger, RL (2001). Inferencia estadística. (págs. 285–286). Prensa de Duxbury.
3. Orloff, Jeremy. "Singularidad de la transformada de Laplace" (PDF) .
4. Tal Galili; Isaac Meilijson (31 de marzo de 2016). "Un ejemplo de una mejora Rao-Blackwell mejorable, un estimador de máxima verosimilitud ineficiente y un estimador de Bayes generalizado imparcial". El estadístico estadounidense . 70 (1): 108-113. doi :10.1080/00031305.2015.1100683. PMC 4960505 . PMID  27499547. 
5. Casella, George; Berger, Roger L. (2001). Inferencia estadística (2ª ed.). Prensa de Duxbury. ISBN 978-0534243128.
6. Tal Galili; Isaac Meilijson (31 de marzo de 2016). "Un ejemplo de una mejora Rao-Blackwell mejorable, un estimador de máxima verosimilitud ineficiente y un estimador de Bayes generalizado imparcial". El estadístico estadounidense . 70 (1): 108-113. doi :10.1080/00031305.2015.1100683. PMC 4960505 . PMID  27499547. 
7. Casella, G. y Berger, RL (2001). Inferencia estadística. (págs. 287). Prensa de Duxbury.
8. "Notas de la conferencia sobre inferencia estadística" (PDF) . 7 de julio de 2022.

Referencias

• Basu, D. (1988). JK Ghosh (ed.). Información estadística y probabilidad: una colección de ensayos críticos del Dr. D. Basu . Apuntes de conferencias sobre estadística. vol. 45. Saltador. ISBN 978-0-387-96751-6. SEÑOR  0953081.
• Bickel, Peter J .; Doksum, Kjell A. (2001). Estadística matemática, Volumen 1: Temas básicos y seleccionados (Segundo (impresión actualizada en 2007) de la edición de Holden-Day de 1976). Pearson Prentice-Hall. ISBN 978-0-13-850363-5. SEÑOR  0443141.
• EL, Lehmann ; Romano, José P. (2005). Prueba de hipótesis estadísticas. Textos de Springer en estadística (Tercera ed.). Nueva York: Springer. págs. xiv+784. ISBN 978-0-387-98864-1. SEÑOR  2135927. Archivado desde el original el 2 de febrero de 2013.
• Lehmann, EL; Scheffé, H. (1950). "Integridad, regiones similares y estimación imparcial. I." Sankhyā: la revista india de estadística . 10 (4): 305–340. doi : 10.1007/978-1-4614-1412-4_23 . JSTOR  25048038. SEÑOR  0039201.
• Lehmann, EL; Scheffé, H. (1955). "Integridad, regiones similares y estimación imparcial. II". Sankhyā: La revista india de estadística . 15 (3): 219–236. doi : 10.1007/978-1-4614-1412-4_24 . JSTOR  25048243. SEÑOR  0072410.