Variables aleatorias intercambiables

Concepto en estadística

En estadística , una secuencia intercambiable de variables aleatorias (también a veces intercambiables ) ^[1] es una secuencia X ₁ ,  X ₂ ,  X ₃ , ... (que puede ser finita o infinitamente larga) cuya distribución de probabilidad conjunta no cambia cuando la las posiciones en la secuencia en la que aparecen un número finito de ellos se modifican. En otras palabras, la distribución conjunta es invariante a la permutación finita. Así, por ejemplo, las secuencias

${\displaystyle X_{1},X_{2},X_{3},X_{4},X_{5},X_{6}\quad {\text{ and }}\quad X_{3},X_{6},X_{1},X_{5},X_{2},X_{4}}$

ambos tienen la misma distribución de probabilidad conjunta.

Está estrechamente relacionado con el uso de variables aleatorias independientes y distribuidas idénticamente en modelos estadísticos. Las secuencias intercambiables de variables aleatorias surgen en casos de muestreo aleatorio simple .

Definición

Formalmente, una secuencia intercambiable de variables aleatorias es una secuencia finita o infinita X ₁ ,  X ₂ ,  X ₃ , ... de variables aleatorias tal que para cualquier permutación finita σ de los índices 1, 2, 3, ..., ( la permutación actúa sólo sobre un número finito de índices, y el resto es fijo), la distribución de probabilidad conjunta de la secuencia permutada

${\displaystyle X_{\sigma (1)},X_{\sigma (2)},X_{\sigma (3)},\dots }$

es la misma que la distribución de probabilidad conjunta de la secuencia original. ^{[1] [2]}

(Se dice que una secuencia E ₁ , E ₂ , E ₃ , ... de eventos es intercambiable precisamente si la secuencia de sus funciones indicadoras es intercambiable.) La función de distribución F _{X 1 ,..., X n} ( x ₁ , ..., x _n ) de una secuencia finita de variables aleatorias intercambiables es simétrica en sus argumentos x ₁ , ..., x _n . Olav Kallenberg proporcionó una definición apropiada de intercambiabilidad para procesos estocásticos de tiempo continuo. ^{[3] [4]}

Historia

El concepto fue introducido por William Ernest Johnson en su libro de 1924 Lógica, Parte III: Los fundamentos lógicos de la ciencia . ^[5] La intercambiabilidad equivale al concepto de control estadístico introducido por Walter Shewhart también en 1924. ^{[6] [7]}

Intercambiabilidad y modelo estadístico iid

La propiedad de intercambiabilidad está estrechamente relacionada con el uso de variables aleatorias independientes e idénticamente distribuidas (iid) en modelos estadísticos. ^[8] Una secuencia de variables aleatorias que son iid, condicionadas a alguna forma distributiva subyacente, es intercambiable. Esto se deriva directamente de la estructura de la distribución de probabilidad conjunta generada por la forma iid.

Las mezclas de secuencias intercambiables (en particular, secuencias de variables iid) son intercambiables. Lo contrario se puede establecer para secuencias infinitas, a través de un importante teorema de representación de Bruno de Finetti (posteriormente ampliado por otros teóricos de la probabilidad como Halmos y Savage ). ^[9] Las versiones extendidas del teorema muestran que en cualquier secuencia infinita de variables aleatorias intercambiables, las variables aleatorias son condicionalmente independientes y están distribuidas de manera idéntica , dada la forma distributiva subyacente. Este teorema se expone brevemente a continuación. (El teorema original de De Finetti sólo demostró que esto era cierto para variables indicadoras aleatorias, pero luego se amplió para abarcar todas las secuencias de variables aleatorias). Otra forma de expresar esto es que el teorema de De Finetti caracteriza secuencias intercambiables como mezclas de secuencias iid, mientras que una secuencia intercambiable no necesita ser incondicionalmente iid, puede expresarse como una mezcla de secuencias iid subyacentes. ^[1]

Esto significa que secuencias infinitas de variables aleatorias intercambiables pueden considerarse de manera equivalente como secuencias de variables aleatorias condicionalmente iid, basadas en alguna forma distributiva subyacente. (Tenga en cuenta que esta equivalencia no se cumple del todo para la intercambiabilidad finita. Sin embargo, para vectores finitos de variables aleatorias existe una aproximación cercana al modelo iid). Una secuencia intercambiable infinita es estrictamente estacionaria y, por lo tanto, una ley de grandes números en la forma de Se aplica el teorema de Birkhoff-Khinchin . ^[4] Esto significa que a la distribución subyacente se le puede dar una interpretación operativa como la distribución empírica limitante de la secuencia de valores. La estrecha relación entre secuencias intercambiables de variables aleatorias y la forma iid significa que esta última puede justificarse sobre la base de una intercambiabilidad infinita. Esta noción es central para el desarrollo de la inferencia predictiva de Bruno de Finetti y para la estadística bayesiana . También se puede demostrar que es un supuesto fundamental útil en las estadísticas frecuentistas y que vincula los dos paradigmas. ^[10]

El teorema de representación: esta afirmación se basa en la presentación de O'Neill (2009) en las referencias siguientes. Dada una secuencia infinita de variables aleatorias, definimos la función de distribución empírica límite por ${\displaystyle \mathbf {X} =(X_{1},X_{2},X_{3},\ldots )}$ ${\displaystyle F_{\mathbf {X} }}$

${\displaystyle F_{\mathbf {X} }(x)=\lim _{n\to \infty }{\frac {1}{n}}\sum _{i=1}^{n}I(X_{i}\leq x).}$

(Este es el límite de Cesàro de las funciones del indicador. En los casos en que el límite de Cesàro no existe, esta función en realidad puede definirse como el límite de Banach de las funciones del indicador, que es una extensión de este límite. Este último límite siempre existe para sumas de funciones indicadoras, de modo que la distribución empírica siempre esté bien definida). Esto significa que para cualquier vector de variables aleatorias en la secuencia tenemos una función de distribución conjunta dada por

${\displaystyle \Pr(X_{1}\leq x_{1},X_{2}\leq x_{2},\ldots ,X_{n}\leq x_{n})=\int \prod _{i=1}^{n}F_{\mathbf {X} }(x_{i})\,dP(F_{\mathbf {X} }).}$

Si la función de distribución está indexada por otro parámetro entonces (con las densidades definidas apropiadamente) tenemos ${\displaystyle F_{\mathbf {X} }}$ ${\displaystyle \theta }$

${\displaystyle p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\int \prod _{i=1}^{n}p_{X_{i}}(x_{i}\mid \theta )\,dP(\theta ).}$

Estas ecuaciones muestran la distribución o densidad conjunta caracterizada como una distribución mixta basada en la distribución empírica limitante subyacente (o un parámetro que indexa esta distribución).

Tenga en cuenta que no todas las secuencias finitas intercambiables son mezclas de iid. Para ver esto, considere muestrear sin reemplazo de un conjunto finito hasta que no queden elementos. La secuencia resultante es intercambiable, pero no una mezcla de iid. De hecho, condicionada a todos los demás elementos de la secuencia, el elemento restante es conocido.

Covarianza y correlación

Las secuencias intercambiables tienen algunas propiedades básicas de covarianza y correlación, lo que significa que generalmente están correlacionadas positivamente. Para secuencias infinitas de variables aleatorias intercambiables, la covarianza entre las variables aleatorias es igual a la varianza de la media de la función de distribución subyacente. ^[10] Para secuencias intercambiables finitas, la covarianza también es un valor fijo que no depende de las variables aleatorias particulares de la secuencia. Existe un límite inferior más débil que el de la intercambiabilidad infinita y es posible que exista una correlación negativa.

Covarianza para secuencias intercambiables (infinita): si la secuencia es intercambiable, entonces ${\displaystyle X_{1},X_{2},X_{3},\ldots }$

${\displaystyle \operatorname {cov} (X_{i},X_{j})=\operatorname {var} (\operatorname {E} (X_{i}\mid F_{\mathbf {X} }))=\operatorname {var} (\operatorname {E} (X_{i}\mid \theta ))\geq 0\quad {\text{for }}i\neq j.}$

Covarianza para secuencias intercambiables (finita): si es intercambiable con , entonces ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$ ${\displaystyle \sigma ^{2}=\operatorname {var} (X_{i})}$

${\displaystyle \operatorname {cov} (X_{i},X_{j})\geq -{\frac {\sigma ^{2}}{n-1}}\quad {\text{for }}i\neq j.}$

El resultado de la secuencia finita se puede demostrar de la siguiente manera. Usando el hecho de que los valores son intercambiables, tenemos

${\displaystyle {\begin{aligned}0&\leq \operatorname {var} (X_{1}+\cdots +X_{n})\\&=\operatorname {var} (X_{1})+\cdots +\operatorname {var} (X_{n})+\underbrace {\operatorname {cov} (X_{1},X_{2})+\cdots \quad {}} _{\text{all ordered pairs}}\\&=n\sigma ^{2}+n(n-1)\operatorname {cov} (X_{1},X_{2}).\end{aligned}}}$

Luego podemos resolver la desigualdad para obtener la covarianza y obtener el límite inferior indicado. La no negatividad de la covarianza para la secuencia infinita se puede obtener entonces como resultado límite a partir de este resultado de secuencia finita.

La igualdad del límite inferior para secuencias finitas se logra en un modelo de urna simple: una urna contiene 1 canica roja y n  − 1 canicas verdes, y estas se muestrean sin reemplazo hasta que la urna esté vacía. Sea Xi  = 1 si la canica roja se extrae en el i -ésimo intento y 0 en caso contrario _. Una secuencia finita que alcanza el límite inferior de covarianza no se puede extender a una secuencia intercambiable más larga. ^[11]

Ejemplos

• Cualquier combinación convexa o distribución mixta de secuencias iid de variables aleatorias es intercambiable. Una proposición inversa es el teorema de De Finetti . ^[12]
• Supongamos que una urna contiene canicas rojas y azules. Supongamos que se extraen canicas sin reemplazo hasta que la urna esté vacía. Sea la variable aleatoria indicadora del evento en el que la enésima canica extraída sea roja. Entonces es una secuencia intercambiable. Esta secuencia no se puede ampliar a ninguna secuencia intercambiable más larga. ${\displaystyle n}$ ${\displaystyle m}$ ${\displaystyle X_{i}}$ ${\displaystyle i}$ ${\displaystyle \left\{X_{i}\right\}_{i=1,\dots ,n+m}}$
• Supongamos que una urna contiene canicas rojas y azules. Supongamos además que se extrae una canica de la urna y luego se reemplaza con una canica extra del mismo color. Sea la variable aleatoria indicadora del evento en el que la enésima canica extraída sea roja. Entonces es una secuencia intercambiable. Este modelo se llama urna de Polya . ${\displaystyle n}$ ${\displaystyle m}$ ${\displaystyle X_{i}}$ ${\displaystyle i}$ ${\displaystyle \left\{X_{i}\right\}_{i\in \mathbb {N} }}$
• Tengamos una distribución normal bivariada con parámetros y un coeficiente de correlación arbitrario . Las variables aleatorias y son entonces intercambiables, pero independientes sólo si . La función de densidad es ${\displaystyle (X,Y)}$ ${\displaystyle \mu =0}$ ${\displaystyle \sigma _{x}=\sigma _{y}=1}$ ${\displaystyle \rho \in (-1,1)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \rho =0}$ ${\displaystyle p(x,y)=p(y,x)\propto \exp \left[-{\frac {1}{2(1-\rho ^{2})}}(x^{2}+y^{2}-2\rho xy)\right].}$

Aplicaciones

El extractor de von Neumann es un extractor de aleatoriedad que depende de la intercambiabilidad: proporciona un método para tomar una secuencia intercambiable de 0 y 1 ( ensayos de Bernoulli ), con cierta probabilidad p de 0 y de 1, y producir una secuencia intercambiable (más corta) de 0 y 1 con probabilidad 1/2. ${\displaystyle q=1-p}$

Divida la secuencia en pares que no se superpongan: si los dos elementos del par son iguales (00 u 11), deséchelo; si los dos elementos del par son desiguales (01 o 10), se conserva el primero. Esto produce una secuencia de pruebas de Bernoulli en las que, por intercambiabilidad, las probabilidades de que un par determinado sea 01 o 10 son iguales. ${\displaystyle p=1/2,}$

Las variables aleatorias intercambiables surgen en el estudio de la estadística U , particularmente en la descomposición de Hoeffding. ^[13]

La intercambiabilidad es una suposición clave del método de predicción conforme de inferencia libre de distribución . ^[14]

Ver también

• Remuestreo
• Remuestreo (estadísticas) § Pruebas de permutación , pruebas estadísticas basadas en el intercambio entre grupos

Notas

1. En resumen, el orden de la secuencia de variables aleatorias no afecta su distribución de probabilidad conjunta.
   • Chow, Yuan Shih y Teicher, Henry, Teoría de la probabilidad. Independencia, intercambiabilidad, martingalas, Springer Texts in Statistics, 3.ª ed., Springer, Nueva York, 1997. xxii+488 págs.  ISBN  0-387-98228-0
2. Aldous, David J., Intercambiabilidad y temas relacionados , en: École d'Été de Probabilités de Saint-Flour XIII - 1983, Lecture Notes in Math. 1117, págs. 1–198, Springer, Berlín, 1985. ISBN 978-3-540-15203-3 doi :10.1007/BFb0099421 
3. Diaconis, Persi (2009). "Reseña del libro: simetrías probabilísticas y principios de invariancia (Olav Kallenberg, Springer, Nueva York, 2005)". Boletín de la Sociedad Matemática Estadounidense . Series nuevas. 46 (4): 691–696. doi : 10.1090/S0273-0979-09-01262-2 . SEÑOR  2525743.
4. Kallenberg, O. , Simetrías probabilísticas y principios de invariancia . Springer-Verlag, Nueva York (2005). 510 págs.  ISBN 0-387-25115-4 . 
5. Zabell (1992)
6. Barlow y la ironía (1992)
7. Bergman (2009)
8. Cordani, LK; Wechsler, S. (2006). «Enseñar la independencia y la intercambiabilidad» (PDF) . Actas de la Conferencia Internacional sobre Enseñanza de Estadística . Den Haag: Asociación Internacional para la Educación Estadística.
9. Diaconis, P. (1988). "Progresos recientes en las nociones de intercambiabilidad de De Finetti". En Bernardo, JM ; et al. (eds.). Estadística bayesiana . vol. 3. Prensa de la Universidad de Oxford. págs. 111-125. ISBN 0-19-852220-7.
10. O'Neill, B. (2009). "Intercambiabilidad, correlación y efecto Bayes". Revista estadística internacional . 77 (2): 241–250. doi :10.1111/j.1751-5823.2008.00059.x.
11. Taylor, Robert Lee; Daffer, Peter Z.; Patterson, Ronald F. (1985). Teoremas de límite para sumas de variables aleatorias intercambiables. Rowman y Allanheld. págs. 1-152. ISBN 9780847674350.
12. Spizzichino, Fabio Modelos de probabilidad subjetiva para vidas . Monografías sobre estadística y probabilidad aplicada, 91. Chapman & Hall/CRC , Boca Raton, FL, 2001. xx+248 págs.  ISBN 1-58488-060-0 
13. Borovskikh, Yu. V. (1996). "Capítulo 10 Variables dependientes".Estadísticos U en espacios de Banach . Utrecht: VSP. págs. 365–376. ISBN 90-6764-200-2. SEÑOR  1419498.
14. Shafer, Glenn; Vovk, Vladimir (2008). "Un tutorial sobre predicción conforme". Revista de investigación sobre aprendizaje automático . 9 : 371–421.

Bibliografía

• Aldous, David J., Intercambiabilidad y temas relacionados , en: École d'Été de Probabilités de Saint-Flour XIII — 1983, Lecture Notes in Math. 1117, págs. 1–198, Springer, Berlín, 1985. ISBN 978-3-540-15203-3 doi :10.1007/BFb0099421 
• Barlow, RE & Irony, TZ (1992) "Fundamentos del control de calidad estadístico" en Ghosh, M. & Pathak, PK (eds.) Temas actuales en inferencia estadística: ensayos en honor a D. Basu , Hayward, CA: Instituto de Estadística Matemática, 99-112.
• Bergman, B. (2009) "Pragmatismo conceptualista: ¿un marco para el análisis bayesiano?", IIE Transactions , 41 , 86–93
• Borovskikh, Yu. V. (1996).Estadísticos U en espacios de Banach . Utrecht: VSP. págs. xii+420. ISBN 90-6764-200-2. SEÑOR  1419498.
• Chow, Yuan Shih y Teicher, Henry, Teoría de la probabilidad. Independencia, intercambiabilidad, martingalas, Springer Texts in Statistics, 3.ª ed., Springer, Nueva York, 1997. xxii+488 págs.  ISBN 0-387-98228-0 
• Diaconis, Persi (2009). "Reseña del libro: simetrías probabilísticas y principios de invariancia (Olav Kallenberg, Springer, Nueva York, 2005)". Boletín de la Sociedad Matemática Estadounidense . Series nuevas. 46 (4): 691–696. doi : 10.1090/S0273-0979-09-01262-2 . SEÑOR  2525743.
• Kallenberg, O. , Simetrías probabilísticas y principios de invariancia . Springer-Verlag, Nueva York (2005). 510 págs.  ISBN 0-387-25115-4 . 
• Kingman, JFC, Usos de la intercambiabilidad , Ann. Probabilidad 6 (1978) 83–197 SEÑOR 494344 JSTOR  2243211
• O'Neill, B. (2009) Intercambiabilidad, correlación y efecto Bayes. Revista estadística internacional 77 (2) , págs. ISBN 978-3-540-15203-3 doi :10.1111/j.1751-5823.2008.00059.x 
• Taylor, Robert Lee; Daffer, Peter Z.; Patterson, Ronald F. (1985). Teoremas de límite para sumas de variables aleatorias intercambiables. Rowman y Allanheld. págs. 1–152. ISBN 9780847674350.
• Zabell, SL (1988) "La simetría y sus descontentos", en Skyrms, B. & Harper, WL Causation, Chance and Credence, págs. 155-190, Kluwer
• Zabell, SL (1992). "Predecir lo impredecible". Síntesis . 90 (2): 205. doi : 10.1007/bf00485351. S2CID  9416747.