Variables aleatorias intercambiables

Concepto en estadística

En estadística , una secuencia intercambiable de variables aleatorias (también a veces intercambiable ) ^[1] es una secuencia X ₁ ,  X ₂ ,  X ₃ , ... (que puede ser finita o infinitamente larga) cuya distribución de probabilidad conjunta no cambia cuando se alteran las posiciones en la secuencia en la que aparecen un número finito de ellas. En otras palabras, la distribución conjunta es invariante a la permutación finita. Así, por ejemplo, las secuencias

${\displaystyle X_{1},X_{2},X_{3},X_{4},X_{5},X_{6}\quad {\text{ and }}\quad X_{3},X_{6},X_{1},X_{5},X_{2},X_{4}}$

Ambos tienen la misma distribución de probabilidad conjunta.

Está estrechamente relacionado con el uso de variables aleatorias independientes e idénticamente distribuidas en modelos estadísticos. Las secuencias intercambiables de variables aleatorias surgen en casos de muestreo aleatorio simple .

Definición

Formalmente, una secuencia intercambiable de variables aleatorias es una secuencia finita o infinita X ₁ ,  X ₂ ,  X ₃ , ... de variables aleatorias tales que para cualquier permutación finita σ de los índices 1, 2, 3, ..., (la permutación actúa solo sobre un número finito de índices, con el resto fijo), la distribución de probabilidad conjunta de la secuencia permutada

${\displaystyle X_{\sigma (1)},X_{\sigma (2)},X_{\sigma (3)},\dots }$

es la misma que la distribución de probabilidad conjunta de la secuencia original. ^{[1] [2]}

(Se dice que una secuencia E ₁ , E ₂ , E ₃ , ... de eventos es intercambiable precisamente si la secuencia de sus funciones indicadoras es intercambiable.) La función de distribución F _{X 1 ,..., X n} ( x ₁ , ..., x _n ) de una secuencia finita de variables aleatorias intercambiables es simétrica en sus argumentos x ₁ , ..., x _n . Olav Kallenberg proporcionó una definición apropiada de intercambiabilidad para procesos estocásticos de tiempo continuo. ^{[3] [4]}

Historia

El concepto fue introducido por William Ernest Johnson en su libro de 1924 Logic, Part III: The Logical Foundations of Science . ^[5] La intercambiabilidad es equivalente al concepto de control estadístico introducido por Walter Shewhart también en 1924. ^{[6] [7]}

Intercambiabilidad y el modelo estadístico iid

La propiedad de intercambiabilidad está estrechamente relacionada con el uso de variables aleatorias independientes e idénticamente distribuidas (iid) en modelos estadísticos. ^[8] Una secuencia de variables aleatorias que son iid, condicionales a alguna forma distribucional subyacente, es intercambiable. Esto se desprende directamente de la estructura de la distribución de probabilidad conjunta generada por la forma iid.

Las mezclas de secuencias intercambiables (en particular, secuencias de variables iid) son intercambiables. Lo inverso se puede establecer para secuencias infinitas, a través de un importante teorema de representación de Bruno de Finetti (más tarde ampliado por otros teóricos de la probabilidad como Halmos y Savage ). ^[9] Las versiones extendidas del teorema muestran que en cualquier secuencia infinita de variables aleatorias intercambiables, las variables aleatorias son condicionalmente independientes e idénticamente distribuidas , dada la forma distribucional subyacente. Este teorema se enuncia brevemente a continuación. (El teorema original de De Finetti solo mostraba que esto era cierto para las variables indicadoras aleatorias, pero más tarde se amplió para abarcar todas las secuencias de variables aleatorias). Otra forma de decirlo es que el teorema de De Finetti caracteriza las secuencias intercambiables como mezclas de secuencias iid: si bien una secuencia intercambiable no necesita ser incondicionalmente iid, se puede expresar como una mezcla de secuencias iid subyacentes. ^[1]

Esto significa que las secuencias infinitas de variables aleatorias intercambiables pueden considerarse equivalentes a secuencias de variables aleatorias iid condicionales, con base en alguna forma distribucional subyacente. (Nótese que esta equivalencia no se cumple del todo para la intercambiabilidad finita. Sin embargo, para vectores finitos de variables aleatorias hay una aproximación cercana al modelo iid). Una secuencia intercambiable infinita es estrictamente estacionaria y por lo tanto se aplica una ley de grandes números en la forma del teorema de Birkhoff-Khinchin . ^[4] Esto significa que la distribución subyacente puede recibir una interpretación operativa como la distribución empírica límite de la secuencia de valores. La estrecha relación entre las secuencias intercambiables de variables aleatorias y la forma iid significa que esta última puede justificarse sobre la base de la intercambiabilidad infinita. Esta noción es central para el desarrollo de la inferencia predictiva de Bruno de Finetti y para las estadísticas bayesianas . También puede demostrarse que es un supuesto fundacional útil en las estadísticas frecuentistas y para vincular los dos paradigmas. ^[10]

El teorema de representación: Esta afirmación se basa en la presentación de O'Neill (2009) en las referencias que aparecen a continuación. Dada una secuencia infinita de variables aleatorias, definimos la función de distribución empírica límite mediante ${\displaystyle \mathbf {X} =(X_{1},X_{2},X_{3},\ldots )}$ ${\displaystyle F_{\mathbf {X} }}$

${\displaystyle F_{\mathbf {X} }(x)=\lim _{n\to \infty }{\frac {1}{n}}\sum _{i=1}^{n}I(X_{i}\leq x).}$

(Éste es el límite de Cesàro de las funciones indicadoras. En los casos en que el límite de Cesàro no existe, esta función puede definirse en realidad como el límite de Banach de las funciones indicadoras, que es una extensión de este límite. Este último límite siempre existe para las sumas de funciones indicadoras, de modo que la distribución empírica siempre está bien definida). Esto significa que para cualquier vector de variables aleatorias en la secuencia tenemos una función de distribución conjunta dada por

${\displaystyle \Pr(X_{1}\leq x_{1},X_{2}\leq x_{2},\ldots ,X_{n}\leq x_{n})=\int \prod _{i=1}^{n}F_{\mathbf {X} }(x_{i})\,dP(F_{\mathbf {X} }).}$

Si la función de distribución está indexada por otro parámetro entonces (con densidades definidas apropiadamente) tenemos ${\displaystyle F_{\mathbf {X} }}$ ${\displaystyle \theta }$

${\displaystyle p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\int \prod _{i=1}^{n}p_{X_{i}}(x_{i}\mid \theta )\,dP(\theta ).}$

Estas ecuaciones muestran la distribución conjunta o densidad caracterizada como una distribución de mezcla basada en la distribución empírica limitante subyacente (o un parámetro que indexa esta distribución).

Nótese que no todas las secuencias finitas intercambiables son mezclas de iid. Para ver esto, considere tomar muestras sin reemplazo de un conjunto finito hasta que no queden elementos. La secuencia resultante es intercambiable, pero no una mezcla de iid. De hecho, condicionado a todos los demás elementos en la secuencia, se conoce el elemento restante.

Covarianza y correlación

Las secuencias intercambiables tienen algunas propiedades básicas de covarianza y correlación, lo que significa que generalmente están correlacionadas positivamente. Para secuencias infinitas de variables aleatorias intercambiables, la covarianza entre las variables aleatorias es igual a la varianza de la media de la función de distribución subyacente. ^[10] Para secuencias intercambiables finitas, la covarianza también es un valor fijo que no depende de las variables aleatorias particulares en la secuencia. Existe un límite inferior más débil que para la intercambiabilidad infinita y es posible que exista correlación negativa.

Covarianza para secuencias intercambiables (infinitas): Si la secuencia es intercambiable, entonces ${\displaystyle X_{1},X_{2},X_{3},\ldots }$

${\displaystyle \operatorname {cov} (X_{i},X_{j})=\operatorname {var} (\operatorname {E} (X_{i}\mid F_{\mathbf {X} }))=\operatorname {var} (\operatorname {E} (X_{i}\mid \theta ))\geq 0\quad {\text{for }}i\neq j.}$

Covarianza para secuencias intercambiables (finitas): Si es intercambiable con , entonces ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$ ${\displaystyle \sigma ^{2}=\operatorname {var} (X_{i})}$

${\displaystyle \operatorname {cov} (X_{i},X_{j})\geq -{\frac {\sigma ^{2}}{n-1}}\quad {\text{for }}i\neq j.}$

El resultado de la sucesión finita se puede demostrar de la siguiente manera. Utilizando el hecho de que los valores son intercambiables, tenemos

${\displaystyle {\begin{aligned}0&\leq \operatorname {var} (X_{1}+\cdots +X_{n})\\&=\operatorname {var} (X_{1})+\cdots +\operatorname {var} (X_{n})+\underbrace {\operatorname {cov} (X_{1},X_{2})+\cdots \quad {}} _{\text{all ordered pairs}}\\&=n\sigma ^{2}+n(n-1)\operatorname {cov} (X_{1},X_{2}).\end{aligned}}}$

Podemos entonces resolver la desigualdad para la covarianza, obteniendo el límite inferior indicado. La no negatividad de la covarianza para la secuencia infinita puede entonces obtenerse como un resultado límite a partir de este resultado de secuencia finita.

La igualdad del límite inferior para secuencias finitas se logra en un modelo de urna simple: una urna contiene 1 canica roja y n  − 1 canicas verdes, y estas se muestrean sin reemplazo hasta que la urna esté vacía. Sea X _i  = 1 si la canica roja se extrae en el i -ésimo intento y 0 en caso contrario. Una secuencia finita que alcanza el límite inferior de covarianza no se puede extender a una secuencia intercambiable más larga. ^[11]

Ejemplos

• Cualquier combinación convexa o distribución mixta de secuencias iid de variables aleatorias es intercambiable. Una proposición inversa es el teorema de De Finetti . ^[12]
• Supongamos que una urna contiene canicas rojas y azules. Supongamos que se extraen canicas sin reposición hasta que la urna está vacía. Sea la variable aleatoria indicadora del evento de que la canica extraída sea roja. Entonces es una secuencia intercambiable. Esta secuencia no se puede extender a ninguna secuencia intercambiable más larga. ${\displaystyle n}$ ${\displaystyle m}$ ${\displaystyle X_{i}}$ ${\displaystyle i}$ ${\displaystyle \left\{X_{i}\right\}_{i=1,\dots ,n+m}}$
• Supongamos que una urna contiene canicas rojas y azules. Supongamos además que se extrae una canica de la urna y luego se reemplaza por otra canica del mismo color. Sea la variable aleatoria indicadora del evento de que la canica extraída sea roja. Entonces es una secuencia intercambiable. Este modelo se llama urna de Polya . ${\displaystyle n}$ ${\displaystyle m}$ ${\displaystyle X_{i}}$ ${\displaystyle i}$ ${\displaystyle \left\{X_{i}\right\}_{i\in \mathbb {N} }}$
• Sea una distribución normal bivariada con parámetros , y un coeficiente de correlación arbitrario . Las variables aleatorias y son entonces intercambiables, pero independientes solo si . La función de densidad es ${\displaystyle (X,Y)}$ ${\displaystyle \mu =0}$ ${\displaystyle \sigma _{x}=\sigma _{y}=1}$ ${\displaystyle \rho \in (-1,1)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \rho =0}$ ${\displaystyle p(x,y)=p(y,x)\propto \exp \left[-{\frac {1}{2(1-\rho ^{2})}}(x^{2}+y^{2}-2\rho xy)\right].}$

Aplicaciones

El extractor de von Neumann es un extractor de aleatoriedad que depende de la intercambiabilidad: proporciona un método para tomar una secuencia intercambiable de 0 y 1 ( ensayos de Bernoulli ), con una probabilidad p de 0 y de 1, y producir una secuencia intercambiable (más corta) de 0 y 1 con probabilidad 1/2. ${\displaystyle q=1-p}$

Divida la secuencia en pares que no se superpongan: si los dos elementos del par son iguales (00 u 11), deséchelo; si los dos elementos del par son desiguales (01 o 10), conserve el primero. Esto produce una secuencia de ensayos de Bernoulli con , ya que, por intercambiabilidad, las probabilidades de que un par dado sea 01 o 10 son iguales. ${\displaystyle p=1/2,}$

Las variables aleatorias intercambiables surgen en el estudio de las estadísticas U , particularmente en la descomposición de Hoeffding. ^[13]

La intercambiabilidad es un supuesto clave del método de inferencia sin distribución de predicción conforme . ^[14]

Véase también

• Teorema de De Finetti
• Ley cero-uno de Hewitt-Savage
• Remuestreo
• Remuestreo (estadística) § Pruebas de permutación , pruebas estadísticas basadas en el intercambio entre grupos

Referencias

1. En resumen, el orden de la secuencia de variables aleatorias no afecta su distribución de probabilidad conjunta.
   • Chow, Yuan Shih y Teicher, Henry, Teoría de la probabilidad. Independencia, intercambiabilidad, martingalas, Springer Texts in Statistics, 3.ª ed., Springer, Nueva York, 1997. xxii+488 pp.  ISBN  0-387-98228-0
2. Aldous, David J., Intercambiabilidad y temas relacionados , en: École d'Été de Probabilités de Saint-Flour XIII - 1983, Lecture Notes in Math. 1117, págs. 1–198, Springer, Berlín, 1985. ISBN 978-3-540-15203-3 doi :10.1007/BFb0099421 
3. Diaconis, Persi (2009). "Reseña de libro: Simetrías probabilísticas y principios de invariancia (Olav Kallenberg, Springer, Nueva York, 2005)". Boletín de la American Mathematical Society . Nueva serie. 46 (4): 691–696. doi : 10.1090/S0273-0979-09-01262-2 . MR  2525743.
4. Kallenberg, O. , Simetrías probabilísticas y principios de invariancia . Springer-Verlag, Nueva York (2005). 510 pp.  ISBN 0-387-25115-4 . 
5. Zabell, SL (1992). "Predicción de lo impredecible". Synthese . 90 (2): 205. doi :10.1007/bf00485351. S2CID  9416747.
6. Barlow, RE y Irony, TZ (1992) "Fundamentos del control de calidad estadístico" en Ghosh, M. y Pathak, PK (eds.) Temas actuales en inferencia estadística: ensayos en honor a D. Basu , Hayward, CA: Instituto de Estadística Matemática, 99-112.
7. Bergman, B. (2009) "Pragmatismo conceptualista: ¿Un marco para el análisis bayesiano?", IIE Transactions , 41 , 86–93
8. Cordani, LK; Wechsler, S. (2006). "Teaching independent and exchangeability" (PDF) . Actas de la Conferencia Internacional sobre Enseñanza de la Estadística . La Haya: Asociación Internacional para la Educación Estadística.
9. Diaconis, P. (1988). "Progresos recientes en las nociones de intercambiabilidad de De Finetti". En Bernardo, JM ; et al. (eds.). Estadística bayesiana . Vol. 3. Oxford University Press. pp. 111–125. ISBN 0-19-852220-7.
10. O'Neill, B. (2009). "Intercambiabilidad, correlación y efecto de Bayes". Revista estadística internacional . 77 (2): 241–250. doi :10.1111/j.1751-5823.2008.00059.x.
11. Taylor, Robert Lee; Daffer, Peter Z.; Patterson, Ronald F. (1985). Teoremas del límite para sumas de variables aleatorias intercambiables. Rowman y Allanheld. pp. 1–152. ISBN 9780847674350.
12. Spizzichino, Fabio Modelos de probabilidad subjetiva para tiempos de vida . Monografías sobre estadística y probabilidad aplicada, 91. Chapman & Hall/CRC , Boca Raton, FL, 2001. xx+248 pp.  ISBN 1-58488-060-0 
13. Borovskikh, Yu. V. (1996). "Capítulo 10 Variables dependientes".Estadísticas U en espacios de Banach . Utrecht: VSP. pp. 365–376. ISBN 90-6764-200-2.Señor 1419498  .
14. Shafer, Glenn; Vovk, Vladimir (2008). "Un tutorial sobre predicción conforme". Revista de investigación en aprendizaje automático . 9 : 371–421.

Lectura adicional

• Aldous, David J., Intercambiabilidad y temas relacionados , en: École d'Été de Probabilités de Saint-Flour XIII — 1983, Lecture Notes in Math. 1117, págs. 1–198, Springer, Berlín, 1985. ISBN 978-3-540-15203-3 doi :10.1007/BFb0099421 
• Chow, Yuan Shih y Teicher, Henry, Teoría de la probabilidad. Independencia, intercambiabilidad, martingalas, Springer Texts in Statistics, 3.ª ed., Springer, Nueva York, 1997. xxii+488 pp.  ISBN 0-387-98228-0 
• Dawid, A. Philip (2013). "Intercambiabilidad y sus ramificaciones". En Damien, Paul; et al. (eds.). Teoría y aplicaciones bayesianas . Oxford University Press. págs. 19–30. ISBN 978-0-19-969560-7.
• Kallenberg, O. , Simetrías probabilísticas y principios de invariancia . Springer-Verlag, Nueva York (2005). 510 pp.  ISBN 0-387-25115-4 . 
• Kingman, JFC, Usos de la intercambiabilidad , Ann. Probability 6 (1978) 83–197 MR 494344 JSTOR  2243211
• O'Neill, B. (2009) Intercambiabilidad, correlación y efecto de Bayes. International Statistical Review 77(2) , págs. 241–250. ISBN 978-3-540-15203-3 doi :10.1111/j.1751-5823.2008.00059.x 
• Taylor, Robert Lee; Daffer, Peter Z.; Patterson, Ronald F. (1985). Teoremas del límite para sumas de variables aleatorias intercambiables. Rowman y Allanheld. pp. 1–152. ISBN 9780847674350.