Teorema de De Finetti

Independencia condicional de las observaciones intercambiables

En teoría de la probabilidad , el teorema de De Finetti establece que las observaciones intercambiables son condicionalmente independientes en relación con alguna variable latente . A esta variable se le podría asignar una distribución de probabilidad epistémica . Recibe su nombre en honor a Bruno de Finetti .

Para el caso especial de una secuencia intercambiable de variables aleatorias de Bernoulli , se establece que dicha secuencia es una " mezcla " de secuencias de variables aleatorias de Bernoulli independientes e idénticamente distribuidas (iid).

Una secuencia de variables aleatorias se denomina intercambiable si la distribución conjunta de la secuencia no cambia ante ninguna permutación de los índices. En general, si bien las variables de la secuencia intercambiable no son independientes en sí mismas , sino solo intercambiables, existe una familia subyacente de variables aleatorias iid. Es decir, existen cantidades subyacentes, generalmente no observables, que son iid: las secuencias intercambiables son mezclas de secuencias iid.

Fondo

Un estadístico bayesiano suele buscar la distribución de probabilidad condicional de una cantidad aleatoria dada la información. El concepto de intercambiabilidad fue introducido por De Finetti. El teorema de De Finetti explica una relación matemática entre independencia e intercambiabilidad. ^[1]

Una secuencia infinita

${\displaystyle X_{1},X_{2},X_{3},\dots }$

Se dice que una variable aleatoria es intercambiable si para cualquier número natural n y cualquier secuencia finita i ₁ , ..., i _n y cualquier permutación de la secuencia π:{ i ₁ , ..., i _n } → { i ₁ , ..., i _n },

${\displaystyle (X_{i_{1}},\dots ,X_{i_{n}}){\text{ and }}(X_{\pi (i_{1})},\dots ,X_{\pi (i_{n})})}$

Ambos tienen la misma distribución de probabilidad conjunta .

Si una secuencia distribuida de forma idéntica es independiente , entonces la secuencia es intercambiable; sin embargo, lo inverso es falso: existen variables aleatorias intercambiables que no son estadísticamente independientes, por ejemplo, el modelo de urna de Pólya .

Enunciado del teorema

Una variable aleatoria X tiene una distribución de Bernoulli si Pr( X  = 1) =  p y Pr( X  = 0) = 1 −  p para algún p  ∈ (0, 1).

El teorema de De Finetti establece que la distribución de probabilidad de cualquier secuencia infinita intercambiable de variables aleatorias de Bernoulli es una " mezcla " de las distribuciones de probabilidad de secuencias independientes e idénticamente distribuidas de variables aleatorias de Bernoulli. "Mezcla", en este sentido, significa un promedio ponderado, pero esto no necesariamente significa un promedio ponderado finito o infinitamente numerable (es decir, discreto): puede ser una integral sobre una medida en lugar de una suma.

Más precisamente, supongamos que X ₁ , X ₂ , X ₃ , ... es una secuencia infinita intercambiable de variables aleatorias distribuidas según Bernoulli. Entonces existe una medida de probabilidad m en el intervalo [0, 1] y una variable aleatoria Y tal que

• La medida de probabilidad de Y es m , y
• La distribución de probabilidad condicional de toda la secuencia X ₁ , X ₂ , X ₃ , ... dado el valor de Y se describe diciendo que
  • X ₁ , X ₂ , X ₃ , ... son condicionalmente independientes dado Y , y
  • Para cualquier i ∈ {1, 2, 3, ...}, la probabilidad condicional de que X _i = 1, dado el valor de Y , es Y .

Otra forma de enunciar el teorema

Supongamos que hay una secuencia infinita intercambiable de variables aleatorias de Bernoulli. Entonces son condicionalmente independientes y se distribuyen de manera idéntica dada la sigma-álgebra intercambiable (es decir, la sigma-álgebra que consiste en eventos que son medibles con respecto a e invariantes bajo permutaciones finitas de los índices). ${\displaystyle X_{1},X_{2},X_{3},\ldots }$ ${\displaystyle X_{1},X_{2},X_{3},\ldots }$ ${\displaystyle X_{1},X_{2},\ldots }$

Ejemplo

He aquí un ejemplo concreto: construimos una secuencia

${\displaystyle X_{1},X_{2},X_{3},\dots }$

de variables aleatorias, "mezclando" dos secuencias iid de la siguiente manera.

Suponemos p = 2/3 con probabilidad 1/2 y p = 9/10 con probabilidad 1/2. Dado el evento p = 2/3, la distribución condicional de la secuencia es que los X _i son independientes e idénticamente distribuidos y X ₁  = 1 con probabilidad 2/3 y X ₁  = 0 con probabilidad 1 − 2/3. Dado el evento p  = 9/10, la distribución condicional de la secuencia es que los X _i son independientes e idénticamente distribuidos y X ₁ = 1 con probabilidad 9/10 y X ₁  = 0 con probabilidad 1 − 9/10.

Esto se puede interpretar de la siguiente manera: haga dos monedas sesgadas, una que muestre "cara" con una probabilidad de 2/3 y otra que muestre "cara" con una probabilidad de 9/10. Lance una moneda justa una vez para decidir qué moneda sesgada usar para todos los lanzamientos que se registren. Aquí, "cara" en el lanzamiento i significa X _i = 1.

La independencia que se afirma aquí es condicional , es decir, las variables aleatorias de Bernoulli en la secuencia son condicionalmente independientes dado el evento de que p  = 2/3, y son condicionalmente independientes dado el evento de que p  = 9/10. Pero no son incondicionalmente independientes; están correlacionadas positivamente .

En vista de la fuerte ley de los grandes números , podemos decir que

${\displaystyle \lim _{n\rightarrow \infty }{\frac {X_{1}+\cdots +X_{n}}{n}}={\begin{cases}2/3&{\text{with probability }}1/2,\\9/10&{\text{with probability }}1/2.\end{cases}}}$

En lugar de concentrar la probabilidad 1/2 en cada uno de dos puntos entre 0 y 1, la "distribución de mezcla" puede ser cualquier distribución de probabilidad compatible con el intervalo de 0 a 1; cuál es depende de la distribución conjunta de la secuencia infinita de variables aleatorias de Bernoulli.

La definición de intercambiabilidad y el enunciado del teorema también tienen sentido para secuencias de longitud finita.

${\displaystyle X_{1},\dots ,X_{n},}$

Pero el teorema no es generalmente cierto en ese caso. Es cierto si la secuencia puede extenderse a una secuencia intercambiable que sea infinitamente larga. El ejemplo más simple de una secuencia intercambiable de variables aleatorias de Bernoulli que no puede extenderse de esa manera es aquella en la que X ₁ = 1 −  X ₂ y X ₁ es 0 o 1, cada uno con probabilidad 1/2. Esta secuencia es intercambiable, pero no puede extenderse a una secuencia intercambiable de longitud 3, y mucho menos a una infinitamente larga.

Como límite categórico

El teorema de De Finetti puede expresarse como un límite categórico en la categoría de núcleos de Markov . ^{[2] [3] [4]}

Sea un espacio de Borel estándar , y considérese el espacio de sucesiones en , el producto contable (equipado con el producto sigma-álgebra ). ${\displaystyle (X,{\mathcal {A}})}$ ${\displaystyle X}$ ${\displaystyle X^{\mathbb {N} }}$

Dada una permutación finita , denotemos nuevamente por la acción de permutación sobre , así como el núcleo de Markov inducido por ella. En términos de teoría de categorías , tenemos un diagrama con un solo objeto, , y un número contable de flechas, una para cada permutación. ${\displaystyle \sigma }$ ${\displaystyle \sigma }$ ${\displaystyle X^{\mathbb {N} }}$ ${\displaystyle X^{\mathbb {N} }\to X^{\mathbb {N} }}$ ${\displaystyle X^{\mathbb {N} }}$

Recordemos ahora que una medida de probabilidad es equivalentemente un núcleo de Markov del espacio medible de un punto. Una medida de probabilidad en es intercambiable si y solo si, como núcleos de Markov, para cada permutación . De manera más general, dado cualquier espacio de Borel estándar , se puede decir que un núcleo de Markov es intercambiable si para cada , es decir, si el siguiente diagrama conmuta, ${\displaystyle p}$ ${\displaystyle p}$ ${\displaystyle X^{\mathbb {N} }}$ ${\displaystyle \sigma \circ p=p}$ ${\displaystyle \sigma }$ ${\displaystyle Y}$ ${\displaystyle k:Y\to X}$ ${\displaystyle \sigma \circ k=k}$ ${\displaystyle \sigma }$

dando un cono

El teorema de De Finetti puede enunciarse ahora como el hecho de que el espacio de medidas de probabilidad sobre ( mónada de Giry ) forma un cono universal (o límite ). ^[3] Más en detalle, considere el núcleo de Markov construido de la siguiente manera, utilizando el teorema de extensión de Kolmogorov : ${\displaystyle PX}$ ${\displaystyle X}$ ${\displaystyle \mathrm {iid} _{\mathbb {N} }:PX\to X^{\mathbb {N} }}$

${\displaystyle \mathrm {iid} _{\mathbb {N} }(A_{1}\times \dots \times A_{n}\times X\times \dots |p)=p(A_{1})\cdots p(A_{n})}$

para todos los subconjuntos medibles de . Nótese que podemos interpretar este núcleo como si tomara una medida de probabilidad como entrada y devolviera una secuencia iid en distribuida de acuerdo con . Dado que las secuencias iid son intercambiables, es un núcleo intercambiable en el sentido definido anteriormente. El núcleo no solo forma un cono, sino un cono límite : dado cualquier núcleo intercambiable , existe un núcleo único tal que , es decir, haciendo que el siguiente diagrama conmute: ${\displaystyle A_{1},\dots ,A_{n}}$ ${\displaystyle X}$ ${\displaystyle p\in PX}$ ${\displaystyle X^{\mathbb {N} }}$ ${\displaystyle p}$ ${\displaystyle \mathrm {iid} _{\mathbb {N} }:PX\to X^{\mathbb {N} }}$ ${\displaystyle \mathrm {iid} _{\mathbb {N} }:PX\to X^{\mathbb {N} }}$ ${\displaystyle k:Y\to X}$ ${\displaystyle {\tilde {k}}:Y\to PX}$ ${\displaystyle k=\mathrm {iid} _{\mathbb {N} }\circ {\tilde {k}}}$

En particular, para cualquier medida de probabilidad intercambiable en , existe una medida de probabilidad única en (es decir, una medida de probabilidad sobre medidas de probabilidad) tal que , es decir, tal que para todos los subconjuntos mensurables de , ${\displaystyle p}$ ${\displaystyle X^{\mathbb {N} }}$ ${\displaystyle {\tilde {p}}}$ ${\displaystyle PX}$ ${\displaystyle p=\mathrm {iid} _{\mathbb {N} }\circ {\tilde {p}}}$ ${\displaystyle A_{1},\dots ,A_{n}}$ ${\displaystyle X}$

${\displaystyle p(A_{1}\times \dots \times A_{n}\times X\times \dots )=\int _{PX}\mathrm {iid} _{\mathbb {N} }(A_{1}\times \dots \times A_{n}\times X\times \dots |q)\,{\tilde {p}}(dq)=\int _{PX}q(A_{1})\cdots q(A_{n})\,{\tilde {p}}(dq).}$

En otras palabras, es una mezcla de medidas iid en (las formadas por en la integral anterior). ${\displaystyle p}$ ${\displaystyle X}$ ${\displaystyle q}$

Extensiones

Diaconis y Freedman y Kerns y Szekely han demostrado versiones del teorema de De Finetti para secuencias finitas intercambiables ^{[5] [6]} y para secuencias intercambiables de Markov ^{[7] . Dos nociones de intercambiabilidad parcial de matrices, conocidas como intercambiabilidad} separada y conjunta, conducen a extensiones del teorema de De Finetti para matrices por parte de Aldous y Hoover ^{[8] .}

El teorema computable de De Finetti muestra que si un programa de computadora proporciona una secuencia intercambiable de variables aleatorias reales, entonces se puede recuperar automáticamente un programa que tome muestras de la medida de mezcla. ^[9]

En el contexto de la probabilidad libre , existe una extensión no conmutativa del teorema de De Finetti que caracteriza secuencias no conmutativas invariantes bajo permutaciones cuánticas. ^[10]

Se ha descubierto que las extensiones del teorema de De Finetti a los estados cuánticos son útiles en la información cuántica , ^{[11] [12] [13]} en temas como la distribución de claves cuánticas ^[14] y la detección de entrelazamientos . ^[15] Se puede utilizar una extensión multivariada del teorema de De Finetti para derivar las estadísticas de Bose-Einstein a partir de las estadísticas de partículas clásicas (es decir, independientes). ^[16]

Véase también

• Teoría de Choquet
• Ley cero-uno de Hewitt-Savage
• Teorema de Kerin-Milman
• Álgebra sigma invariante

Referencias

1. Véase las notas de la conferencia de Oxford de Steffen Lauritzen http://www.stats.ox.ac.uk/~steffen/teaching/grad/definetti.pdf
2. Jacobs, Bart; Staton, Sam (2020). "El teorema de De Finetti como límite categórico". CMCS '20: Actas del 15.º Taller internacional IFIP WG 1.3 sobre métodos coalgebraicos en informática . arXiv : 2003.01964 .
3. Fritz, Tobías; Gonda, Tomaš; Perrone, Paolo (2021). "Teorema de De Finetti en probabilidad categórica". Revista de análisis estocástico . 2 (4). arXiv : 2105.02639 . doi :10.31390/josa.2.4.06.
4. Moss, Sean; Perrone, Paolo (2022). "Mónadas de probabilidad con submónadas de estados deterministas". LICS '22: Actas del 37.º Simposio anual ACM/IEEE sobre lógica en informática . arXiv : 2204.07003 . doi :10.1145/3531130.3533355.
5. Diaconis, P. ; Freedman, D. (1980). "Secuencias finitas intercambiables". Anales de probabilidad . 8 (4): 745–764. doi : 10.1214/aop/1176994663 . MR  0577313. Zbl  0434.60034.
6. Szekely, G. J. ; Kerns, J. G. (2006). "Teorema de De Finetti para secuencias intercambiables finitas abstractas". Journal of Theoretical Probability . 19 (3): 589–608. doi :10.1007/s10959-006-0028-z. S2CID  119981020.
7. Diaconis, P. ; Freedman, D. (1980). "Teorema de De Finetti para cadenas de Markov". Anales de probabilidad . 8 (1): 115–130. doi : 10.1214/aop/1176994828 . MR  0556418. Zbl  0426.60064.
8. Persi Diaconis y Svante Janson (2008) "Límites de gráficos y gráficos aleatorios intercambiables", Rediconti di Matematica , Ser. VII 28(1), 33–61.
9. Cameron Freer y Daniel Roy (2009) "Las secuencias intercambiables computables tienen medidas de De Finetti computables", Actas de la 5.ª Conferencia sobre computabilidad en Europa: teoría matemática y práctica computacional , Lecture Notes in Computer Science, vol. 5635, págs. 218-231.
10. Koestler, Claus; Speicher, Roland (2009). "Un teorema de De Finetti no conmutativo: la invariancia bajo permutaciones cuánticas es equivalente a la libertad con amalgamación". Commun. Math. Phys . 291 (2): 473–490. arXiv : 0807.0677 . Bibcode :2009CMaPh.291..473K. doi :10.1007/s00220-009-0802-8. S2CID  115155584.
11. Caves, Carlton M.; Fuchs, Christopher A.; Schack, Ruediger (20 de agosto de 2002). "Estados cuánticos desconocidos: la representación cuántica de De Finetti". Journal of Mathematical Physics . 43 (9): 4537–4559. arXiv : quant-ph/0104088 . Bibcode :2002JMP....43.4537C. doi :10.1063/1.1494475. ISSN  0022-2488. S2CID  17416262.
12. J. Baez (2007). «Hallazgos de esta semana en física matemática (semana 251)» . Consultado el 29 de abril de 2012 .
13. Brandao, Fernando GSL; Harrow, Aram W. (1 de enero de 2013). "Teoremas cuánticos de de finetti bajo mediciones locales con aplicaciones". Actas del cuadragésimo quinto simposio anual de la ACM sobre teoría de la computación . STOC '13. Nueva York, NY, EE. UU.: ACM. pp. 861–870. arXiv : 1210.6367 . doi :10.1145/2488608.2488718. ISBN . 9781450320290. Número de identificación del sujeto  1772280.
14. Renner, Renato (30 de diciembre de 2005). "Seguridad de la distribución de claves cuánticas". arXiv : quant-ph/0512258 .
15. Doherty, Andrew C.; Parrilo, Pablo A.; Spedalieri, Federico M. (1 de enero de 2005). "Detección de entrelazamiento multipartito". Physical Review A . 71 (3): 032333. arXiv : quant-ph/0407143 . Código Bibliográfico :2005PhRvA..71c2333D. doi :10.1103/PhysRevA.71.032333. S2CID  44241800.
16. Bach, A.; Blank, H.; Francke, H. (1985). "Estadísticas de Bose-Einstein derivadas de las estadísticas de partículas clásicas". Lettere al Nuovo Cimento . 43 (4): 195–198. doi :10.1007/BF02746978. S2CID  121413539.

Enlaces externos

• Accardi, L. (2001) [1994], "Teorema de De Finetti", Enciclopedia de Matemáticas , EMS Press
• ¿Qué tiene de interesante el teorema de representación de De Finetti?
• Teorema de De Finetti en el laboratorio n