stringtranslate.com

Independencia (teoría de la probabilidad)

La independencia es una noción fundamental en la teoría de la probabilidad , al igual que en la estadística y la teoría de procesos estocásticos . Dos eventos son independientes , estadísticamente independientes o estocásticamente independientes [1] si, hablando informalmente, la ocurrencia de uno no afecta la probabilidad de ocurrencia del otro o, de manera equivalente, no afecta las probabilidades . De manera similar, dos variables aleatorias son independientes si la realización de una no afecta la distribución de probabilidad de la otra.

Cuando se trata de colecciones de más de dos eventos, es necesario distinguir dos nociones de independencia. Los eventos se denominan independientes por pares si dos eventos cualesquiera de la colección son independientes entre sí, mientras que la independencia mutua (o independencia colectiva ) de eventos significa, hablando informalmente, que cada evento es independiente de cualquier combinación de otros eventos de la colección. Existe una noción similar para colecciones de variables aleatorias. La independencia mutua implica independencia por pares, pero no al revés. En la literatura estándar sobre teoría de la probabilidad, estadística y procesos estocásticos, la independencia sin más calificaciones suele referirse a la independencia mutua.

Definición

Para eventos

Dos eventos

Dos eventos y son independientes (a menudo escritos como o , donde el último símbolo también se usa para independencia condicional ) si y sólo si su probabilidad conjunta es igual al producto de sus probabilidades: [2] : p. 29  [3] : pág. 10 

indica que dos eventos independientes y tienen elementos comunes en su espacio muestral de modo que no son mutuamente excluyentes (mutuamente excluyentes si ). Por qué esto define la independencia se aclara al reescribir con probabilidades condicionales como la probabilidad a la que ocurre el evento, siempre que el evento haya ocurrido o se suponga que ha ocurrido:

y de manera similar

Por tanto, la aparición de no afecta la probabilidad de y viceversa. En otras palabras, y son independientes entre sí. Aunque las expresiones derivadas pueden parecer más intuitivas, no son la definición preferida, ya que las probabilidades condicionales pueden no estar definidas si o son 0. Además, la definición preferida deja claro por simetría que cuando es independiente de , también es independiente de .

Impares

Expresado en términos de probabilidades , dos eventos son independientes si y sólo si la razón de probabilidades de y es la unidad (1). De manera análoga a la probabilidad, esto equivale a que las probabilidades condicionales sean iguales a las probabilidades incondicionales:

o a que las probabilidades de un evento, dado el otro evento, sean las mismas que las probabilidades del evento, dado que el otro evento no ocurra:

El odds ratio se puede definir como

o simétricamente para probabilidades dadas y, por lo tanto, es 1 si y solo si los eventos son independientes.

Más de dos eventos

Un conjunto finito de eventos es independiente por pares si cada par de eventos es independiente [4] , es decir, si y solo si para todos los pares distintos de índices ,

Un conjunto finito de eventos es mutuamente independiente si cada evento es independiente de cualquier intersección de los otros eventos [4] [3] : p. 11  —es decir, si y sólo si para todos y para cada k índices ,

Esto se llama regla de multiplicación para eventos independientes. No es una condición única que implique únicamente el producto de todas las probabilidades de todos los eventos individuales; debe ser válido para todos los subconjuntos de eventos.

Para más de dos eventos, un conjunto de eventos mutuamente independientes es (por definición) independiente por pares; pero lo contrario no es necesariamente cierto. [2] : pág. 30 

Registrar probabilidad y contenido de información.

Expresado en términos de probabilidad logarítmica , dos eventos son independientes si y sólo si la probabilidad logarítmica del evento conjunto es la suma de la probabilidad logarítmica de los eventos individuales:

En teoría de la información , la probabilidad logarítmica negativa se interpreta como contenido de información y, por tanto, dos eventos son independientes si y sólo si el contenido de información del evento combinado es igual a la suma del contenido de información de los eventos individuales:

Consulte Contenido de la información § Aditividad de eventos independientes para obtener más detalles.

Para variables aleatorias de valor real

Dos variables aleatorias

Dos variables aleatorias y son independientes si y solo si (iff) los elementos del sistema π generado por ellas son independientes; es decir, para cada y , los eventos y son eventos independientes (como se definió anteriormente en la ecuación 1 ). Es decir, y con funciones de distribución acumulativa y , son independientes si y solo si la variable aleatoria combinada tiene una función de distribución acumulativa conjunta [3] : p. 15 

o de manera equivalente, si existen las densidades de probabilidad y la densidad de probabilidad conjunta ,

Más de dos variables aleatorias

Un conjunto finito de variables aleatorias es independiente por pares si y sólo si cada par de variables aleatorias es independiente. Incluso si el conjunto de variables aleatorias es independiente por pares, no necesariamente es mutuamente independiente como se define a continuación.

Un conjunto finito de variables aleatorias es mutuamente independiente si y sólo si para cualquier secuencia de números , los eventos son eventos mutuamente independientes (como se define anteriormente en la ecuación 3 ). Esto es equivalente a la siguiente condición en la función de distribución acumulativa conjunta . Un conjunto finito de variables aleatorias es mutuamente independiente si y sólo si [3] : p. dieciséis 

No es necesario aquí exigir que la distribución de probabilidad factorice todos los posibles subconjuntos de elementos como en el caso de los eventos. Esto no es necesario porque, por ejemplo, implica .

Quienes se inclinan por la teoría de las medidas pueden preferir sustituir eventos por eventos en la definición anterior, ¿dónde está cualquier conjunto de Borel ? Esa definición es exactamente equivalente a la anterior cuando los valores de las variables aleatorias son números reales . Tiene la ventaja de funcionar también para variables aleatorias de valores complejos o para variables aleatorias que toman valores en cualquier espacio medible (que incluye espacios topológicos dotados de σ-álgebras apropiadas).

Para vectores aleatorios de valor real

Dos vectores aleatorios y se llaman independientes si [5] : p. 187 

donde y denota las funciones de distribución acumulativa de y y denota su función de distribución acumulativa conjunta. La independencia de y a menudo se denota por . Se escriben por componentes y se llaman independientes si

Para procesos estocásticos

Para un proceso estocástico

La definición de independencia puede ampliarse desde vectores aleatorios hasta un proceso estocástico . Por lo tanto, para un proceso estocástico independiente se requiere que las variables aleatorias obtenidas al muestrear el proceso en cualquier momento sean variables aleatorias independientes para cualquier momento . [6] : pág. 163 

Formalmente, un proceso estocástico se llama independiente, si y sólo si para todos y para todos

dónde . La independencia de un proceso estocástico es una propiedad dentro de un proceso estocástico, no entre dos procesos estocásticos.

Para dos procesos estocásticos

La independencia de dos procesos estocásticos es una propiedad entre dos procesos estocásticos y que están definidos en el mismo espacio de probabilidad . Formalmente, dos procesos estocásticos y se dicen independientes si para todos y para todos , los vectores aleatorios y son independientes, [7] : p. 515  es decir, si

σ-álgebras independientes

Las definiciones anteriores ( Ec.1 y Ec.2 ) se generalizan mediante la siguiente definición de independencia para σ-álgebras . Sea un espacio de probabilidad y sean y dos subálgebras σ de . y se dice que son independientes si, cuando y ,

Asimismo, se dice que una familia finita de σ-álgebras , donde es un conjunto de índices , es independiente si y sólo si

y se dice que una familia infinita de σ-álgebras es independiente si todas sus subfamilias finitas son independientes.

La nueva definición se relaciona muy directamente con las anteriores:

Usando esta definición, es fácil demostrar que si y son variables aleatorias y es constante, entonces y son independientes, ya que el álgebra σ generada por una variable aleatoria constante es el álgebra σ trivial . Los eventos de probabilidad cero no pueden afectar la independencia, por lo que la independencia también se cumple si sólo Pr- es casi seguramente constante.

Propiedades

Autoindependencia

Tenga en cuenta que un evento es independiente de sí mismo si y sólo si

Así, un evento es independiente de sí mismo si y sólo si ocurre casi con seguridad o su complemento ocurre casi con seguridad; este hecho es útil al demostrar las leyes cero-uno . [8]

Expectativa y covarianza

Si y son variables aleatorias estadísticamente independientes, entonces el operador de expectativa tiene la propiedad

[9] : pág. 10 

y la covarianza es cero, como se desprende de

Lo contrario no se cumple: si dos variables aleatorias tienen una covarianza de 0, aún así pueden no ser independientes.

De manera similar para dos procesos estocásticos y : Si son independientes, entonces no están correlacionados . [10] : pág. 151 

Función característica

Dos variables aleatorias y son independientes si y solo si la función característica del vector aleatorio satisface

En particular, la función característica de su suma es el producto de sus funciones características marginales:

aunque la implicación inversa no es cierta. Las variables aleatorias que satisfacen esta última condición se denominan subindependientes .

Ejemplos

Dados rodantes

El evento de obtener un 6 la primera vez que se lanza un dado y el evento de obtener un 6 la segunda vez son independientes . Por el contrario, el suceso de obtener un 6 la primera vez que se lanza un dado y el suceso de que la suma de los números vistos en el primer y segundo intento sea 8 no son independientes.

Tarjetas de dibujo

Si se extraen dos cartas con reposición de una baraja de cartas, el evento de sacar una tarjeta roja en el primer intento y el de sacar una tarjeta roja en el segundo intento son independientes . Por el contrario, si se extraen dos cartas sin reposición de una baraja de cartas, el evento de sacar una carta roja en el primer intento y el de sacar una carta roja en el segundo intento no son independientes, porque una baraja que ha tenido una carta roja tarjeta retirada tiene proporcionalmente menos tarjetas rojas.

Independencia mutua y por parejas

Eventos independientes por pares, pero no mutuamente independientes
Eventos mutuamente independientes

Considere los dos espacios de probabilidad que se muestran. En ambos casos, y . Las variables aleatorias en el primer espacio son independientes por pares porque , y ; pero las tres variables aleatorias no son mutuamente independientes. Las variables aleatorias en el segundo espacio son independientes por pares y mutuamente independientes. Para ilustrar la diferencia, considere el condicionamiento sobre dos eventos. En el caso independiente por pares, aunque cualquier evento es independiente de cada uno de los otros dos individualmente, no es independiente de la intersección de los otros dos:

Sin embargo, en el caso mutuamente independiente,

Triple independencia pero no independencia por pares

Es posible crear un ejemplo de tres eventos en el que

y, sin embargo, no hay dos de los tres eventos que sean independientes por pares (y, por lo tanto, el conjunto de eventos no son mutuamente independientes). [11] Este ejemplo muestra que la independencia mutua implica requisitos sobre los productos de probabilidades de todas las combinaciones de eventos, no solo los eventos individuales como en este ejemplo.

Independencia condicional

Para eventos

Los eventos y son condicionalmente independientes dado un evento cuando

.

Para variables aleatorias

Intuitivamente, dos variables aleatorias y son condicionalmente independientes dado si, una vez conocido, el valor de no agrega ninguna información adicional sobre . Por ejemplo, dos mediciones de la misma cantidad subyacente no son independientes, pero son condicionalmente independientes dado (a menos que los errores en las dos mediciones estén conectados de alguna manera).

La definición formal de independencia condicional se basa en la idea de distribuciones condicionales . Si , y son variables aleatorias discretas , entonces definimos y como condicionalmente independientes dado si

para todos , y tal que . Por otro lado, si las variables aleatorias son continuas y tienen una función de densidad de probabilidad conjunta , entonces y son condicionalmente independientes dado si

para todos los números reales y tales .

Si son discretos y condicionalmente independientes dados , entonces

para cualquiera y con . Es decir, la distribución condicional para dado y es la misma que para dado solo. Una ecuación similar es válida para las funciones de densidad de probabilidad condicional en el caso continuo.

La independencia puede verse como un tipo especial de independencia condicional, ya que la probabilidad puede verse como un tipo de probabilidad condicional dado que no hay eventos.

Historia

Antes de 1933, la independencia, en la teoría de la probabilidad, se definía de manera verbal. Por ejemplo, de Moivre dio la siguiente definición: “Dos acontecimientos son independientes cuando no tienen conexión entre sí, y el suceso de uno no adelanta ni obstruye el suceso del otro”. [12] Si hay n eventos independientes, la probabilidad del evento de que todos sucedan se calculó como el producto de las probabilidades de estos n eventos. Al parecer, existía la convicción de que esta fórmula era consecuencia de la definición anterior. (A veces esto se llamaba teorema de la multiplicación). Por supuesto, una prueba de su afirmación no puede funcionar sin suposiciones tácitas más formales.

La definición de independencia, dada en este artículo, se convirtió en la definición estándar (ahora utilizada en todos los libros) después de que apareció en 1933 como parte de la axiomatización de la probabilidad de Kolmogorov. [13] Kolmogorov lo atribuyó a SN Bernstein y citó una publicación que había aparecido en ruso en 1927. [14]

Desafortunadamente, tanto Bernstein como Kolmogorov no conocían el trabajo de Georg Bohlmann . Bohlmann había dado la misma definición para dos eventos en 1901 [15] y para n eventos en 1908 [16] . En este último artículo, estudió su noción en detalle. Por ejemplo, dio el primer ejemplo que muestra que la independencia por pares no implica independencia mutua. Incluso hoy en día, rara vez se cita a Bohlmann. Se puede encontrar más información sobre su trabajo en Sobre las contribuciones de Georg Bohlmann a la teoría de la probabilidad de de:Ulrich Krengel. [17]

Ver también

Referencias

  1. ^ Russell, Estuardo; Norvig, Peter (2002). Inteligencia artificial: un enfoque moderno . Prentice Hall . pag. 478.ISBN​ 0-13-790395-2.
  2. ^ ab Florescu, Ionut (2014). Probabilidad y Procesos Estocásticos . Wiley. ISBN 978-0-470-62455-5.
  3. ^ abcd Gallager, Robert G. (2013). Teoría de procesos estocásticos para aplicaciones . Prensa de la Universidad de Cambridge. ISBN 978-1-107-03975-9.
  4. ^ ab Feller, W (1971). "Independencia estocástica". Una introducción a la teoría de la probabilidad y sus aplicaciones . Wiley .
  5. ^ Papoulis, Atanasios (1991). Probabilidad, Variables Aleatorias y Procesos Estocásticos . MC Graw Hill. ISBN 0-07-048477-5.
  6. ^ Hwei, Piao (1997). Teoría y problemas de probabilidad, variables aleatorias y procesos aleatorios . McGraw-Hill. ISBN 0-07-030644-3.
  7. ^ Amos Lapidoth (8 de febrero de 2017). Una Fundación en Comunicación Digital. Prensa de la Universidad de Cambridge. ISBN 978-1-107-17732-1.
  8. ^ Durrett, Richard (1996). Probabilidad: teoría y ejemplos (Segunda ed.).página 62
  9. ^ E Jakeman. MODELIZACIÓN DE FLUCTUACIONES EN ONDAS DISPERSAS . ISBN 978-0-7503-1005-5.
  10. ^ Parque, Kun Il (2018). Fundamentos de Probabilidad y Procesos Estocásticos con Aplicaciones a las Comunicaciones . Saltador. ISBN 978-3-319-68074-3.
  11. ^ George, Glyn, "Prueba de la independencia de tres eventos", Mathematical Gazette 88, noviembre de 2004, 568. PDF
  12. ^ Citado según: Introducción a la probabilidad de Grinstead y Snell. En: El Proyecto CHANCE. Versión del 4 de julio de 2006.
  13. ^ Kolmogorov, Andrey (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung (en alemán). Berlín: Julius Springer Traducción: Kolmogorov, Andrey (1956). Traducción:Fundamentos de la teoría de la probabilidad (2ª ed.). Nueva York: Chelsea. ISBN 978-0-8284-0023-7.
  14. ^ SN Bernstein , Teoría de la probabilidad (ruso), Moscú, 1927 (4 ediciones, la última de 1946)
  15. ^ Georg Bohlmann : Lebensversicherungsmathematik, Encyklop¨adie der mathematischen Wissenschaften, Bd I, Teil 2, Artikel ID 4b (1901), 852–917
  16. ^ Georg Bohlmann : Die Grundbegriffe der Wahrscheinlichkeitsrechnung in ihrer Anwendung auf die Lebensversichrung, Atti del IV. Congr. En t. dei Matem. Rom, Bd. III (1908), 244–278.
  17. ^ de:Ulrich Krengel: Sobre las contribuciones de Georg Bohlmann a la teoría de la probabilidad (PDF; 6,4 MB), Revista electrónica de historia de la probabilidad y la estadística, 2011.

enlaces externos