Ley de varianza total

Teorema de la teoría de la probabilidad

En la teoría de la probabilidad , la ley de varianza total ^[1] o fórmula de descomposición de la varianza o fórmulas de varianza condicional o ley de varianzas iteradas también conocida como ley de Eva , ^[2] establece que si y son variables aleatorias en el mismo espacio de probabilidad , y la varianza de es finita, entonces ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle Y}$

$${\displaystyle \operatorname {Var} (Y)=\operatorname {E} [\operatorname {Var} (Y\mid X)]+\operatorname {Var} (\operatorname {E} [Y\mid X]).}$$

En un lenguaje quizás más conocido por los estadísticos que por los teóricos de la probabilidad, los dos términos son los componentes "inexplicado" y "explicado" de la varianza respectivamente (cf. fracción de varianza no explicada , variación explicada ). En la ciencia actuarial , específicamente en la teoría de la credibilidad , el primer componente se denomina valor esperado de la varianza del proceso ( EVPV ) y el segundo se denomina varianza de las medias hipotéticas ( VHM ). ^[3] Estos dos componentes también son la fuente del término "ley de Eva", de las iniciales EV VE para "expectativa de varianza" y "varianza de la expectativa".

Explicación

Para entender la fórmula anterior, necesitamos comprender las variables aleatorias y . Estas variables dependen del valor de : para un determinado , y son números constantes. Básicamente, utilizamos los valores posibles de para agrupar los resultados y luego calculamos los valores esperados y las varianzas para cada grupo. ${\displaystyle \operatorname {E} [Y|X]}$ ${\displaystyle \operatorname {Var} (Y|X)}$ ${\displaystyle X}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} [Y|X=x]}$ ${\displaystyle \operatorname {Var} (Y|X=x)}$ ${\displaystyle X}$

El componente "inexplicado" es simplemente el promedio de todas las varianzas de dentro de cada grupo. El componente "explicado" es la varianza de los valores esperados, es decir, representa la parte de la varianza que se explica por la variación del valor promedio de para cada grupo. ${\displaystyle \operatorname {E} (\operatorname {Var} [Y|X])}$ ${\displaystyle Y}$ ${\displaystyle \operatorname {Var} (\operatorname {E} [Y|X])}$ ${\displaystyle Y}$

Peso de los perros por raza

Para ilustrarlo, considere el ejemplo de una exposición canina (un extracto seleccionado de Analysis_of_variance#Example ). Supongamos que la variable aleatoria corresponde al peso del perro y a la raza. En esta situación, es razonable esperar que la raza explique una parte importante de la varianza en el peso, ya que existe una gran varianza en los pesos promedio de las razas. Por supuesto, todavía hay cierta varianza en el peso de cada raza, que se tiene en cuenta en el término "inexplicado". ${\displaystyle Y}$ ${\displaystyle X}$

Tenga en cuenta que el término "explicado" en realidad significa "explicado por los promedios". Si las variaciones para cada variable fija (por ejemplo, para cada raza en el ejemplo anterior) son muy distintas, esas variaciones se combinan de todos modos en el término "inexplicado". ${\displaystyle X}$

Ejemplos

Ejemplo 1

Cinco estudiantes de posgrado toman un examen que se califica de 0 a 100. Denotemos la calificación del estudiante e indiquemos si el estudiante es internacional o nacional. Los datos se resumen de la siguiente manera: ${\displaystyle Y}$ ${\displaystyle X}$

Entre los estudiantes internacionales, la media es y la varianza es . ${\displaystyle \operatorname {E} [Y|X={\text{International}}]=50}$ ${\displaystyle \operatorname {Var} (Y|X={\text{International}})={\frac {3800}{3}}=1266.{\overline {6}}}$

Entre los estudiantes nacionales, la media es y la varianza es . ${\displaystyle \operatorname {E} [Y|X={\text{Domestic}}]=50}$ ${\displaystyle \operatorname {Var} (Y|X={\text{Domestic}})=100}$

La parte de la varianza de "no explicada" por es la media de las varianzas para cada grupo. En este caso, es . La parte de la varianza de "explicada" por es la varianza de las medias de dentro de cada grupo definido por los valores de . En este caso, es cero, ya que la media es la misma para cada grupo. Por lo tanto, la variación total es ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle \left({\frac {3}{5}}\right)\left({\frac {3800}{3}}\right)+\left({\frac {2}{5}}\right)(100)=800}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle \operatorname {Var} (Y)=\operatorname {E} [\operatorname {Var} (Y|X)]+\operatorname {Var} (\operatorname {E} [Y|X])=800+0=800.}$

Ejemplo 2

Supongamos que X es un lanzamiento de moneda con una probabilidad de que salga cara de h . Supongamos que cuando X = cara , Y se extrae de una distribución normal con media μ _h y desviación estándar σ _h , y que cuando X = cruz , Y se extrae de una distribución normal con media μ _t y desviación estándar σ _t . Entonces, el primer término "inexplicado" en el lado derecho de la fórmula anterior es el promedio ponderado de las varianzas, hσ _h ² + (1 − h ) σ _t ² , y el segundo término "explicado" es la varianza de la distribución que da μ _h con probabilidad h y da μ _t con probabilidad 1 − h .

Formulación

Existe una fórmula general de descomposición de la varianza para los componentes (ver más abajo). ^[4] Por ejemplo, con dos variables aleatorias condicionantes: que se desprende de la ley de la varianza condicional total: ^[4] ${\displaystyle c\geq 2}$ $${\displaystyle \operatorname {Var} [Y]=\operatorname {E} \left[\operatorname {Var} \left(Y\mid X_{1},X_{2}\right)\right]+\operatorname {E} [\operatorname {Var} (\operatorname {E} \left[Y\mid X_{1},X_{2}\right]\mid X_{1})]+\operatorname {Var} (\operatorname {E} \left[Y\mid X_{1}\right]),}$$ $${\displaystyle \operatorname {Var} (Y\mid X_{1})=\operatorname {E} \left[\operatorname {Var} (Y\mid X_{1},X_{2})\mid X_{1}\right]+\operatorname {Var} \left(\operatorname {E} \left[Y\mid X_{1},X_{2}\right]\mid X_{1}\right).}$$

Nótese que el valor esperado condicional es una variable aleatoria por derecho propio, cuyo valor depende del valor de Nótese que el valor esperado condicional de dado el evento es una función de (¡aquí es donde la adherencia a la notación convencional y rígidamente sensible a mayúsculas y minúsculas de la teoría de la probabilidad se vuelve importante!). Si escribimos entonces la variable aleatoria es simplemente Comentarios similares se aplican a la varianza condicional . ${\displaystyle \operatorname {E} (Y\mid X)}$ ${\displaystyle X.}$ ${\displaystyle Y}$ ${\displaystyle X=x}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} (Y\mid X=x)=g(x)}$ ${\displaystyle \operatorname {E} (Y\mid X)}$ ${\displaystyle g(X).}$

Un caso especial (similar a la ley de expectativa total ) establece que si es una partición de todo el espacio de resultados, es decir, estos eventos son mutuamente excluyentes y exhaustivos, entonces ${\displaystyle A_{1},\ldots ,A_{n}}$ $${\displaystyle {\begin{aligned}\operatorname {Var} (X)={}&\sum _{i=1}^{n}\operatorname {Var} (X\mid A_{i})\Pr(A_{i})+\sum _{i=1}^{n}\operatorname {E} [X\mid A_{i}]^{2}(1-\Pr(A_{i}))\Pr(A_{i})\\[4pt]&{}-2\sum _{i=2}^{n}\sum _{j=1}^{i-1}\operatorname {E} [X\mid A_{i}]\Pr(A_{i})\operatorname {E} [X\mid A_{j}]\Pr(A_{j}).\end{aligned}}}$$

En esta fórmula, el primer componente es la expectativa de la varianza condicional; los otros dos componentes son la varianza de la expectativa condicional.

Prueba

Caso finito

Sean observados los valores de , con repeticiones. ${\displaystyle (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$ ${\displaystyle (X,Y)}$

Establecer y, para cada valor posible de , establecer . ${\displaystyle {\bar {y}}=\operatorname {E} [Y]}$ ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle {\bar {y}}_{x_{i}}=\operatorname {E} [Y|X=x_{i}]}$

Tenga en cuenta que

${\displaystyle (y_{i}-{\bar {y}})^{2}=\left(y_{i}-{\bar {y}}_{x_{i}}+{\bar {y}}_{x_{i}}-{\bar {y}}\right)^{2}=(y_{i}-{\bar {y}}_{x_{i}})^{2}+({\bar {y}}_{x_{i}}-{\bar {y}})^{2}+2(y_{i}-{\bar {y}}_{x_{i}})({\bar {y}}_{x_{i}}-{\bar {y}}).}$

Sumando estos para , la última parcela se convierte en ${\displaystyle 1\leq i\leq n}$

${\displaystyle \sum _{i=1}^{n}2(y_{i}-{\bar {y}}_{x_{i}})({\bar {y}}_{x_{i}}-{\bar {y}})=2\sum _{x}\left(\sum _{\{1\leq i\leq n|x_{i}=x\}}(y_{i}-{\bar {y}}_{x})\right)({\bar {y}}_{x}-{\bar {y}})=2\sum _{x}0\cdot ({\bar {y}}_{x}-{\bar {y}})=0.}$

Por eso,

${\displaystyle \operatorname {Var} (Y)={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}}_{x_{i}})^{2}+{\frac {1}{n}}\sum _{i=1}^{n}({\bar {y}}_{x_{i}}-{\bar {y}})^{2}=\operatorname {E} [\operatorname {Var} (Y\mid X)]+\operatorname {Var} (\operatorname {E} [Y\mid X]).}$

Caso general

La ley de varianza total se puede demostrar utilizando la ley de la esperanza total . ^[5] En primer lugar, a partir de la definición de varianza. Nuevamente, a partir de la definición de varianza y aplicando la ley de la esperanza total, tenemos $${\displaystyle \operatorname {Var} (Y)=\operatorname {E} \left[Y^{2}\right]-\operatorname {E} [Y]^{2}}$$ $${\displaystyle \operatorname {E} \left[Y^{2}\right]=\operatorname {E} \left[\operatorname {E} [Y^{2}\mid X]\right]=\operatorname {E} \left[\operatorname {Var} (Y\mid X)+\operatorname {E} [Y\mid X]^{2}\right].}$$

Ahora reescribimos el segundo momento condicional de en términos de su varianza y primer momento, y aplicamos la ley de expectativa total en el lado derecho: ${\displaystyle Y}$ $${\displaystyle \operatorname {E} \left[Y^{2}\right]-\operatorname {E} [Y]^{2}=\operatorname {E} \left[\operatorname {Var} (Y\mid X)+\operatorname {E} [Y\mid X]^{2}\right]-\operatorname {E} [\operatorname {E} [Y\mid X]]^{2}.}$$

Dado que la expectativa de una suma es la suma de expectativas, los términos ahora se pueden reagrupar: $${\displaystyle =\left(\operatorname {E} [\operatorname {Var} (Y\mid X)]\right)+\left(\operatorname {E} \left[\operatorname {E} [Y\mid X]^{2}\right]-\operatorname {E} [\operatorname {E} [Y\mid X]]^{2}\right).}$$

Finalmente, reconocemos los términos en el segundo conjunto de paréntesis como la varianza de la expectativa condicional : ${\displaystyle \operatorname {E} [Y\mid X]}$ $${\displaystyle =\operatorname {E} [\operatorname {Var} (Y\mid X)]+\operatorname {Var} (\operatorname {E} [Y\mid X]).}$$

Descomposición de varianza general aplicable a sistemas dinámicos

La siguiente fórmula muestra cómo aplicar la fórmula general de descomposición de la varianza teórica de la medida ^[4] a sistemas dinámicos estocásticos. Sea el valor de una variable del sistema en el tiempo Supongamos que tenemos las historias internas ( filtraciones naturales ) , cada una correspondiente a la historia (trayectoria) de una colección diferente de variables del sistema. Las colecciones no necesitan estar disjuntas. La varianza de se puede descomponer, para todos los tiempos, en componentes de la siguiente manera: ${\displaystyle Y(t)}$ ${\displaystyle t.}$ ${\displaystyle H_{1t},H_{2t},\ldots ,H_{c-1,t}}$ ${\displaystyle Y(t)}$ ${\displaystyle t,}$ ${\displaystyle c\geq 2}$ $${\displaystyle {\begin{aligned}\operatorname {Var} [Y(t)]={}&\operatorname {E} (\operatorname {Var} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{c-1,t}])\\[4pt]&{}+\sum _{j=2}^{c-1}\operatorname {E} (\operatorname {Var} [\operatorname {E} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{jt}]\mid H_{1t},H_{2t},\ldots ,H_{j-1,t}])\\[4pt]&{}+\operatorname {Var} (\operatorname {E} [Y(t)\mid H_{1t}]).\end{aligned}}}$$

La descomposición no es única, depende del orden del condicionamiento en la descomposición secuencial.

El cuadrado de la correlación y la variación explicada (o informativa)

En los casos en que son tales que el valor esperado condicional es lineal; es decir, en los casos en que se sigue de la bilinealidad de la covarianza que y y el componente explicado de la varianza dividido por la varianza total es simplemente el cuadrado de la correlación entre y es decir, en tales casos, ${\displaystyle (Y,X)}$ $${\displaystyle \operatorname {E} (Y\mid X)=aX+b,}$$ $${\displaystyle a={\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}}$$ $${\displaystyle b=\operatorname {E} (Y)-{\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}\operatorname {E} (X)}$$ ${\displaystyle Y}$ ${\displaystyle X;}$ $${\displaystyle {\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (X,Y)^{2}.}$$

Un ejemplo de esta situación es cuando tenemos una distribución normal bivariada (gaussiana). ${\displaystyle (X,Y)}$

De manera más general, cuando la expectativa condicional es una función no lineal de ^[4] que puede estimarse como el cuadrado de una regresión no lineal de sobre el uso de datos extraídos de la distribución conjunta de Cuando tiene una distribución gaussiana (y es una función invertible de ), o tiene una distribución gaussiana (marginal), este componente explicado de variación establece un límite inferior para la información mutua : ^[4] ${\displaystyle \operatorname {E} (Y\mid X)}$ ${\displaystyle X}$ $${\displaystyle \iota _{Y\mid X}={\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (\operatorname {E} (Y\mid X),Y)^{2},}$$ ${\displaystyle R}$ ${\displaystyle Y}$ ${\displaystyle X,}$ ${\displaystyle (X,Y).}$ ${\displaystyle \operatorname {E} (Y\mid X)}$ ${\displaystyle X}$ ${\displaystyle Y}$ $${\displaystyle \operatorname {I} (Y;X)\geq \ln \left([1-\iota _{Y\mid X}]^{-1/2}\right).}$$

Momentos más elevados

Una ley similar para el tercer momento central dice ${\displaystyle \mu _{3}}$ $${\displaystyle \mu _{3}(Y)=\operatorname {E} \left(\mu _{3}(Y\mid X)\right)+\mu _{3}(\operatorname {E} (Y\mid X))+3\operatorname {cov} (\operatorname {E} (Y\mid X),\operatorname {var} (Y\mid X)).}$$

Para cumulantes superiores , existe una generalización. Véase la ley de cumulancia total .

Véase también

• Ley de covarianza total  : fórmula en teoría de la probabilidad: una generalización
• Ley de propagación de errores  – Efecto de las incertidumbres de las variables sobre la incertidumbre de una función basada en ellasPages displaying short descriptions of redirect targets

Referencias

1. Neil A. Weiss, Un curso de probabilidad , Addison–Wesley, 2005, páginas 385–386.
2. Joseph K. Blitzstein y Jessica Hwang: "Introducción a la probabilidad"
3. Mahler, Howard C.; Dean, Curtis Gary (2001). "Capítulo 8: Credibilidad" (PDF) . En Casualty Actuarial Society (ed.). Fundamentos de la ciencia actuarial de accidentes (4.ª ed.). Casualty Actuarial Society . págs. 525–526. ISBN. 978-0-96247-622-8. Recuperado el 25 de junio de 2015 .
4. Bowsher, CG y PS Swain, Identificación de fuentes de variación y flujo de información en redes bioquímicas, PNAS 15 de mayo de 2012 109 (20) E1320-E1328.
5. Neil A. Weiss, Un curso de probabilidad , Addison–Wesley, 2005, páginas 380–383.

• Blitzstein, Joe. "Stat 110 Final Review (Eve's Law)" (PDF) . stat110.net . Universidad de Harvard, Departamento de Estadística . Consultado el 9 de julio de 2014 .
• Billingsley, Patrick (1995). Probabilidad y medida . Nueva York, NY: John Wiley & Sons, Inc. ISBN 0-471-00710-2.(Problema 34.10(b))