Ponderación de varianza inversa

Método estadístico

En estadística , la ponderación de varianza inversa es un método de agregación de dos o más variables aleatorias para minimizar la varianza del promedio ponderado . Cada variable aleatoria se pondera en proporción inversa a su varianza (es decir, proporcional a su precisión ).

Dada una secuencia de observaciones independientes y _i con varianzas σ _i ² , el promedio ponderado de la varianza inversa se da por ^[1]

${\displaystyle {\hat {y}}={\frac {\sum _{i}y_{i}/\sigma _{i}^{2}}{\sum _{i}1/\sigma _{i}^{2}}}.}$

El promedio ponderado de varianza inversa tiene la menor varianza entre todos los promedios ponderados, que se puede calcular como

${\displaystyle Var({\hat {y}})={\frac {1}{\sum _{i}1/\sigma _{i}^{2}}}.}$

Si las varianzas de las mediciones son todas iguales, entonces el promedio ponderado de la varianza inversa se convierte en el promedio simple.

La ponderación de varianza inversa se utiliza normalmente en metanálisis estadístico o en la fusión de sensores para combinar los resultados de mediciones independientes.

Contexto

Supongamos que un experimentador desea medir el valor de una cantidad, digamos la aceleración debida a la gravedad de la Tierra , cuyo valor verdadero resulta ser . Un experimentador cuidadoso realiza múltiples mediciones, que denotamos con variables aleatorias . Si todas son ruidosas pero imparciales, es decir, el dispositivo de medición no sobreestima o subestima sistemáticamente el valor verdadero y los errores se dispersan simétricamente, entonces el valor esperado . La dispersión en la medición se caracteriza entonces por la varianza de las variables aleatorias , y si las mediciones se realizan en escenarios idénticos, entonces todas las son iguales, a lo que nos referiremos por . Dadas las mediciones, un estimador típico para , denotado como , viene dado por el promedio simple . Nótese que este promedio empírico también es una variable aleatoria, cuyo valor esperado es pero también tiene una dispersión. Si las mediciones individuales no están correlacionadas, el cuadrado del error en la estimación viene dado por . Por lo tanto, si todos los son iguales, entonces el error en la estimación disminuye con el aumento de como , lo que hace que se prefieran más observaciones. ${\displaystyle \mu }$ ${\displaystyle n}$ ${\displaystyle X_{1},X_{2},...,X_{n}}$ ${\displaystyle E[X_{i}]=\mu }$ ${\displaystyle \forall i}$ ${\displaystyle Var(X_{i}):=\sigma _{i}^{2}}$ ${\displaystyle \sigma _{i}}$ ${\displaystyle \sigma }$ ${\displaystyle n}$ ${\displaystyle \mu }$ ${\displaystyle {\hat {\mu }}}$ ${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i}X_{i}}$ ${\displaystyle E[{\overline {X}}]}$ ${\displaystyle \mu }$ ${\displaystyle Var({\overline {X}})={\frac {1}{n^{2}}}\sum _{i}\sigma _{i}^{2}=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}}$ ${\displaystyle \sigma _{i}}$ ${\displaystyle n}$ ${\displaystyle 1/{\sqrt {n}}}$

En lugar de mediciones repetidas con un instrumento, si el experimentador realiza mediciones de la misma cantidad con diferentes instrumentos con diferente calidad de medición, entonces no hay razón para esperar que las diferentes sean las mismas. Algunos instrumentos podrían ser más ruidosos que otros. En el ejemplo de medir la aceleración debida a la gravedad, los diferentes "instrumentos" podrían estar midiendo desde un simple péndulo , analizando el movimiento de un proyectil , etc. El promedio simple ya no es un estimador óptimo, ya que el error en podría en realidad exceder el error en la medición menos ruidosa si las diferentes mediciones tienen errores muy diferentes. En lugar de descartar las mediciones ruidosas que aumentan el error final, el experimentador puede combinar todas las mediciones con pesos apropiados para dar más importancia a las mediciones menos ruidosas y viceversa. Dado el conocimiento de , un estimador óptimo para medir sería una media ponderada de las mediciones , para la elección particular de los pesos . La varianza del estimador , que para la elección óptima de los pesos se convierte en ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle \sigma _{i}}$ ${\displaystyle g}$ ${\displaystyle {\overline {X}}}$ ${\displaystyle \sigma _{1}^{2},\sigma _{2}^{2},...,\sigma _{n}^{2}}$ ${\displaystyle \mu }$ ${\displaystyle {\hat {\mu }}={\frac {\sum _{i}w_{i}X_{i}}{\sum _{i}w_{i}}}}$ ${\displaystyle w_{i}=1/\sigma _{i}^{2}}$ ${\displaystyle Var({\hat {\mu }})={\frac {\sum _{i}w_{i}^{2}\sigma _{i}^{2}}{\left(\sum _{i}w_{i}\right)^{2}}}}$ ${\displaystyle Var({\hat {\mu }}_{\text{opt}})=\left(\sum _{i}\sigma _{i}^{-2}\right)^{-1}.}$

Tenga en cuenta que, dado que , el estimador tiene una dispersión menor que la dispersión en cualquier medición individual. Además, la dispersión en disminuye al agregar más mediciones, por más ruidosas que puedan ser esas mediciones. ${\displaystyle Var({\hat {\mu }}_{\text{opt}})<\min _{j}\sigma _{j}^{2}}$ ${\displaystyle {\hat {\mu }}_{\text{opt}}}$

Derivación

Medidas no correlacionadas

Consideremos una suma ponderada genérica , donde los pesos están normalizados de tal manera que . Si son todos independientes, la varianza de está dada por (ver la identidad de Bienaymé ) ${\displaystyle Y=\sum _{i}w_{i}X_{i}}$ ${\displaystyle w_{i}}$ ${\displaystyle \sum _{i}w_{i}=1}$ ${\displaystyle X_{i}}$ ${\displaystyle Y}$

${\displaystyle Var(Y)=\sum _{i}w_{i}^{2}\sigma _{i}^{2}.}$

Para lograr la optimalidad, deseamos minimizar, lo que se puede lograr igualando el gradiente con respecto a los pesos de a cero, manteniendo al mismo tiempo la restricción de que . Utilizando un multiplicador de Lagrange para hacer cumplir la restricción, expresamos la varianza: ${\displaystyle Var(Y)}$ ${\displaystyle Var(Y)}$ ${\displaystyle \sum _{i}w_{i}=1}$ ${\displaystyle w_{0}}$

${\displaystyle Var(Y)=\sum _{i}w_{i}^{2}\sigma _{i}^{2}-w_{0}(\sum _{i}w_{i}-1).}$

Para , ${\displaystyle k>0}$

${\displaystyle 0={\frac {\partial }{\partial w_{k}}}Var(Y)=2w_{k}\sigma _{k}^{2}-w_{0},}$

Lo que implica que:

${\displaystyle w_{k}={\frac {w_{0}/2}{\sigma _{k}^{2}}}.}$

La principal conclusión aquí es que . Dado que , ${\displaystyle w_{k}\propto 1/\sigma _{k}^{2}}$ ${\displaystyle \sum _{i}w_{i}=1}$

${\displaystyle {\frac {2}{w_{0}}}=\sum _{i}{\frac {1}{\sigma _{i}^{2}}}:={\frac {1}{\sigma _{0}^{2}}}.}$

Los pesos normalizados individuales son:

${\displaystyle w_{k}={\frac {1}{\sigma _{k}^{2}}}\left(\sum _{i}{\frac {1}{\sigma _{i}^{2}}}\right)^{-1}.}$

Es fácil ver que esta solución extrema corresponde al mínimo de la prueba de la segunda derivada parcial al notar que la varianza es una función cuadrática de los pesos. Por lo tanto, la varianza mínima del estimador está dada por:

${\displaystyle Var(Y)=\sum _{i}{\frac {\sigma _{0}^{4}}{\sigma _{i}^{4}}}\sigma _{i}^{2}=\sigma _{0}^{4}\sum _{i}{\frac {1}{\sigma _{i}^{2}}}=\sigma _{0}^{4}{\frac {1}{\sigma _{0}^{2}}}=\sigma _{0}^{2}={\frac {1}{\sum _{i}1/\sigma _{i}^{2}}}.}$

Medidas correlacionadas

Distribuciones normales

Para las variables aleatorias con distribución normal, también se pueden derivar promedios ponderados de varianza inversa como la estimación de máxima verosimilitud para el valor verdadero. Además, desde una perspectiva bayesiana , la distribución posterior para el valor verdadero dadas las observaciones con distribución normal y una distribución previa plana es una distribución normal con el promedio ponderado de varianza inversa como media y varianza . ${\displaystyle y_{i}}$ ${\displaystyle Var(Y)}$

Caso multivariado

Para distribuciones multivariadas potencialmente correlacionadas, un argumento equivalente conduce a una ponderación óptima basada en las matrices de covarianza de las estimaciones individuales con valores vectoriales : ${\displaystyle \mathbf {C} _{i}}$ ${\displaystyle \mathbf {x} _{i}}$

${\displaystyle \mathbf {\hat {x}} =\left(\sum _{i}\mathbf {C} _{i}^{-1}\right)^{-1}\sum _{i}\mathbf {C} _{i}^{-1}\mathbf {x} _{i}}$

${\displaystyle \mathbf {\hat {C}} =\left(\sum _{i}\mathbf {C} _{i}^{-1}\right)^{-1}}$

Para distribuciones multivariadas se utiliza más comúnmente el término promedio "ponderado por precisión".

Véase también

• Mínimos cuadrados ponderados
• Teoría de cartera
• Con destino a Cramér-Rao

Referencias

1. Joachim Hartung; Guido Knapp; Bimal K. Sinha (2008). Metaanálisis estadístico con aplicaciones . John Wiley & Sons . ISBN 978-0-470-29089-7.