Apalancamiento (estadísticas)

Término estadístico

En estadística y en particular en análisis de regresión , el apalancamiento es una medida de qué tan lejos están los valores de la variable independiente de una observación de los de las otras observaciones. Los puntos de alto apalancamiento , si los hay, son valores atípicos con respecto a las variables independientes . Es decir, los puntos de alto apalancamiento no tienen puntos vecinos en el espacio, donde es el número de variables independientes en un modelo de regresión. Esto hace que sea probable que el modelo ajustado pase cerca de una observación de alto apalancamiento. ^[1] Por lo tanto, los puntos de alto apalancamiento tienen el potencial de causar grandes cambios en las estimaciones de los parámetros cuando se eliminan, es decir, de ser puntos influyentes . Aunque un punto influyente normalmente tendrá un alto apalancamiento, un punto de alto apalancamiento no es necesariamente un punto influyente. El apalancamiento normalmente se define como los elementos diagonales de la matriz de sombrero . ${\displaystyle \mathbb {R} ^{p}}$ ${\displaystyle {p}}$

Definición e interpretaciones

Consideremos el modelo de regresión lineal , . Es decir, , donde, es la matriz de diseño cuyas filas corresponden a las observaciones y cuyas columnas corresponden a las variables independientes o explicativas. El puntaje de apalancamiento para la observación independiente se da como: ${\displaystyle {y}_{i}={\boldsymbol {x}}_{i}^{\top }{\boldsymbol {\beta }}+{\varepsilon }_{i}}$ ${\displaystyle i=1,\,2,\ldots ,\,n}$ ${\displaystyle {\boldsymbol {y}}=\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle n\times p}$ ${\displaystyle {i}^{th}}$ ${\displaystyle {\boldsymbol {x}}_{i}}$

${\displaystyle h_{ii}=\left[\mathbf {H} \right]_{ii}={\boldsymbol {x}}_{i}^{\top }\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}{\boldsymbol {x}}_{i}}$, el elemento diagonal de la matriz de ortoproyección ( también conocida como matriz de sombrero) . ${\displaystyle {i}^{th}}$ ${\displaystyle \mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }}$

Por lo tanto, la puntuación de apalancamiento puede considerarse como la distancia "ponderada" entre la media de s (véase su relación con la distancia de Mahalanobis). También puede interpretarse como el grado en que el valor medido (dependiente) (es decir, ) influye en el valor ajustado (predicho) (es decir, ): matemáticamente, ${\displaystyle {i}^{th}}$ ${\displaystyle {\boldsymbol {x}}_{i}}$ ${\displaystyle {\boldsymbol {x}}_{i}}$ ${\displaystyle {i}^{th}}$ ${\displaystyle y_{i}}$ ${\displaystyle {i}^{th}}$ ${\displaystyle {\widehat {y\,}}_{i}}$

${\displaystyle h_{ii}={\frac {\partial {\widehat {y\,}}_{i}}{\partial y_{i}}}}$.

Por lo tanto, el puntaje de apalancamiento también se conoce como autosensibilidad o autoinfluencia de la observación. ^[2] Usando el hecho de que (es decir, la predicción es una ortoproyección de sobre el espacio de rango de ) en la expresión anterior, obtenemos . Nótese que este apalancamiento depende de los valores de las variables explicativas de todas las observaciones pero no de ninguno de los valores de las variables dependientes . ${\displaystyle {\boldsymbol {\widehat {y}}}={\mathbf {H} }{\boldsymbol {y}}}$ ${\displaystyle {\boldsymbol {\widehat {y}}}}$ ${\displaystyle {\boldsymbol {y}}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle h_{ii}=\left[\mathbf {H} \right]_{ii}}$ ${\displaystyle (\mathbf {X} )}$ ${\displaystyle (y_{i})}$

Propiedades

1. El apalancamiento   es un número entre 0 y 1. Demostración: Nótese que es una matriz idempotente ( ) y simétrica ( ). Por lo tanto, al usar el hecho de que , tenemos . Como sabemos que , tenemos . ${\displaystyle h_{ii}}$ ${\displaystyle 0\leq h_{ii}\leq 1.}$
   ${\displaystyle \mathbf {H} }$ ${\displaystyle \mathbf {H} ^{2}=\mathbf {H} }$ ${\displaystyle h_{ij}=h_{ji}}$ ${\displaystyle \left[\mathbf {H} ^{2}\right]_{ii}=\left[\mathbf {H} \right]_{ii}}$ ${\displaystyle h_{ii}=h_{ii}^{2}+\sum _{j\neq i}h_{ij}^{2}}$ ${\displaystyle \sum _{j\neq i}h_{ij}^{2}\geq 0}$ ${\displaystyle h_{ii}\geq h_{ii}^{2}\implies 0\leq h_{ii}\leq 1}$
2. La suma de los apalancamientos es igual al número de parámetros en (incluido el intercepto). Demostración: . ${\displaystyle (p)}$ ${\displaystyle {\boldsymbol {\beta }}}$
   ${\displaystyle \sum _{i=1}^{n}h_{ii}=\operatorname {Tr} (\mathbf {H} )=\operatorname {Tr} \left(\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\right)=\operatorname {Tr} \left(\mathbf {X} ^{\top }\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\right)=\operatorname {Tr} (\mathbf {I} _{p})=p}$

Determinación de valores atípicos en X mediante apalancamientos

Un apalancamiento alto corresponde a un valor extremo. Una regla común es identificar qué valor de apalancamiento es más de 2 veces mayor que el apalancamiento medio (ver propiedad 2 más arriba). Es decir, si , se considerará un valor atípico. Algunos estadísticos prefieren el umbral de en lugar de . ${\displaystyle {h_{ii}}}$ ${\displaystyle {{\boldsymbol {x}}_{i}}}$ ${\displaystyle {{\boldsymbol {x}}_{i}}}$ ${\displaystyle {h}_{ii}}$ ${\displaystyle {\bar {h}}={\dfrac {1}{n}}\sum _{i=1}^{n}h_{ii}={\dfrac {p}{n}}}$ ${\displaystyle h_{ii}>2{\dfrac {p}{n}}}$ ${\displaystyle {{\boldsymbol {x}}_{i}}}$ ${\displaystyle 3p/{n}}$ ${\displaystyle 2p/{n}}$

Relación con la distancia de Mahalanobis

El apalancamiento está estrechamente relacionado con la distancia de Mahalanobis (prueba ^[3] ). Específicamente, para alguna matriz , la distancia de Mahalanobis al cuadrado de (donde es la fila de ) desde el vector de media de longitud , es , donde es la matriz de covarianza estimada de . Esto está relacionado con el apalancamiento de la matriz de sombrero de después de agregarle un vector de columna de 1. La relación entre los dos es: ${\displaystyle n\times p}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle {{\boldsymbol {x}}_{i}}}$ ${\displaystyle {\boldsymbol {x}}_{i}^{\top }}$ ${\displaystyle {i}^{th}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle {\widehat {\boldsymbol {\mu }}}=\sum _{i=1}^{n}{\boldsymbol {x}}_{i}}$ ${\displaystyle p}$ ${\displaystyle D^{2}({\boldsymbol {x}}_{i})=({\boldsymbol {x}}_{i}-{\widehat {\boldsymbol {\mu }}})^{\top }\mathbf {S} ^{-1}({\boldsymbol {x}}_{i}-{\widehat {\boldsymbol {\mu }}})}$ ${\displaystyle \mathbf {S} =\mathbf {X} ^{\top }\mathbf {X} }$ ${\displaystyle {{\boldsymbol {x}}_{i}}}$ ${\displaystyle h_{ii}}$ ${\displaystyle \mathbf {X} }$

${\displaystyle D^{2}({\boldsymbol {x}}_{i})=(n-1)(h_{ii}-{\tfrac {1}{n}})}$

Esta relación nos permite descomponer el apalancamiento en componentes significativos para que algunas fuentes de alto apalancamiento puedan investigarse analíticamente. ^[4]

Relación con las funciones de influencia

En un contexto de regresión, combinamos las funciones de influencia y de apalancamiento para calcular el grado en que cambiarían los coeficientes estimados si elimináramos un único punto de datos. Al denotar los residuos de regresión como , se puede comparar el coeficiente estimado con el coeficiente estimado sin un punto de datos utilizando la fórmula ^{[5] [6]} ${\displaystyle {\widehat {e}}_{i}=y_{i}-{\boldsymbol {x}}_{i}^{\top }{\widehat {\boldsymbol {\beta }}}}$ ${\displaystyle {\widehat {\boldsymbol {\beta }}}}$ ${\displaystyle {\widehat {\boldsymbol {\beta }}}^{(-i)}}$

${\displaystyle {\widehat {\boldsymbol {\beta }}}-{\widehat {\boldsymbol {\beta }}}^{(-i)}={\frac {(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}{\widehat {e}}_{i}}{1-h_{ii}}}}$

Young (2019) utiliza una versión de esta fórmula después de residualizar los controles. ^[7] Para obtener una idea de esta fórmula, tenga en cuenta que captura el potencial de una observación para afectar los parámetros de regresión y, por lo tanto, captura la influencia real de las desviaciones de esa observación con respecto a su valor ajustado en los parámetros de regresión. Luego, la fórmula se divide por para tener en cuenta el hecho de que eliminamos la observación en lugar de ajustar su valor, lo que refleja el hecho de que la eliminación cambia más la distribución de covariables cuando se aplica a observaciones de alto apalancamiento (es decir, con valores de covariables atípicos). Surgen fórmulas similares cuando se aplican fórmulas generales para funciones de influencia estadística en el contexto de la regresión. ^{[8] [9]} ${\displaystyle {\frac {\partial {\hat {\beta }}}{\partial y_{i}}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}}$ ${\displaystyle (\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}{\widehat {e}}_{i}}$ ${\displaystyle (1-h_{ii})}$

Efecto sobre la varianza residual

Si estamos en un entorno de mínimos cuadrados ordinarios con errores de regresión fijos y homocedásticos , entonces el residuo de regresión tiene varianza ${\displaystyle \mathbf {X} }$ ${\displaystyle \varepsilon _{i},}$ ${\displaystyle {\boldsymbol {y}}=\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }};\ \ \operatorname {Var} ({\boldsymbol {\varepsilon }})=\sigma ^{2}\mathbf {I} }$ ${\displaystyle {i}^{th}}$ ${\displaystyle e_{i}=y_{i}-{\widehat {y}}_{i}}$

${\displaystyle \operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}}$.

En otras palabras, el puntaje de apalancamiento de una observación determina el grado de ruido en la predicción errónea del modelo de esa observación, y un mayor apalancamiento genera menos ruido. Esto se desprende del hecho de que es idempotente y simétrico y , por lo tanto, . ${\displaystyle \mathbf {I} -\mathbf {H} }$ ${\displaystyle {\widehat {\boldsymbol {y}}}=\mathbf {H} {\boldsymbol {y}}}$ ${\displaystyle \operatorname {Var} ({\boldsymbol {e}})=\operatorname {Var} ((\mathbf {I} -\mathbf {H} ){\boldsymbol {y}})=(\mathbf {I} -\mathbf {H} )\operatorname {Var} ({\boldsymbol {y}})(\mathbf {I} -\mathbf {H} )^{\top }=\sigma ^{2}(\mathbf {I} -\mathbf {H} )^{2}=\sigma ^{2}(\mathbf {I} -\mathbf {H} )}$

El residuo estudentizado correspondiente —el residuo ajustado por su varianza residual estimada específica de la observación— es entonces

${\displaystyle t_{i}={e_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}}$

donde es una estimación apropiada de . ${\displaystyle {\widehat {\sigma }}}$ ${\displaystyle \sigma }$

Apalancamiento parcial

El apalancamiento parcial ( PL ) es una medida de la contribución de las variables independientes individuales al apalancamiento total de cada observación. Es decir, el PL es una medida de cómo cambia a medida que se agrega una variable al modelo de regresión. Se calcula como: ${\displaystyle h_{ii}}$

${\displaystyle \left(\mathrm {PL} _{j}\right)_{i}={\frac {\left(\mathbf {X} _{j\bullet [j]}\right)_{i}^{2}}{\sum _{k=1}^{n}\left(\mathbf {X} _{j\bullet [j]}\right)_{k}^{2}}}}$

donde es el índice de la variable independiente, es el índice de la observación y son los residuos de la regresión contra las variables independientes restantes. Tenga en cuenta que el apalancamiento parcial es el apalancamiento del punto en el gráfico de regresión parcial para la variable. Los puntos de datos con un apalancamiento parcial grande para una variable independiente pueden ejercer una influencia indebida en la selección de esa variable en los procedimientos de construcción de modelos de regresión automática. ${\displaystyle j}$ ${\displaystyle i}$ ${\displaystyle \mathbf {X} _{j\bullet [j]}}$ ${\displaystyle \mathbf {X} _{j}}$ ${\displaystyle {i}^{th}}$ ${\displaystyle {j}^{th}}$

Implementaciones de software

Muchos programas y paquetes de estadísticas, como R , Python , etc., incluyen implementaciones de Leverage.

Véase también

• Matriz de proyección – cuyas entradas diagonales principales son los apalancamientos de las observaciones
• Distancia de Mahalanobis : una medida ( a escala ) del apalancamiento de un punto de referencia
• Apalancamiento parcial
• Distancia de Cook : una medida de los cambios en los coeficientes de regresión cuando se elimina una observación
• ACCESORIO
• Valores atípicos : observaciones con valores Y extremos
• Grados de libertad (estadísticas) , la suma de las puntuaciones de apalancamiento

Referencias

1. Everitt, BS (2002). Diccionario de Estadística de Cambridge . Cambridge University Press. ISBN 0-521-81099-X.
2. Cardinali, C. (junio de 2013). "Asimilación de datos: diagnóstico de la influencia de la observación en un sistema de asimilación de datos" (PDF) .
3. Demuestre la relación entre la distancia de Mahalanobis y el apalancamiento?
4. Kim, MG (2004). "Fuentes de alto apalancamiento en el modelo de regresión lineal (Journal of Applied Mathematics and Computing, vol. 16, 509-513)". arXiv : 2006.04024 [math.ST].
5. Miller, Rupert G. (septiembre de 1974). "Una navaja desequilibrada". Anales de estadística . 2 (5): 880–891. doi : 10.1214/aos/1176342811 . ISSN  0090-5364.
6. Hiyashi, Fumio (2000). Econometría . Princeton University Press. pág. 21.
7. Young, Alwyn (2019). "Canalización de Fisher: pruebas de aleatorización y la insignificancia estadística de resultados experimentales aparentemente significativos". The Quarterly Journal of Economics . 134 (2): 567. doi : 10.1093/qje/qjy029 .
8. Chatterjee, Samprit; Hadi, Ali S. (agosto de 1986). "Observaciones influyentes, puntos de alto apalancamiento y valores atípicos en la regresión lineal". Ciencia estadística . 1 (3): 379–393. doi : 10.1214/ss/1177013622 . ISSN  0883-4237.
9. "Regresión - Funciones de influencia y MCO". Validación cruzada . Consultado el 6 de diciembre de 2020 .