Coeficiente de determinación

Indicador de qué tan bien los puntos de datos se ajustan a una línea o curva

Regresión de mínimos cuadrados ordinaria de la ley de Okun . Dado que la línea de regresión no pasa por alto ninguno de los puntos por mucho, el R ² de la regresión es relativamente alto.

Comparación del estimador de Theil-Sen (negro) y regresión lineal simple (azul) para un conjunto de puntos con valores atípicos . Debido a los muchos valores atípicos, ninguna de las líneas de regresión se ajusta bien a los datos, según lo medido por el hecho de que ninguna da un R ² muy alto .

En estadística , el coeficiente de determinación , denotado R ² o r ² y pronunciado "R cuadrado", es la proporción de la variación en la variable dependiente que es predecible a partir de la(s) variable(s) independiente(s).

Es una estadística utilizada en el contexto de modelos estadísticos cuyo objetivo principal es la predicción de resultados futuros o la prueba de hipótesis , sobre la base de otra información relacionada. Proporciona una medida de qué tan bien el modelo replica los resultados observados, en función de la proporción de la variación total de los resultados explicada por el modelo. ^{[1] [2] [3]}

Hay varias definiciones de R ² que sólo a veces son equivalentes. Una clase de tales casos incluye la de regresión lineal simple donde se usa r ^{2 en lugar de} R ² . Cuando sólo se incluye una intersección , entonces r ² es simplemente el cuadrado del coeficiente de correlación muestral (es decir, r ) entre los resultados observados y los valores predictivos observados. ^[4] Si se incluyen regresores adicionales , R ² es el cuadrado del coeficiente de correlación múltiple . En ambos casos, el coeficiente de determinación normalmente oscila entre 0 y 1.

Hay casos en los que R ² puede producir valores negativos. Esto puede surgir cuando las predicciones que se comparan con los resultados correspondientes no se han derivado de un procedimiento de ajuste de modelos utilizando esos datos. Incluso si se ha utilizado un procedimiento de ajuste del modelo, R ² puede seguir siendo negativo, por ejemplo, cuando se realiza una regresión lineal sin incluir una intercepción, ^[5] o cuando se utiliza una función no lineal para ajustar los datos. ^[6] En los casos en que surgen valores negativos, la media de los datos proporciona un mejor ajuste a los resultados que los valores de la función ajustada, de acuerdo con este criterio particular.

El coeficiente de determinación puede ser más informativo (intuitivamente) que MAE , MAPE , MSE y RMSE en la evaluación del análisis de regresión , ya que el primero se puede expresar como un porcentaje, mientras que las últimas medidas tienen rangos arbitrarios. También demostró ser más sólido para ajustes deficientes en comparación con SMAPE en los conjuntos de datos de prueba del artículo. ^[7]

Al evaluar la bondad de ajuste de los valores simulados ( Y _pred ) frente a los medidos ( Y _obs ), no es apropiado basar esto en el R ² de la regresión lineal (es decir, Y _obs = m · Y _pred + b ). ^{[ cita necesaria ]} El R ² cuantifica el grado de cualquier correlación lineal entre Y _obs e Y _pred , mientras que para la evaluación de bondad de ajuste solo se debe tener en cuenta una correlación lineal específica: Y _obs = 1 · Y _pred + 0 (es decir, la línea 1:1). ^{[8] [9]}

Definiciones

${\displaystyle R^{2}=1-{\frac {\color {blue}{SS_{\text{res}}}}{\color {red}{SS_{\text{tot}}}}}}$
Cuanto mejor se ajuste la regresión lineal (a la derecha) a los datos en comparación con el promedio simple (en el gráfico de la izquierda), más cerca estará el valor de 1. Las áreas de los cuadrados azules representan los residuos al cuadrado con respecto a la regresión lineal (a la derecha). regresión. Las áreas de los cuadrados rojos representan los residuos al cuadrado con respecto al valor promedio. ${\displaystyle R^{2}}$

Un conjunto de datos tiene n valores marcados y ₁ ,..., y _n (conocidos colectivamente como y _i o como vector y = [ y ₁ ,..., y _n ] ^T ), cada uno asociado con un conjunto de datos ajustado (o modelado). , o predicho) valor f ₁ ,..., f _n (conocido como f _i , o a veces ŷ _i , como vector f ).

Defina los residuos como e _i = y _i − f _i (formando un vector e ).

Si es la media de los datos observados: ${\displaystyle {\bar {y}}}$

$${\displaystyle {\bar {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}}$$

de suma de cuadrados :

• La suma de cuadrados de residuos, también llamada suma de cuadrados residuales :
  $${\displaystyle SS_{\text{res}}=\sum _{i}(y_{i}-f_{i})^{2}=\sum _{i}e_{i}^{2}\,}$$
• La suma total de cuadrados (proporcional a la varianza de los datos):
  $${\displaystyle SS_{\text{tot}}=\sum _{i}(y_{i}-{\bar {y}})^{2}}$$

La definición más general del coeficiente de determinación es

$${\displaystyle R^{2}=1-{SS_{\rm {res}} \over SS_{\rm {tot}}}}$$

En el mejor de los casos, los valores modelados coinciden exactamente con los valores observados, lo que da como resultado y . Un modelo de referencia, que siempre predice , tendrá . Los modelos que tengan peores predicciones que esta línea de base tendrán un resultado negativo . ${\displaystyle SS_{\text{res}}=0}$ ${\displaystyle R^{2}=1}$ ${\displaystyle {\bar {y}}}$ ${\displaystyle R^{2}=0}$ ${\displaystyle R^{2}}$

Relación con la variación inexplicable

De forma general, se puede ver que R ² está relacionado con la fracción de varianza no explicada (FVU), ya que el segundo término compara la varianza no explicada (varianza de los errores del modelo) con la varianza total (de los datos):

$${\displaystyle R^{2}=1-{\text{FVU}}}$$

Como se explica la variación

Un valor mayor de R ² implica un modelo de regresión más exitoso. ^{[4] : 463} Supongamos que R ² = 0,49. Esto implica que se ha contabilizado el 49% de la variabilidad de la variable dependiente en el conjunto de datos, y el 51% restante de la variabilidad aún no se ha contabilizado. Para los modelos de regresión, la suma de cuadrados de la regresión, también llamada suma de cuadrados explicada , se define como

${\displaystyle SS_{\text{reg}}=\sum _{i}(f_{i}-{\bar {y}})^{2}}$

En algunos casos, como en la regresión lineal simple , la suma total de cuadrados es igual a la suma de las otras dos sumas de cuadrados definidas anteriormente:

${\displaystyle SS_{\text{res}}+SS_{\text{reg}}=SS_{\text{tot}}}$

Consulte Partición en el modelo general OLS para obtener una derivación de este resultado para un caso en el que se cumple la relación. Cuando esta relación se cumple, la definición anterior de R ² es equivalente a

${\displaystyle R^{2}={\frac {SS_{\text{reg}}}{SS_{\text{tot}}}}={\frac {SS_{\text{reg}}/n}{SS_{\text{tot}}/n}}}$

donde n es el número de observaciones (casos) de las variables.

De esta forma, R ² se expresa como la relación entre la varianza explicada (varianza de las predicciones del modelo, que es SS _reg / n ) y la varianza total (varianza muestral de la variable dependiente, que es SS _tot / n ).

Esta partición de la suma de cuadrados se cumple, por ejemplo, cuando los valores del modelo ƒ _i se han obtenido mediante regresión lineal . Una condición suficiente más leve dice lo siguiente: El modelo tiene la forma

${\displaystyle f_{i}={\widehat {\alpha }}+{\widehat {\beta }}q_{i}\,}$

donde los q _i son valores arbitrarios que pueden depender o no de i o de otros parámetros libres (la elección común q _i  =  x _i es solo un caso especial), y los coeficientes estiman y se obtienen minimizando la suma residual de cuadrados . ${\displaystyle {\widehat {\alpha }}}$ ${\displaystyle {\widehat {\beta }}}$

Este conjunto de condiciones es importante y tiene varias implicaciones para las propiedades de los residuos ajustados y los valores modelados. En particular, bajo estas condiciones:

${\displaystyle {\bar {f}}={\bar {y}}.\,}$

Como coeficiente de correlación al cuadrado

En la regresión múltiple de mínimos cuadrados lineales con un término de intersección estimado, R ² es igual al cuadrado del coeficiente de correlación de Pearson entre los valores de datos observados y modelados (predichos) de la variable dependiente. ${\displaystyle y}$ ${\displaystyle f}$

En una regresión lineal de mínimos cuadrados con un solo explicador pero sin un término de intersección , esto también es igual al coeficiente de correlación de Pearson al cuadrado de la variable dependiente y la variable explicativa. ${\displaystyle y}$ ${\displaystyle x.}$

No debe confundirse con el coeficiente de correlación entre dos variables explicativas , definido como

${\displaystyle \rho _{{\widehat {\alpha }},{\widehat {\beta }}}={\operatorname {cov} \left({\widehat {\alpha }},{\widehat {\beta }}\right) \over \sigma _{\widehat {\alpha }}\sigma _{\widehat {\beta }}},}$

donde la covarianza entre dos estimaciones de coeficientes, así como sus desviaciones estándar , se obtienen de la matriz de covarianza de las estimaciones de coeficientes ,. ${\displaystyle (X^{T}X)^{-1}}$

En condiciones de modelado más generales, donde los valores predichos podrían generarse a partir de un modelo diferente de la regresión lineal de mínimos cuadrados, se puede calcular un valor R ² como el cuadrado del coeficiente de correlación entre los valores de los datos originales y modelados . En este caso, el valor no es directamente una medida de qué tan buenos son los valores modelados, sino más bien una medida de qué tan bueno podría construirse un predictor a partir de los valores modelados (creando un predictor revisado de la forma α +  βƒ  i ₎ . ^{[ cita necesaria ]} Según Everitt, ^[10] este uso es específicamente la definición del término "coeficiente de determinación": el cuadrado de la correlación entre dos variables (generales). ${\displaystyle y}$ ${\displaystyle f}$

Interpretación

R ² es una medida de la bondad de ajuste de un modelo. ^[11] En regresión, el coeficiente de determinación R ² es una medida estadística de qué tan bien las predicciones de regresión se aproximan a los puntos de datos reales. Un R ² de 1 indica que las predicciones de la regresión se ajustan perfectamente a los datos.

Los valores de R ² fuera del rango de 0 a 1 ocurren cuando el modelo se ajusta a los datos peor que el peor predictor de mínimos cuadrados posible (equivalente a un hiperplano horizontal a una altura igual a la media de los datos observados). Esto ocurre cuando se eligió un modelo incorrecto o se aplicaron por error restricciones sin sentido. Si se utiliza la ecuación 1 de Kvålseth ^[12] (ésta es la ecuación más utilizada), R ² puede ser menor que cero. Si se utiliza la ecuación 2 de Kvålseth, R ² puede ser mayor que uno.

En todos los casos en los que se utiliza R ² , los predictores se calculan mediante regresión de mínimos cuadrados ordinarios: es decir, minimizando SS _res . En este caso, R ² aumenta a medida que aumenta el número de variables en el modelo ( R ² es monótono y aumenta con el número de variables incluidas; nunca disminuirá). Esto ilustra un inconveniente de un posible uso de R ² , donde se podrían seguir agregando variables ( regresión del fregadero de la cocina ) para aumentar el valor de R ² . Por ejemplo, si uno está tratando de predecir las ventas de un modelo de automóvil a partir del consumo de combustible, el precio y la potencia del motor, se pueden incluir factores tan irrelevantes como la primera letra del nombre del modelo o la altura del ingeniero principal que lo diseña. el coche porque el R ² nunca disminuirá a medida que se agreguen variables y probablemente experimentará un aumento debido únicamente al azar.

Esto lleva al enfoque alternativo de considerar el R2 ajustado. La explicación de esta estadística es casi la misma que la de R ² , pero penaliza la estadística ya que se incluyen variables adicionales en el modelo. Para casos distintos del ajuste por mínimos cuadrados ordinarios, el estadístico R ² se puede calcular como se indicó anteriormente y aún puede ser una medida útil. Si el ajuste se realiza mediante mínimos cuadrados ponderados o mínimos cuadrados generalizados , se pueden calcular versiones alternativas de R ^{2 apropiadas para esos marcos estadísticos, mientras que el} R ² "bruto" aún puede ser útil si se interpreta más fácilmente. Los valores de R ² se pueden calcular para cualquier tipo de modelo predictivo, que no necesita tener una base estadística.

En un modelo lineal múltiple

Considere un modelo lineal con más de una variable explicativa , de la forma

${\displaystyle Y_{i}=\beta _{0}+\sum _{j=1}^{p}\beta _{j}X_{i,j}+\varepsilon _{i},}$

donde, para el caso i -ésimo, es la variable de respuesta, son los regresores p y es un término de error medio cero . Las cantidades son coeficientes desconocidos, cuyos valores se estiman mediante mínimos cuadrados . El coeficiente de determinación R ² es una medida del ajuste global del modelo. Específicamente, R ² es un elemento de [0, 1] y representa la proporción de variabilidad en Y _i que puede atribuirse a alguna combinación lineal de los regresores ( variables explicativas ) en X. ^[13] ${\displaystyle {Y_{i}}}$ ${\displaystyle X_{i,1},\dots ,X_{i,p}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \beta _{0},\dots ,\beta _{p}}$

R ² a menudo se interpreta como la proporción de variación de la respuesta "explicada" por los regresores del modelo. Por lo tanto, R ²  = 1 indica que el modelo ajustado explica toda la variabilidad en , mientras que R ²  = 0 indica que no hay relación 'lineal' (para regresión en línea recta, esto significa que el modelo en línea recta es una línea constante (pendiente = 0, intersección =  ) entre la variable respuesta y los regresores). Un valor interior como R ²  = 0,7 puede interpretarse de la siguiente manera: "El setenta por ciento de la varianza en la variable de respuesta puede explicarse por las variables explicativas. El treinta por ciento restante puede atribuirse a variables desconocidas, ocultas o a la variabilidad inherente". ${\displaystyle y}$ ${\displaystyle {\bar {y}}}$

Una precaución que se aplica a R ² , así como a otras descripciones estadísticas de correlación y asociación, es que " la correlación no implica causalidad ". En otras palabras, si bien las correlaciones a veces pueden proporcionar pistas valiosas para descubrir relaciones causales entre variables, una correlación estimada distinta de cero entre dos variables no es, por sí sola, evidencia de que cambiar el valor de una variable resultaría en cambios en los valores de otras variables. Por ejemplo, la práctica de llevar cerillas (o un encendedor) se correlaciona con la incidencia de cáncer de pulmón, pero llevar cerillas no causa cáncer (en el sentido estándar de "causa").

En el caso de un solo regresor, ajustado por mínimos cuadrados, R ² es el cuadrado del coeficiente de correlación producto-momento de Pearson que relaciona el regresor y la variable de respuesta. De manera más general, R ² es el cuadrado de la correlación entre el predictor construido y la variable de respuesta. Con más de un regresor, el R ² puede denominarse coeficiente de determinación múltiple .

Inflación de R 2

En la regresión de mínimos cuadrados utilizando datos típicos, R ² aumenta al menos débilmente con un aumento en el número de regresores en el modelo. Debido a que los aumentos en el número de regresores aumentan el valor de R ² , R ² por sí solo no puede usarse como una comparación significativa de modelos con números muy diferentes de variables independientes. Para una comparación significativa entre dos modelos, se puede realizar una prueba F sobre la suma residual de cuadrados ^{[ cita requerida ]} , similar a las pruebas F en causalidad de Granger , aunque esto no siempre es apropiado ^{[ se necesita más explicación ]} . Como recordatorio de esto, algunos autores denotan R ² por R _q ² , donde q es el número de columnas en X (el número de explicadores que incluyen la constante).

Para demostrar esta propiedad, primero recuerde que el objetivo de la regresión lineal de mínimos cuadrados es

${\displaystyle \min _{b}SS_{\text{res}}(b)\Rightarrow \min _{b}\sum _{i}(y_{i}-X_{i}b)^{2}\,}$

donde Xi es un vector fila de valores de variables explicativas para el caso i _{y b} es un vector columna de coeficientes de los elementos respectivos de Xi .

El valor óptimo del objetivo es débilmente menor a medida que se agregan más variables explicativas y, por lo tanto, se agregan columnas adicionales de (la matriz de datos explicativa cuya i -ésima fila es Xi ₎ , por el hecho de que una minimización menos restringida conduce a un costo óptimo que es débilmente más pequeño que lo que lo hace la minimización más restringida. Dada la conclusión anterior y observando que depende sólo de y , la propiedad no decreciente de R ² se deriva directamente de la definición anterior. ${\displaystyle X}$ ${\displaystyle SS_{tot}}$

La razón intuitiva por la que utilizar una variable explicativa adicional no puede reducir el R ² es la siguiente: Minimizar equivale a maximizar R ² . Cuando se incluye la variable extra, los datos siempre tienen la opción de darle un coeficiente estimado de cero, dejando los valores predichos y el R ² sin cambios. La única forma en que el problema de optimización dará un coeficiente distinto de cero es si al hacerlo se mejora el R ² . ${\displaystyle SS_{\text{res}}}$

Lo anterior da una explicación analítica de la inflación de R ² . A continuación se muestra un ejemplo basado en mínimos cuadrados ordinarios desde una perspectiva geométrica. ^[14]

Este es un ejemplo de residuos de modelos de regresión en espacios más pequeños y más grandes basados ​​en la regresión de mínimos cuadrados ordinarios.

Un caso simple a considerar primero:

${\displaystyle Y=\beta _{0}+\beta _{1}\cdot X_{1}+\varepsilon \,}$

Esta ecuación describe el modelo de regresión de mínimos cuadrados ordinarios con un regresor. La predicción se muestra como el vector rojo en la figura de la derecha. Geométricamente, es la proyección del valor verdadero en un espacio modelo (sin intersección). El residual se muestra como la línea roja. ${\displaystyle \mathbb {R} }$

${\displaystyle Y=\beta _{0}+\beta _{1}\cdot X_{1}+\beta _{2}\cdot X_{2}+\varepsilon \,}$

Esta ecuación corresponde al modelo de regresión de mínimos cuadrados ordinarios con dos regresores. La predicción se muestra como el vector azul en la figura de la derecha. Geométricamente, es la proyección del valor verdadero en un espacio modelo más grande (sin intersección). Notablemente, los valores de y no son los mismos que en la ecuación para un espacio modelo más pequeño siempre que y no sean vectores cero. Por lo tanto, se espera que las ecuaciones produzcan predicciones diferentes (es decir, se espera que el vector azul sea diferente del vector rojo). El criterio de regresión de mínimos cuadrados garantiza que se minimice el residuo. En la figura, la línea azul que representa el residual es ortogonal al espacio modelo en , lo que indica la distancia mínima desde el espacio. ${\displaystyle \mathbb {R} ^{2}}$ ${\displaystyle \beta _{0}}$ ${\displaystyle \beta _{0}}$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle \mathbb {R} ^{2}}$

El espacio modelo más pequeño es un subespacio del más grande y, por lo tanto, se garantiza que el residuo del modelo más pequeño será mayor. Comparando las líneas roja y azul en la figura, la línea azul es ortogonal al espacio y cualquier otra línea sería más grande que la azul. Teniendo en cuenta el cálculo de R ² , un valor menor de conducirá a un valor mayor de R ² , lo que significa que agregar regresores dará como resultado una inflación de R ² . ${\displaystyle SS_{tot}}$

Advertencias

R ² no indica si:

• las variables independientes son causa de los cambios en la variable dependiente ;
• existe sesgo de variable omitida ;
• se utilizó la regresión correcta ;
• se ha elegido el conjunto de variables independientes más apropiado;
• hay colinealidad presente en los datos de las variables explicativas;
• el modelo podría mejorarse utilizando versiones transformadas del conjunto existente de variables independientes;
• Hay suficientes datos para llegar a una conclusión sólida.

Extensiones

R2 ajustado _

El uso de un R ² ajustado (una notación común es , que se pronuncia "barra R al cuadrado"; otra es o ) es un intento de explicar el fenómeno del aumento automático del R ² cuando se agregan variables explicativas adicionales al modelo. Hay muchas formas diferentes de adaptarse. ^[15] Con diferencia, la más utilizada, hasta el punto de que normalmente se la conoce simplemente como R ajustada , es la corrección propuesta por Mardoqueo Ezequiel . ^{[15] [16] [17]} El R ² ajustado se define como ${\displaystyle {\bar {R}}^{2}}$ ${\displaystyle R_{\text{a}}^{2}}$ ${\displaystyle R_{\text{adj}}^{2}}$

${\displaystyle {\bar {R}}^{2}={1-{SS_{\text{res}}/{\text{df}}_{\text{res}} \over SS_{\text{tot}}/{\text{df}}_{\text{tot}}}}}$

donde df _res son los grados de libertad de la estimación de la varianza poblacional alrededor del modelo, y df _tot son los grados de libertad de la estimación de la varianza poblacional alrededor de la media. df _res se da en términos del tamaño de muestra n y el número de variables p en el modelo, df _res = n  −  p  − 1. df _tot se da de la misma manera, pero siendo p la unidad de la media, es decir, df _total = norte  − 1.

Insertando los grados de libertad y usando la definición de R ² , se puede reescribir como:

${\displaystyle {\bar {R}}^{2}=1-(1-R^{2}){n-1 \over n-p-1}}$

donde p es el número total de variables explicativas en el modelo, ^[18] y n es el tamaño de la muestra.

El R ² ajustado puede ser negativo y su valor siempre será menor o igual que el de R ² . A diferencia de R ² , el R ² ajustado aumenta sólo cuando el aumento de R ² (debido a la inclusión de una nueva variable explicativa) es mayor de lo que uno esperaría ver por casualidad. Si se introduce en una regresión un conjunto de variables explicativas con una jerarquía de importancia predeterminada, una a la vez, calculando el R ² ajustado cada vez, el nivel en el que el R ² ajustado alcanza un máximo y luego disminuye, sería la regresión. con la combinación ideal de tener el mejor ajuste sin términos excesivos/innecesarios.

Esquema de la contribución del sesgo y la varianza al error total

El R ² ajustado puede interpretarse como un ejemplo del equilibrio entre sesgo y varianza . Cuando consideramos el rendimiento de un modelo, un error menor representa un mejor rendimiento. Cuando el modelo se vuelve más complejo, la varianza aumentará mientras que el cuadrado del sesgo disminuirá, y estas dos métricas suman el error total. Combinando estas dos tendencias, la compensación sesgo-varianza describe una relación entre el rendimiento del modelo y su complejidad, que se muestra como una curva en forma de U a la derecha. Específicamente para el R ² ajustado , la complejidad del modelo (es decir, el número de parámetros) afecta el R ² y el término / frac y, por lo tanto, captura sus atributos en el rendimiento general del modelo.

R ² puede interpretarse como la varianza del modelo, que está influenciada por la complejidad del modelo. Un R ² alto indica un error de sesgo menor porque el modelo puede explicar mejor el cambio de Y con predictores. Por esta razón, hacemos menos suposiciones (erróneas) y esto da como resultado un error de sesgo menor. Mientras tanto, para dar cabida a menos supuestos, el modelo tiende a ser más complejo. Según la compensación entre sesgo y varianza, una mayor complejidad conducirá a una disminución del sesgo y a un mejor rendimiento (por debajo de la línea óptima). En , el término (1- R ² ) será menor con alta complejidad y dará como resultado un mayor , lo que indica consistentemente un mejor rendimiento. ${\displaystyle {\bar {R}}^{2}}$ ${\displaystyle {\bar {R}}^{2}}$

Por otro lado, el término término/frac se ve afectado inversamente por la complejidad del modelo. El término/frac aumentará al agregar regresores (es decir, mayor complejidad del modelo) y conducirá a un peor rendimiento. Basado en el equilibrio entre sesgo y varianza, una mayor complejidad del modelo (más allá de la línea óptima) conduce a errores crecientes y a un peor rendimiento.

Teniendo en cuenta el cálculo de , más parámetros aumentarán el R ² y conducirán a un aumento en . Sin embargo, agregar más parámetros aumentará el término/frac y, por lo tanto, disminuirá . Estas dos tendencias construyen una relación en forma de U inversa entre la complejidad del modelo y , que es consistente con la tendencia en forma de U de la complejidad del modelo versus el rendimiento general. A diferencia de R ² , que siempre aumentará cuando aumente la complejidad del modelo, aumentará sólo cuando el sesgo eliminado por el regresor agregado sea mayor que la varianza introducida simultáneamente. El uso en lugar de R ² podría evitar así un sobreajuste. ${\displaystyle {\bar {R}}^{2}}$ ${\displaystyle {\bar {R}}^{2}}$ ${\displaystyle {\bar {R}}^{2}}$ ${\displaystyle {\bar {R}}^{2}}$ ${\displaystyle {\bar {R}}^{2}}$ ${\displaystyle {\bar {R}}^{2}}$

Siguiendo la misma lógica, el R ² ajustado puede interpretarse como un estimador menos sesgado del R ² poblacional , mientras que el R ² de la muestra observada es una estimación sesgada positivamente del valor poblacional. ^[19] El R ² ajustado es más apropiado al evaluar el ajuste del modelo (la varianza en la variable dependiente explicada por las variables independientes) y al comparar modelos alternativos en la etapa de selección de características de la construcción del modelo. ^[19]

El principio detrás del estadístico R ² ajustado se puede ver reescribiendo el R ² ordinario como

${\displaystyle R^{2}={1-{{\textit {VAR}}_{\text{res}} \over {\textit {VAR}}_{\text{tot}}}}}$

donde y son las varianzas muestrales de los residuos estimados y la variable dependiente respectivamente, que pueden verse como estimaciones sesgadas de las varianzas poblacionales de los errores y de la variable dependiente. Estas estimaciones se reemplazan por versiones estadísticamente imparciales : y . ${\displaystyle {\text{VAR}}_{\text{res}}=SS_{\text{res}}/n}$ ${\displaystyle {\text{VAR}}_{\text{tot}}=SS_{\text{tot}}/n}$ ${\displaystyle {\text{VAR}}_{\text{res}}=SS_{\text{res}}/(n-p)}$ ${\displaystyle {\text{VAR}}_{\text{tot}}=SS_{\text{tot}}/(n-1)}$

A pesar de utilizar estimadores insesgados para las varianzas poblacionales del error y la variable dependiente, R ² ajustado no es un estimador insesgado de la población R ² , ^[19] lo que resulta de usar las varianzas poblacionales de los errores y la variable dependiente en lugar de estimar a ellos. Ingram Olkin y John W. Pratt derivaron el estimador insesgado de varianza mínima para la población R ² , ^[20] que se conoce como estimador de Olkin-Pratt. Las comparaciones de diferentes enfoques para ajustar R ² concluyeron que en la mayoría de las situaciones se debe preferir una versión aproximada del estimador de Olkin-Pratt ^[19] o el estimador exacto de Olkin-Pratt ^{[21] al} R ² ajustado (Ezekiel) .

Coeficiente de determinación parcial

El coeficiente de determinación parcial se puede definir como la proporción de variación que no puede explicarse en un modelo reducido, pero que puede explicarse mediante los predictores especificados en un modelo (más) completo. ^{[22] [23] [24]} Este coeficiente se utiliza para proporcionar información sobre si uno o más predictores adicionales pueden ser útiles en un modelo de regresión más completamente especificado.

El cálculo del R ² parcial es relativamente sencillo después de estimar dos modelos y generar las tablas ANOVA para ellos. El cálculo del R ² parcial es

${\displaystyle {\frac {SS_{\text{ res, reduced}}-SS_{\text{ res, full}}}{SS_{\text{ res, reduced}}}},}$

que es análogo al coeficiente de determinación habitual:

${\displaystyle {\frac {SS_{\text{tot}}-SS_{\text{res}}}{SS_{\text{tot}}}}.}$

Generalizando y descomponiendo R 2

Como se explicó anteriormente, las heurísticas de selección de modelos, como el criterio ajustado y la prueba F, examinan si el total aumenta lo suficiente como para determinar si se debe agregar un nuevo regresor al modelo. Si se agrega al modelo un regresor que está altamente correlacionado con otros regresores que ya se han incluido, entonces el total difícilmente aumentará, incluso si el nuevo regresor es relevante. Como resultado, las heurísticas mencionadas ignorarán los regresores relevantes cuando las correlaciones cruzadas sean altas. ^[25] ${\displaystyle R^{2}}$ ${\displaystyle R^{2}}$ ${\displaystyle R^{2}}$

Representación geométrica de . ${\displaystyle r^{2}}$

Alternativamente, se puede descomponer una versión generalizada de para cuantificar la relevancia de desviarse de una hipótesis. ^[25] Como muestra Hoornweg (2018), varios estimadores de contracción , como la regresión lineal bayesiana , la regresión de crestas y el lazo (adaptativo) , hacen uso de esta descomposición cuando reducen gradualmente los parámetros de las soluciones MCO sin restricciones hacia los valores hipotéticos. . Primero definamos el modelo de regresión lineal como ${\displaystyle R^{2}}$ ${\displaystyle R^{2}}$

${\displaystyle y=X\beta +\varepsilon .}$

Se supone que la matriz está estandarizada con puntuaciones Z y que el vector columna está centrado para tener una media cero. Deje que el vector de columna se refiera a los parámetros de regresión hipotéticos y deje que el vector de columna denote los parámetros estimados. Entonces podemos definir ${\displaystyle X}$ ${\displaystyle y}$ ${\displaystyle \beta _{0}}$ ${\displaystyle b}$

${\displaystyle R^{2}=1-{\frac {(y-Xb)'(y-Xb)}{(y-X\beta _{0})'(y-X\beta _{0})}}.}$

Un valor del 75 % significa que la precisión en la muestra mejora en un 75 % si se utilizan soluciones optimizadas para datos en lugar de los valores hipotéticos. En el caso especial de que sea un vector de ceros, obtenemos nuevamente el tradicional. ${\displaystyle R^{2}}$ ${\displaystyle b}$ ${\displaystyle \beta _{0}}$ ${\displaystyle \beta _{0}}$ ${\displaystyle R^{2}}$

El efecto individual de desviarse de una hipótesis se puede calcular con ('R-outer'). Esta matriz de tiempos está dada por ${\displaystyle R^{2}}$ ${\displaystyle R^{\otimes }}$ ${\displaystyle p}$ ${\displaystyle p}$

${\displaystyle R^{\otimes }=(X'{\tilde {y}}_{0})(X'{\tilde {y}}_{0})'(X'X)^{-1}({\tilde {y}}_{0}'{\tilde {y}}_{0})^{-1},}$

dónde . Los elementos diagonales de suman exactamente . Si los regresores no están correlacionados y son un vector de ceros, entonces el elemento diagonal de simplemente corresponde al valor entre y . Cuando los regresores y están correlacionados, podrían aumentar a costa de una disminución en . Como resultado, los elementos diagonales de pueden ser menores que 0 y, en casos más excepcionales, mayores que 1. Para abordar tales incertidumbres, varios estimadores de contracción toman implícitamente un promedio ponderado de los elementos diagonales de para cuantificar la relevancia de desviarse de un valor hipotético. ^[25] Haga clic en el lazo para ver un ejemplo. ${\displaystyle {\tilde {y}}_{0}=y-X\beta _{0}}$ ${\displaystyle R^{\otimes }}$ ${\displaystyle R^{2}}$ ${\displaystyle \beta _{0}}$ ${\displaystyle j^{\text{th}}}$ ${\displaystyle R^{\otimes }}$ ${\displaystyle r^{2}}$ ${\displaystyle x_{j}}$ ${\displaystyle y}$ ${\displaystyle x_{i}}$ ${\displaystyle x_{j}}$ ${\displaystyle R_{ii}^{\otimes }}$ ${\displaystyle R_{jj}^{\otimes }}$ ${\displaystyle R^{\otimes }}$ ${\displaystyle R^{\otimes }}$

R 2 en regresión logística

En el caso de la regresión logística , generalmente ajustada por máxima verosimilitud , existen varias opciones de pseudo-R ² .

Uno es el R ² generalizado propuesto originalmente por Cox & Snell, ^[26] e independientemente por Magee: ^[27]

${\displaystyle R^{2}=1-\left({{\mathcal {L}}(0) \over {\mathcal {L}}({\widehat {\theta }})}\right)^{2/n}}$

donde es la probabilidad del modelo con sólo el intercepto, es la probabilidad del modelo estimado (es decir, el modelo con un conjunto dado de estimaciones de parámetros) y n es el tamaño de la muestra. Se reescribe fácilmente como: ${\displaystyle {\mathcal {L}}(0)}$ ${\displaystyle {{\mathcal {L}}({\widehat {\theta }})}}$

${\displaystyle R^{2}=1-e^{{\frac {2}{n}}(\ln({\mathcal {L}}(0))-\ln({\mathcal {L}}({\widehat {\theta }}))}=1-e^{-D/n}}$

donde D es el estadístico de prueba de la prueba de razón de verosimilitud .

Nico Nagelkerke señaló que tenía las siguientes propiedades: ^{[28] [23]}

1. Es consistente con el coeficiente de determinación clásico cuando ambos pueden calcularse;
2. Su valor se maximiza mediante la estimación de máxima verosimilitud de un modelo;
3. Es asintóticamente independiente del tamaño de la muestra;
4. La interpretación es la proporción de la variación explicada por el modelo;
5. Los valores están entre 0 y 1, siendo 0 que el modelo no explica ninguna variación y 1 que explica perfectamente la variación observada;
6. No tiene ninguna unidad.

Sin embargo, en el caso de un modelo logístico, donde no puede ser mayor que 1, R ² está entre 0 y : por lo tanto, Nagelkerke sugirió la posibilidad de definir un R ² escalado como R ² / R ² _max . ^[23] ${\displaystyle {\mathcal {L}}({\widehat {\theta }})}$ ${\displaystyle R_{\max }^{2}=1-({\mathcal {L}}(0))^{2/n}}$

Comparación con norma de residuos.

Ocasionalmente, la norma de los residuos se utiliza para indicar la bondad de ajuste. Este término se calcula como la raíz cuadrada de la suma de los cuadrados de los residuos :

${\displaystyle {\text{norm of residuals}}={\sqrt {SS_{\text{res}}}}=\|e\|.}$

Tanto R ² como la norma de los residuos tienen sus ventajas relativas. Para el análisis de mínimos cuadrados , R ² varía entre 0 y 1, donde los números más grandes indican mejores ajustes y 1 representa un ajuste perfecto. La norma de los residuos varía de 0 a infinito, donde números más pequeños indican mejores ajustes y cero indica un ajuste perfecto. Una ventaja y desventaja de R ² es que el término actúa para normalizar el valor. Si todos los valores de y _i se multiplican por una constante, la norma de los residuos también cambiará según esa constante, pero R ² permanecerá igual. Como ejemplo básico, para el ajuste de mínimos cuadrados lineales al conjunto de datos: ${\displaystyle SS_{\text{tot}}}$

R ² = 0,998 y norma de residuos = 0,302.

Si todos los valores de y se multiplican por 1000 (por ejemplo, en un cambio de prefijo SI ), entonces R ² sigue siendo el mismo, pero la norma de residuos = 302.

Otro indicador de ajuste de un solo parámetro es el RMSE de los residuos, o desviación estándar de los residuos. Esto tendría un valor de 0,135 para el ejemplo anterior dado que el ajuste fue lineal con una intersección no forzada. ^[29]

Historia

La creación del coeficiente de determinación se ha atribuido al genetista Sewall Wright y se publicó por primera vez en 1921. ^[30]

Ver también

• El cuarteto de Anscombe
• Fracción de varianza inexplicable
• Bondad de ajuste
• Coeficiente de eficiencia del modelo Nash-Sutcliffe ( aplicaciones hidrológicas )
• Coeficiente de correlación momento-producto de Pearson
• Reducción proporcional de la pérdida
• Validación del modelo de regresión
• Desviación cuadrática media
• Regresión paso a paso

Notas

1. Acero, RGD; Torrie, JH (1960). Principios y Procedimientos de la Estadística con Especial Referencia a las Ciencias Biológicas . McGraw-Hill .
2. Glantz, Stanton A.; Slinker, BK (1990). Introducción a la regresión aplicada y análisis de varianza . McGraw-Hill. ISBN 978-0-07-023407-9.
3. Pañero, NR; Smith, H. (1998). Análisis de regresión aplicada . Wiley-Interscience. ISBN 978-0-471-17082-2.
4. Devore, Jay L. (2011). Probabilidad y Estadística para la Ingeniería y las Ciencias (8ª ed.). Boston, MA: Aprendizaje Cengage. págs. 508–510. ISBN 978-0-538-73352-6.
5. Barten, Anton P. (1987). "El coeficiente de determinación de la regresión sin término constante". En Heijmans, Risto; Neudecker, Heinz (eds.). La práctica de la econometría . Dordrecht: Kluwer. págs. 181–189. ISBN 90-247-3502-5.
6. Colin Cameron, A.; Windmeijer, Frank AG (1997). "Una medida R cuadrado de bondad de ajuste para algunos modelos de regresión no lineal comunes". Revista de Econometría . 77 (2): 1790-2. doi :10.1016/S0304-4076(96)01818-0.
7. Chicco, Davide; Warrens, Matthijs J.; Jurman, Giuseppe (2021). "El coeficiente de determinación R-cuadrado es más informativo que SMAPE, MAE, MAPE, MSE y RMSE en la evaluación del análisis de regresión". PeerJ Ciencias de la Computación . 7 (e623): e623. doi : 10.7717/peerj-cs.623 . PMC 8279135 . PMID  34307865. 
8. Legados, DR; McCabe, GJ (1999). "Evaluación del uso de medidas de" bondad de ajuste "en la validación de modelos hidrológicos e hidroclimáticos". Recurso Acuático. Res . 35 (1): 233–241. Código Bib : 1999WRR....35..233L. doi :10.1029/1998WR900018. S2CID  128417849.
9. Ritter, A.; Muñoz-Carpena, R. (2013). "Evaluación del desempeño de modelos hidrológicos: significación estadística para reducir la subjetividad en las evaluaciones de bondad de ajuste". Revista de Hidrología . 480 (1): 33–45. Código Bib : 2013JHyd..480...33R. doi :10.1016/j.jhidrol.2012.12.004.
10. Everitt, BS (2002). Diccionario de estadística de Cambridge (2ª ed.). TAZA. pag. 78.ISBN _ 978-0-521-81099-9.
11. Casella, Georges (2002). Inferencia estadística (Segunda ed.). Pacific Grove, California: Duxbury/Thomson Learning. pag. 556.ISBN _ 9788131503942.
12. Kvalseth, Tarald O. (1985). "Nota de precaución sobre R2". El estadístico estadounidense . 39 (4): 279–285. doi :10.2307/2683704. JSTOR  2683704.
13. "Regresión lineal: MATLAB y Simulink". www.mathworks.com .
14. Lejos, Julian James (2005). Modelos lineales con R (PDF) . Chapman y Hall/CRC. ISBN 9781584884255.
15. Raju, Nambury S.; Bilgic, Reyhan; Edwards, Jack E.; Fleer, Paul F. (1997). "Revisión de la metodología: estimación de la validez poblacional y la validez cruzada, y el uso de pesos iguales en la predicción". Medición Psicológica Aplicada . 21 (4): 291–305. doi :10.1177/01466216970214001. ISSN  0146-6216. S2CID  122308344.
16. Mordecai Ezekiel (1930), Métodos de análisis de correlación , Wiley , Wikidata  Q120123877, págs. 208-211.
17. Yin, silbido; Fan, Xitao (enero de 2001). "Estimación de la contracción de R 2 en regresión múltiple: una comparación de diferentes métodos analíticos" (PDF) . La Revista de Educación Experimental . 69 (2): 203–224. doi :10.1080/00220970109600656. ISSN  0022-0973. S2CID  121614674.
18. Suponiendo que se estiman los parámetros p+1
19. Shieh, Gwowen (1 de abril de 2008). "Estimación de contracción mejorada del coeficiente de correlación múltiple al cuadrado y del coeficiente de validez cruzada al cuadrado". Métodos de investigación organizacional . 11 (2): 387–407. doi :10.1177/1094428106292901. ISSN  1094-4281. S2CID  55098407.
20. Olkin, Ingram; Pratt, John W. (marzo de 1958). "Estimación insesgada de determinados coeficientes de correlación". Los anales de la estadística matemática . 29 (1): 201–211. doi : 10.1214/aoms/1177706717 . ISSN  0003-4851.
21. Karch, Julián (29 de septiembre de 2020). "Mejora del R cuadrado ajustado". Colaboración: Psicología . 6 (45). doi : 10.1525/colaboración.343 . hdl : 1887/3161248 . ISSN  2474-7394.
22. Richard Anderson-Sprecher, "Comparaciones de modelos y R2", The American Statistician , volumen 48, número 2, 1994, págs.
23. Nagelkerke, Nueva Jersey (septiembre de 1991). "Una nota sobre una definición general del coeficiente de determinación" (PDF) . Biometrika . 78 (3): 691–692. doi :10.1093/biomet/78.3.691. JSTOR  2337038.
24. "regresión - R implementación del coeficiente de determinación parcial". Validación cruzada .
25. Hoornweg, Víctor (2018). "Parte II: Cómo mantener fijos los parámetros". Ciencia: bajo presentación . Prensa Hoornweg. ISBN 978-90-829188-0-9.
26. Cox, DD; Snell, EJ (1989). El análisis de datos binarios (2ª ed.). Chapman y Hall.
27. Magee, L. (1990). " Medidas de R ^{2 basadas en pruebas de significancia conjunta de razón de verosimilitud y de Wald".} El estadístico estadounidense . 44 (3): 250–3. doi :10.1080/00031305.1990.10475731.
28. Nagelkerke, Nico JD (1992). Estimación de Máxima Verosimilitud de Relaciones Funcionales, Pays-Bas . Apuntes de conferencias sobre estadística. vol. 69.ISBN _ 978-0-387-97721-8.
29. Página web de OriginLab, http://www.originlab.com/doc/Origin-Help/LR-Algorithm. Consultado el 9 de febrero de 2016.
30. Wright, Sewall (enero de 1921). "Correlación y causalidad". Revista de Investigación Agrícola . 20 : 557–585.

Otras lecturas

• Gujarati, Damodar N .; Portero, amanecer C. (2009). Econometría básica (Quinta ed.). Nueva York: McGraw-Hill/Irwin. págs. 73–78. ISBN 978-0-07-337577-9.
• Hughes, Ana; Grawoig, Dennis (1971). Estadísticas: una base para el análisis. Lectura: Addison-Wesley. págs. 344–348. ISBN 0-201-03021-7.
• Kmenta, enero (1986). Elementos de econometría (Segunda ed.). Nueva York: Macmillan. págs. 240-243. ISBN 978-0-02-365070-3.
• Lewis-Beck, Michael S .; Skalaban, Andrés (1990). "La R -Squared: algunas palabras claras". Análisis Político . 2 : 153–171. doi :10.1093/pan/2.1.153. JSTOR  23317769.
• Chicco, Davide; Warrens, Matthijs J.; Jurman, Giuseppe (2021). "El coeficiente de determinación R-cuadrado es más informativo que SMAPE, MAE, MAPE, MSE y RMSE en la evaluación del análisis de regresión". PeerJ Ciencias de la Computación . 7 (e623): e623. doi : 10.7717/peerj-cs.623 . PMC  8279135 . PMID  34307865.