CP de Mallows

En estadística , la ecuación de Mallows , ^{[1] [2]} llamada así por Colin Lingwood Mallows , se utiliza para evaluar el ajuste de un modelo de regresión que se ha estimado utilizando mínimos cuadrados ordinarios . Se aplica en el contexto de la selección de modelos , donde hay una serie de variables predictoras disponibles para predecir algún resultado, y el objetivo es encontrar el mejor modelo que involucre un subconjunto de estos predictores. Un valor pequeño de significa que el modelo es relativamente preciso. ${\textstyle {\boldsymbol {C_{p}}}}$ ${\textstyle C_{p}}$

Se ha demostrado que el C _p de Mallows es equivalente al criterio de información de Akaike en el caso especial de la regresión lineal gaussiana . ^[3]

Definición y propiedades

El C _p de Mallows aborda el problema del sobreajuste , en el que las estadísticas de selección de modelos, como la suma de cuadrados residuales, siempre se hacen más pequeñas a medida que se agregan más variables a un modelo. Por lo tanto, si nuestro objetivo es seleccionar el modelo que proporcione la suma de cuadrados residuales más pequeña, siempre se seleccionará el modelo que incluya todas las variables. En cambio, la estadística C _p calculada sobre una muestra de datos estima el error de predicción de la suma de cuadrados (SSPE) como su objetivo poblacional .

${\displaystyle E\sum _{i}({\hat {Y}}_{i}-E(Y_{i}\mid X_{i}))^{2}/\sigma ^{2},}$

donde es el valor ajustado del modelo de regresión para el i- ésimo caso, E ( Y _i  |  X _i ) es el valor esperado para el i- ésimo caso, y σ ² es la varianza del error (asumida constante en todos los casos). El error cuadrático medio de predicción (MSPE) no se reducirá automáticamente a medida que se agreguen más variables. El modelo óptimo bajo este criterio es un compromiso influenciado por el tamaño de la muestra, los tamaños del efecto de los diferentes predictores y el grado de colinealidad entre ellos. ${\displaystyle {\hat {Y}}_{i}}$

Si se seleccionan regresores P de un conjunto de K > P , la estadística C _p para ese conjunto particular de regresores se define como:

${\displaystyle C_{p}={SSE_{p} \over S^{2}}-N+2(P+1),}$

dónde

• ${\displaystyle SSE_{p}=\sum _{i=1}^{N}(Y_{i}-{\hat {Y}}_{pi})^{2}}$es la suma de cuadrados del error para el modelo con regresores P ,
• Y _pi es el valor predicho de la i- ésima observación de Y de los regresores P ,
• S ² es la estimación de la varianza de los residuos después de la regresión en el conjunto completo de K regresores y se puede estimar mediante , ^[4] ${\displaystyle {1 \over N-K}\sum _{i=1}^{N}(Y_{i}-{\hat {Y}}_{i})^{2}}$
• y N es el tamaño de la muestra .

Definición alternativa

Dado un modelo lineal como:

${\displaystyle Y=\beta _{0}+\beta _{1}X_{1}+\cdots +\beta _{p}X_{p}+\varepsilon }$

dónde:

• ${\displaystyle \beta _{0},\ldots ,\beta _{p}}$son coeficientes para variables predictoras ${\displaystyle X_{1},\ldots ,X_{p}}$
• ${\displaystyle \varepsilon }$representa error

Una versión alternativa de C _p también se puede definir como: ^[5]

${\displaystyle C_{p}={\frac {1}{n}}(\operatorname {RSS} +2p{\hat {\sigma }}^{2})}$

dónde

• RSS es la suma residual de cuadrados en un conjunto de datos de entrenamiento
• p es el número de predictores
• y se refiere a una estimación de la varianza asociada con cada respuesta en el modelo lineal (estimada en un modelo que contiene todos los predictores) ${\displaystyle {\hat {\sigma }}^{2}}$

Tenga en cuenta que esta versión de C _p no da valores equivalentes a la versión anterior, pero el modelo con el C _p más pequeño de esta definición también será el mismo modelo con el C _p más pequeño de la definición anterior.

Limitaciones

El criterio C _p adolece de dos limitaciones principales ^[6]

1. La aproximación C _p sólo es válida para tamaños de muestra grandes;
2. El C _p no puede manejar colecciones complejas de modelos como en el problema de selección de variables (o selección de características ). ^[6]

Uso práctico

La estadística C _p se utiliza a menudo como regla de detención para varias formas de regresión por pasos . Mallows propuso la estadística como criterio para seleccionar entre muchas regresiones de subconjuntos alternativas. En un modelo que no sufre de una falta apreciable de ajuste (sesgo), C _p tiene una expectativa casi igual a P ; de lo contrario, la expectativa es aproximadamente P más un término de sesgo positivo. Sin embargo, aunque tiene una expectativa mayor o igual a P , no hay nada que impida que C _p < P o incluso C _p < 0 en casos extremos. Se sugiere que uno debería elegir un subconjunto que tenga C _p acercándose a P , ^[7] de arriba, para una lista de subconjuntos ordenados por P creciente . En la práctica, el sesgo positivo se puede ajustar seleccionando un modelo de la lista ordenada de subconjuntos, de modo que C _p < 2 P .

Dado que la estadística C _p basada en la muestra es una estimación del MSPE, el uso de C _p para la selección del modelo no protege completamente contra el sobreajuste. Por ejemplo, es posible que el modelo seleccionado sea uno en el que el C _p de la muestra haya sido una subestimación particularmente grave del MSPE.

Las estadísticas de selección de modelos como C _p generalmente no se utilizan a ciegas, sino que en el proceso de selección del modelo se tienen en cuenta la información sobre el campo de aplicación, el uso previsto del modelo y cualquier sesgo conocido en los datos.

Véase también

• Bondad de ajuste: análisis de regresión
• Coeficiente de determinación

Referencias

1. Mallows, CL (1973). "Algunos comentarios sobre C _P ". Technometrics . 15 (4): 661–675. doi :10.2307/1267380. JSTOR  1267380.
2. Gilmour, Steven G. (1996). "La interpretación del estadístico C _p de Mallows ". Revista de la Royal Statistical Society, Serie D . 45 (1): 49–56. JSTOR  2348411.
3. Boisbunon, Aurélie; Canu, Stephane; Fourdrinier, Dominique; Strawderman, William; Wells, Martin T. (2013). "AIC, C _p y estimadores de pérdida para distribuciones elípticamente simétricas". arXiv : 1308.2766 [math.ST].
4. Mallows, CL (1973). "Algunos comentarios sobre C _P ". Technometrics . 15 (4): 661–675. doi :10.2307/1267380. JSTOR  1267380.
5. James, Gareth; Witten; Hastie; Tibshirani (24 de junio de 2013). Introducción al aprendizaje estadístico . Springer. ISBN 978-1-4614-7138-7.
6. Giraud, C. (2015), Introducción a las estadísticas de alta dimensión , Chapman & Hall/CRC, ISBN 9781482237948 
7. Daniel, C.; Wood, F. (1980). Ajuste de ecuaciones a los datos (edición rev.). Nueva York: Wiley & Sons, Inc.

Lectura adicional

• Chow, Gregory C. (1983). Econometría . Nueva York: McGraw-Hill. pp. 291–293. ISBN. 978-0-07-010847-9.
• Hocking, RR (1976). "El análisis y selección de variables en regresión lineal". Biometrics . 32 (1): 1–50. CiteSeerX  10.1.1.472.4742 . doi :10.2307/2529336. JSTOR  2529336.
• Judge, George G.; Griffiths, William E.; Hill, R. Carter; Lee, Tsoung-Chao (1980). La teoría y la práctica de la econometría . Nueva York: Wiley. págs. 417–423. ISBN. 978-0-471-05938-7.