Regularización de red elástica

Método de regresión estadística

En estadística y, en particular, en el ajuste de modelos de regresión lineal o logística , la red elástica es un método de regresión regularizado que combina linealmente las penalizaciones L 1 y L 2 de los métodos lasso y ridge .

Especificación

El método de red elástica supera las limitaciones del método LASSO (operador de selección y contracción mínima absoluta) que utiliza una función de penalización basada en

${\displaystyle \|\beta \|_{1}=\textstyle \sum _{j=1}^{p}|\beta _{j}|.}$

El uso de esta función de penalización tiene varias limitaciones. ^[1] Por ejemplo, en el caso de " p grande , n pequeña " (datos de alta dimensión con pocos ejemplos), el LASSO selecciona como máximo n variables antes de saturarse. Además, si hay un grupo de variables altamente correlacionadas, entonces el LASSO tiende a seleccionar una variable de un grupo e ignorar las demás. Para superar estas limitaciones, la red elástica agrega una parte cuadrática ( ) a la penalización, que cuando se usa sola es una regresión de cresta (también conocida como regularización de Tikhonov ). Las estimaciones del método de red elástica se definen por ${\displaystyle \|\beta \|^{2}}$

${\displaystyle {\hat {\beta }}\equiv {\underset {\beta }{\operatorname {argmin} }}(\|y-X\beta \|^{2}+\lambda _{2}\|\beta \|^{2}+\lambda _{1}\|\beta \|_{1}).}$

El término de penalización cuadrático hace que la función de pérdida sea fuertemente convexa y, por lo tanto, tiene un mínimo único. El método de red elástica incluye LASSO y la regresión de cresta: en otras palabras, cada uno de ellos es un caso especial donde o . Mientras tanto, la versión ingenua del método de red elástica encuentra un estimador en un procedimiento de dos etapas: primero, para cada fijo, encuentra los coeficientes de regresión de cresta y luego realiza una contracción de tipo LASSO. Este tipo de estimación incurre en una cantidad doble de contracción, lo que conduce a un mayor sesgo y predicciones deficientes. Para mejorar el rendimiento de la predicción, a veces los coeficientes de la versión ingenua de la red elástica se reescalan multiplicando los coeficientes estimados por . ^[1] ${\displaystyle \lambda _{1}=\lambda ,\lambda _{2}=0}$ ${\displaystyle \lambda _{1}=0,\lambda _{2}=\lambda }$ ${\displaystyle \lambda _{2}}$ ${\displaystyle (1+\lambda _{2})}$

Algunos ejemplos de aplicación del método de red elástica son:

• Máquina de vectores de soporte ^[2]
• Aprendizaje métrico ^[3]
• Optimización de cartera ^[4]
• Pronóstico del cáncer ^[5]

Reducción a máquina de vectores de soporte

En 2014 se demostró que la red elástica se puede reducir a la máquina de vectores de soporte lineal . ^[6] Una reducción similar se demostró previamente para LASSO en 2014. ^[7] Los autores demostraron que para cada instancia de la red elástica, se puede construir un problema de clasificación binaria artificial de modo que la solución de hiperplano de una máquina de vectores de soporte lineal (SVM) sea idéntica a la solución (después del reescalado). La reducción permite inmediatamente el uso de solucionadores SVM altamente optimizados para problemas de redes elásticas. También permite el uso de aceleración de GPU , que a menudo ya se utiliza para solucionadores SVM a gran escala. ^[8] La reducción es una transformación simple de los datos originales y las constantes de regularización. ${\displaystyle \beta }$

${\displaystyle X\in {\mathbb {R} }^{n\times p},y\in {\mathbb {R} }^{n},\lambda _{1}\geq 0,\lambda _{2}\geq 0}$

en nuevas instancias de datos artificiales y una constante de regularización que especifican un problema de clasificación binaria y la constante de regularización SVM

${\displaystyle X_{2}\in {\mathbb {R} }^{2p\times n},y_{2}\in \{-1,1\}^{2p},C\geq 0.}$

Aquí, consta de etiquetas binarias . Normalmente, es más rápido resolver la SVM lineal en el modelo primario, mientras que, de lo contrario, la formulación dual es más rápida. Algunos autores se han referido a la transformación como red elástica de vectores de soporte (SVEN) y han proporcionado el siguiente pseudocódigo de MATLAB: ${\displaystyle y_{2}}$ ${\displaystyle {-1,1}}$ ${\displaystyle 2p>n}$

función  β = SVEN ( X, y, t, λ2 ); [ n , p ] = tamaño ( X ); X2 = [ bsxfun (@ minus , X , y ./ t ); bsxfun (@ plus , X , y ./ t )] ' ; Y2 = [ unos ( p , 1 ); - unos ( p , 1 )]; si 2 p > n entonces w = SVMPrimal ( X2 , Y2 , C = 1 / ( 2 * λ2 )); α = C * max ( 1 - Y2 .* ( X2 * w ), 0 ); de lo contrario α = SVMDual ( X2 , Y2 , C = 1 / ( 2 * λ2 )); terminar si β = t * ( α ( 1 : p ) - α ( p + 1 : 2 p )) / suma ( α );                                                       

Software

• "Glmnet: Lasso and elastic-net regularized generalized linear models" es un software que se implementa como un paquete fuente R y como una caja de herramientas MATLAB . ^{[9] [10]} Esto incluye algoritmos rápidos para la estimación de modelos lineales generalizados con ℓ ₁ (el lazo), ℓ ₂ (regresión de cresta) y mezclas de las dos penalizaciones (la red elástica) utilizando descenso de coordenadas cíclicas, calculadas a lo largo de una ruta de regularización.
• JMP Pro 11 incluye regularización de red elástica, utilizando la personalidad de regresión generalizada con modelo de ajuste.
• "pensim: Simulación de datos de alta dimensión y regresión penalizada repetida paralelizada" implementa un método de ajuste "2D" alternativo y paralelizado de los parámetros ℓ, un método que se afirma que da como resultado una precisión de predicción mejorada. ^{[11] [12]}
• scikit-learn incluye regresión lineal y regresión logística con regularización de red elástica.
• SVEN, una implementación de Matlab de Support Vector Elastic Net. Este solucionador reduce el problema de Elastic Net a una instancia de clasificación binaria SVM y utiliza un solucionador SVM de Matlab para encontrar la solución. Debido a que SVM es fácilmente paralelizable, el código puede ser más rápido que Glmnet en hardware moderno. ^[13]
• SpaSM, una implementación de Matlab de regresión dispersa, clasificación y análisis de componentes principales, incluida la regresión regularizada de red elástica. ^[14]
• Apache Spark ofrece compatibilidad con Elastic Net Regression en su biblioteca de aprendizaje automático MLlib. El método está disponible como parámetro de la clase más general LinearRegression. ^[15]
• SAS (software) El procedimiento SAS Glmselect ^[16] y el procedimiento SAS Viya Regselect ^[17] admiten el uso de la regularización de red elástica para la selección de modelos.

Referencias

1. Zou, Hui; Hastie, Trevor (2005). "Regularización y selección de variables a través de la red elástica". Revista de la Royal Statistical Society, Serie B . 67 (2): 301–320. CiteSeerX  10.1.1.124.4696 . doi :10.1111/j.1467-9868.2005.00503.x. S2CID  122419596.
2. Wang, Li; Zhu, Ji; Zou, Hui (2006). "La máquina de vectores de soporte doblemente regularizada" (PDF) . Statistica Sinica . 16 : 589–615.
3. Liu, Meizhu; Vemuri, Baba (2012). "Un enfoque de aprendizaje métrico doblemente regularizado, robusto y eficiente". Actas de la 12.ª Conferencia Europea sobre Visión por Computador . Apuntes de clase en Ciencias de la Computación. Parte IV: 646–659. doi :10.1007/978-3-642-33765-9_46. ISBN 978-3-642-33764-2. PMC  3761969 . PMID  24013160.
4. Shen, Weiwei; Wang, Jun; Ma, Shiqian (2014). "Cartera doblemente regularizada con minimización de riesgos". Actas de la vigésimo octava conferencia de la AAAI sobre inteligencia artificial . 28 : 1286–1292. doi : 10.1609/aaai.v28i1.8906 . S2CID  11017740.
5. Milanez-Almeida, Pedro; Martins, Andrew J.; Germain, Ronald N.; Tsang, John S. (10 de febrero de 2020). "Pronóstico del cáncer con secuenciación superficial del ARN tumoral". Nature Medicine . 26 (2): 188–192. doi :10.1038/s41591-019-0729-3. ISSN  1546-170X. PMID  32042193. S2CID  211074147.
6. Zhou, Quan; Chen, Wenlin; Song, Shiji; Gardner, Jacob; Weinberger, Kilian; Chen, Yixin. Una reducción de la red elástica para máquinas de vectores de soporte con una aplicación a la computación GPU. Asociación para el Avance de la Inteligencia Artificial .
7. Jaggi, Martin (2014). Suykens, Johan; Signoretto, Marco; Argyriou, Andreas (eds.). Una equivalencia entre las máquinas Lasso y de vectores de soporte . Chapman y Hall/CRC. arXiv : 1303.1152 .
8. "GTSVM". uchicago.edu .
9. Friedman, Jerome; Trevor Hastie; Rob Tibshirani (2010). "Rutas de regularización para modelos lineales generalizados mediante descenso de coordenadas". Revista de software estadístico . 33 (1): 1–22. doi :10.18637/jss.v033.i01. PMC 2929880 . PMID  20808728. 
10. "CRAN - Paquete glmnet". r-project.org .
11. Waldron, L.; Pintilie, M.; Tsao, M. -S.; Shepherd, FA; Huttenhower, C.; Jurisica, I. (2011). "Aplicación optimizada de métodos de regresión penalizada a diversos datos genómicos". Bioinformática . 27 (24): 3399–3406. doi :10.1093/bioinformatics/btr591. PMC 3232376 . PMID  22156367. 
12. "CRAN - Paquete pensim". r-project.org .
13. "mlcircus / SVEN — Bitbucket". bitbucket.org .
14. Sjostrand, Karl; Clemmensen, Línea; Einarsson, Gudmundur; Larsen, Rasmus; Ersbøll, Bjarne (2 de febrero de 2016). "SpaSM: una caja de herramientas de Matlab para modelado estadístico disperso" (PDF) . Revista de software estadístico .
15. "paquete pyspark.ml — documentación de PySpark 1.6.1". spark.apache.org . Consultado el 17 de abril de 2019 .
16. "Proc Glmselect" . Consultado el 9 de mayo de 2019 .
17. "Un estudio de métodos de selección de variables y regresión penalizada" (PDF) .

Lectura adicional

• Hastie, Trevor ; Tibshirani, Robert ; Friedman, Jerome (2017). "Métodos de contracción" (PDF) . Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción (2.ª ed.). Nueva York: Springer. págs. 61–79. ISBN 978-0-387-84857-0.

Enlaces externos

• Regularización y selección de variables mediante la red elástica (presentación)