Regularización neta elástica

Método de regresión estadística

En estadística y, en particular, en el ajuste de modelos de regresión lineal o logística , la red elástica es un método de regresión regularizado que combina linealmente las penalizaciones L 1 y L 2 de los métodos de lazo y cresta .

Especificación

El método de la red elástica supera las limitaciones del método LASSO (operador de selección y contracción mínima absoluta), que utiliza una función de penalización basada en

${\displaystyle \|\beta \|_{1}=\textstyle \sum _{j=1}^{p}|\beta _{j}|.}$

El uso de esta función de penalización tiene varias limitaciones. ^[1] Por ejemplo, en el caso de " p grande , n pequeña " (datos de alta dimensión con pocos ejemplos), LASSO selecciona como máximo n variables antes de saturarse. Además, si hay un grupo de variables altamente correlacionadas, LASSO tiende a seleccionar una variable de un grupo e ignorar las demás. Para superar estas limitaciones, la red elástica agrega una parte cuadrática ( ) a la penalización, que cuando se usa sola es una regresión de crestas (conocida también como regularización de Tikhonov ). Las estimaciones del método de la red elástica están definidas por ${\displaystyle \|\beta \|^{2}}$

${\displaystyle {\hat {\beta }}\equiv {\underset {\beta }{\operatorname {argmin} }}(\|y-X\beta \|^{2}+\lambda _{2}\|\beta \|^{2}+\lambda _{1}\|\beta \|_{1}).}$

El término de penalización cuadrática hace que la función de pérdida sea fuertemente convexa y, por lo tanto, tiene un mínimo único. El método de la red elástica incluye el LASSO y la regresión de crestas: en otras palabras, cada uno de ellos es un caso especial donde o . Mientras tanto, la versión ingenua del método de la red elástica encuentra un estimador en un procedimiento de dos etapas: primero, para cada fijo, encuentra los coeficientes de regresión de la cresta y luego realiza una contracción tipo LASSO. Este tipo de estimación implica una contracción doble, lo que conduce a un mayor sesgo y predicciones deficientes. Para mejorar el rendimiento de la predicción, a veces los coeficientes de la versión ingenua de la red elástica se reescalan multiplicando los coeficientes estimados por . ^[1] ${\displaystyle \lambda _{1}=\lambda ,\lambda _{2}=0}$ ${\displaystyle \lambda _{1}=0,\lambda _{2}=\lambda }$ ${\displaystyle \lambda _{2}}$ ${\displaystyle (1+\lambda _{2})}$

Ejemplos de dónde se ha aplicado el método de la red elástica son:

• Máquina de vectores de soporte ^[2]
• Aprendizaje métrico ^[3]
• Optimización de cartera ^[4]
• Pronóstico del cáncer ^[5]

Reducción a máquina de vectores de soporte.

A finales de 2014, se demostró que la red elástica se puede reducir a la máquina de vectores de soporte lineal . ^[6] Anteriormente se demostró una reducción similar para LASSO en 2014. ^[7] Los autores demostraron que para cada instancia de la red elástica, se puede construir un problema de clasificación binaria artificial de modo que la solución hiperplana de un vector de soporte lineal La máquina (SVM) es idéntica a la solución (después de volver a escalar). La reducción permite inmediatamente el uso de solucionadores SVM altamente optimizados para problemas de redes elásticas. También permite el uso de la aceleración de GPU , que a menudo ya se utiliza para solucionadores SVM a gran escala. ^[8] La reducción es una simple transformación de los datos originales y las constantes de regularización. ${\displaystyle \beta }$

${\displaystyle X\in {\mathbb {R} }^{n\times p},y\in {\mathbb {R} }^{n},\lambda _{1}\geq 0,\lambda _{2}\geq 0}$

en nuevas instancias de datos artificiales y una constante de regularización que especifica un problema de clasificación binaria y la constante de regularización SVM

${\displaystyle X_{2}\in {\mathbb {R} }^{2p\times n},y_{2}\in \{-1,1\}^{2p},C\geq 0.}$

Aquí, consta de etiquetas binarias . Cuando suele ser más rápido resolver la SVM lineal en el primario, mientras que de lo contrario la formulación dual es más rápida. Algunos autores se han referido a la transformación como Support Vector Elastic Net (SVEN) y proporcionaron el siguiente pseudocódigo de MATLAB: ${\displaystyle y_{2}}$ ${\displaystyle {-1,1}}$ ${\displaystyle 2p>n}$

función  β = SVEN ( X, y, t, λ2 ); [ n , p ] = tamaño ( X ); X2 = [ bsxfun ( @ menos , X , y./t ) ; bsxfun (@ plus , X , y ./ t )] ' ; Y2 = [ unidades ( p , 1 ); - unos ( p , 1 )]; si 2 p > n entonces w = SVMPrimal ( X2 , Y2 , C = 1 / ( 2 * λ2 )); α = C * máx ( 1 - Y2 .* ( X2 * w ), 0 ); else α = SVMDual ( X2 , Y2 , C = 1 / ( 2 * λ2 )); terminar si β = t * ( α ( 1 : p ) - α ( p + 1 : 2 p )) / suma ( α );                                                       

Software

• "Glmnet: modelos lineales generalizados regularizados de Lasso y elastic-net" es un software que se implementa como un paquete fuente R y como una caja de herramientas MATLAB . ^{[9] [10]} Esto incluye algoritmos rápidos para la estimación de modelos lineales generalizados con ℓ ₁ (el lazo), ℓ ₂ (regresión de cresta) y mezclas de las dos penalizaciones (la red elástica) utilizando un descenso de coordenadas cíclico, calculado a lo largo de una regularización. camino.
• JMP Pro 11 incluye regularización de red elástica, utilizando la personalidad de Regresión Generalizada con Fit Model.
• "pensim: simulación de datos de alta dimensión y regresión penalizada repetida paralelizada" implementa un método de ajuste "2D" paralelizado alternativo de los parámetros ℓ, un método que, según se afirma, da como resultado una precisión de predicción mejorada. ^{[11] [12]}
• scikit-learn incluye regresión lineal y regresión logística con regularización neta elástica.
• SVEN, una implementación de Matlab de Support Vector Elastic Net. Este solucionador reduce el problema de Elastic Net a una instancia de clasificación binaria SVM y utiliza un solucionador SVM de Matlab para encontrar la solución. Debido a que SVM es fácilmente paralelizable, el código puede ser más rápido que Glmnet en hardware moderno. ^[13]
• SpaSM, una implementación de Matlab de regresión dispersa, clasificación y análisis de componentes principales, incluida la regresión regularizada de red elástica. ^[14]
• Apache Spark brinda soporte para Elastic Net Regression en su biblioteca de aprendizaje automático MLlib. El método está disponible como parámetro de la clase LinearRegression más general. ^[15]
• SAS (software) El procedimiento SAS Glmselect ^[16] y el procedimiento SAS Viya Regselect ^[17] admiten el uso de regularización de red elástica para la selección de modelos.

Referencias

1. Zou, Hui; Hastie, Trevor (2005). "Regularización y selección de variables a través de la red elástica". Revista de la Royal Statistical Society, Serie B. 67 (2): 301–320. CiteSeerX  10.1.1.124.4696 . doi :10.1111/j.1467-9868.2005.00503.x. S2CID  122419596.
2. Wang, Li; Zhu, Ji; Zou, Hui (2006). «La máquina de vectores de soporte doblemente regularizada» (PDF) . Estadística Sínica . 16 : 589–615.
3. Liu, Meizhu; Vemuri, Baba (2012). "Un enfoque de aprendizaje métrico doblemente regularizado robusto y eficiente". Actas de la 12ª Conferencia Europea sobre Visión por Computadora . Apuntes de conferencias sobre informática. Parte IV: 646–659. doi :10.1007/978-3-642-33765-9_46. ISBN 978-3-642-33764-2. PMC  3761969 . PMID  24013160.
4. Shen, Weiwei; Wang, junio; Mamá, Shiqian (2014). “Cartera Doblemente Regularizada con Minimización de Riesgos”. Actas de la Vigésima Octava Conferencia AAAI sobre Inteligencia Artificial . 28 : 1286-1292. doi : 10.1609/aaai.v28i1.8906 . S2CID  11017740.
5. Milanez-Almeida, Pedro; Martins, Andrés J.; Germain, Ronald N.; Tsang, John S. (10 de febrero de 2020). "Pronóstico del cáncer con secuenciación superficial del ARN tumoral". Medicina de la Naturaleza . 26 (2): 188-192. doi :10.1038/s41591-019-0729-3. ISSN  1546-170X. PMID  32042193. S2CID  211074147.
6. Zhou, Quan; Chen, Wenlin; Canción, Shiji; Gardner, Jacob; Weinberger, Kilian; Chen, Yixin. Una reducción de la red elástica para soportar máquinas vectoriales con una aplicación a la computación GPU. Asociación para el Avance de la Inteligencia Artificial .
7. Jaggi, Martín (2014). Suykens, Johan; Signoretto, Marco; Argyriou, Andreas (eds.). "Una equivalencia entre las máquinas Lasso y las de vectores de soporte" . Chapman y Hall/CRC. arXiv : 1303.1152 .
8. "GTSVM". uchicago.edu .
9. Friedman, Jerónimo; Trevor Hastie; Rob Tibshirani (2010). "Rutas de regularización para modelos lineales generalizados mediante descenso de coordenadas". Revista de software estadístico . 33 (1): 1–22. doi : 10.18637/jss.v033.i01. PMC 2929880 . PMID  20808728. 
10. "CRAN - Paquete glmnet". r-project.org .
11. Waldron, L.; Pintilie, M.; Tsao, M.-S.; Pastor, FA; Huttenhower, C.; Jurísica, I. (2011). "Aplicación optimizada de métodos de regresión penalizados a diversos datos genómicos". Bioinformática . 27 (24): 3399–3406. doi : 10.1093/bioinformática/btr591. PMC 3232376 . PMID  22156367. 
12. "CRAN - Paquete pensim". r-project.org .
13. "mlcircus / SVEN - Bitbucket". bitbucket.org .
14. Sjostrand, Karl; Clemmensen, Línea; Einarsson, Gudmundur; Larsen, Rasmus; Ersbøll, Bjarne (2 de febrero de 2016). "SpaSM: una caja de herramientas de Matlab para modelado estadístico disperso" (PDF) . Revista de software estadístico .
15. "Paquete pyspark.ml - documentación de PySpark 1.6.1". spark.apache.org . Consultado el 17 de abril de 2019 .
16. "Proc Glmselect" . Consultado el 9 de mayo de 2019 .
17. "Un estudio de métodos de selección de variables y regresión penalizada" (PDF) .

Otras lecturas

• Hastie, Trevor ; Tibshirani, Robert ; Friedman, Jerome (2017). "Métodos de contracción" (PDF) . Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción (2ª ed.). Nueva York: Springer. págs. 61–79. ISBN 978-0-387-84857-0.

enlaces externos

• Regularización y Selección de Variables mediante la Red Elástica (presentación)