Regresión de mínimos cuadrados parciales

Método estadístico

La regresión de mínimos cuadrados parciales (PLS) es un método estadístico que guarda cierta relación con la regresión de componentes principales ; en lugar de encontrar hiperplanos de varianza máxima entre la respuesta y las variables independientes, encuentra un modelo de regresión lineal al proyectar las variables predichas y las variables observables a un nuevo espacio. Debido a que tanto los datos X como los Y se proyectan a nuevos espacios, la familia de métodos PLS se conoce como modelos factoriales bilineales. El análisis discriminante de mínimos cuadrados parciales (PLS-DA) es una variante que se utiliza cuando Y es categórica.

PLS se utiliza para encontrar las relaciones fundamentales entre dos matrices ( X e Y ), es decir, un enfoque de variable latente para modelar las estructuras de covarianza en estos dos espacios. Un modelo PLS intentará encontrar la dirección multidimensional en el espacio X que explica la dirección de varianza multidimensional máxima en el espacio Y. La regresión PLS es particularmente adecuada cuando la matriz de predictores tiene más variables que observaciones y cuando hay multicolinealidad entre los valores X. Por el contrario, la regresión estándar fallará en estos casos (a menos que esté regularizada ).

Los mínimos cuadrados parciales fueron introducidos por el estadístico sueco Herman OA Wold , quien luego los desarrolló con su hijo, Svante Wold. Un término alternativo para PLS es proyección a estructuras latentes , ^{[1] [2]} pero el término mínimos cuadrados parciales sigue siendo dominante en muchas áreas. Aunque las aplicaciones originales fueron en las ciencias sociales, la regresión PLS es hoy más utilizada en quimiometría y áreas relacionadas. También se utiliza en bioinformática , sensometría , neurociencia y antropología .

Idea central

Idea central de PLS. Los vectores de carga en el espacio de entrada y salida se dibujan en rojo (no normalizados para una mejor visibilidad). Cuando aumenta (independientemente de ), y aumentan. ${\displaystyle {\vec {p}}_{1},{\vec {q}}_{1}}$ ${\displaystyle x_{1}}$ ${\displaystyle x_{2}}$ ${\displaystyle y_{1}}$ ${\displaystyle y_{2}}$

Se nos da una muestra de observaciones pareadas . En el primer paso , la regresión de mínimos cuadrados parciales busca la dirección normalizada que maximiza la covarianza ^[3] ${\displaystyle n}$ ${\displaystyle ({\vec {x}}_{i},{\vec {y}}_{i}),i\in {1,\ldots ,n}}$ ${\displaystyle j=1}$ ${\displaystyle {\vec {p}}_{j}}$ ${\displaystyle {\vec {q}}_{j}}$

${\displaystyle \max _{{\vec {p}}_{j},{\vec {q}}_{j}}\operatorname {E} [\underbrace {({\vec {p}}_{j}\cdot {\vec {X}})} _{t_{j}}\underbrace {({\vec {q}}_{j}\cdot {\vec {Y}})} _{u_{j}}].}$

Nótese a continuación que el algoritmo se denota en notación matricial.

Modelo subyacente

El modelo general subyacente del PLS multivariado con componentes es ${\displaystyle l}$

${\displaystyle X=TP^{\mathrm {T} }+E}$

${\displaystyle Y=UQ^{\mathrm {T} }+F}$

dónde

• X es una matriz de predictores ${\displaystyle n\times m}$
• Y es una matriz de respuestas ${\displaystyle n\times p}$
• T y U son matrices que son, respectivamente, proyecciones de X (la puntuación X , matriz de componentes o factores ) y proyecciones de Y (las puntuaciones Y ). ${\displaystyle n\times \ell }$
• P y Q son, respectivamente, matrices de carga y ${\displaystyle m\times \ell }$ ${\displaystyle p\times \ell }$
• y las matrices E y F son los términos de error, que se supone que son variables normales aleatorias independientes y distribuidas de manera idéntica.

Las descomposiciones de X e Y se realizan de manera de maximizar la covarianza entre T y U.

Obsérvese que esta covarianza se define par por par: la covarianza de la columna i de T (longitud n ) con la columna i de U (longitud n ) se maximiza. Además, la covarianza de la columna i de T con la columna j de U (con ) es cero. ${\displaystyle i\neq j}$

En PLSR, las cargas se eligen de modo que las puntuaciones formen una base ortogonal. Esta es una diferencia importante con el PCA, donde la ortogonalidad se impone a las cargas (y no a las puntuaciones).

Algoritmos

Existen varias variantes de PLS para estimar las matrices factoriales y de carga T, U, P y Q. La mayoría de ellas construyen estimaciones de la regresión lineal entre X e Y como . Algunos algoritmos PLS solo son apropiados para el caso en que Y es un vector columna, mientras que otros tratan el caso general de una matriz Y. Los algoritmos también difieren en si estiman la matriz factorial T como una matriz ortogonal (es decir, ortonormal ) o no. ^{[4] [5] [6] [7] [8] [9]} La predicción final será la misma para todas estas variedades de PLS, pero los componentes diferirán. ${\displaystyle Y=X{\tilde {B}}+{\tilde {B}}_{0}}$

PLS se compone de repetir iterativamente los siguientes pasos k veces (para k componentes):

1. Encontrar las direcciones de covarianza máxima en el espacio de entrada y salida.
2. Realizar una regresión de mínimos cuadrados sobre la puntuación de entrada
3. desinflando la entrada y/o el objetivo ${\displaystyle X}$ ${\displaystyle Y}$

Por favor 1

PLS1 es un algoritmo ampliamente utilizado, apropiado para el caso del vector Y. Estima T como una matriz ortonormal. (Precaución: los vectores t en el código a continuación pueden no estar normalizados apropiadamente; vea la discusión). En pseudocódigo se expresa a continuación (las letras mayúsculas son matrices, las letras minúsculas son vectores si están en superíndice y escalares si están en subíndice).

1 función PLS1( X, y, ℓ ) 2 3 , una estimación inicial de w . ${\displaystyle X^{(0)}\gets X}$ ${\displaystyle w^{(0)}\gets X^{\mathrm {T} }y/\|X^{\mathrm {T} }y\|}$ 4 para  ${\displaystyle k=0}$   ${\displaystyle \ell -1}$ 5 6 (tenga en cuenta que esto es un escalar) 7 8 9 (tenga en cuenta que esto es un escalar)
10 si
11 , rompa el bucle for
12 si
13
14
15 fin para
16 defina W como la matriz con columnas . Haga lo mismo para formar la matriz P y el vector q . ${\displaystyle t^{(k)}\gets X^{(k)}w^{(k)}}$ ${\displaystyle t_{k}\gets {t^{(k)}}^{\mathrm {T} }t^{(k)}}$ ${\displaystyle t^{(k)}\gets t^{(k)}/t_{k}}$ ${\displaystyle p^{(k)}\gets {X^{(k)}}^{\mathrm {T} }t^{(k)}}$ ${\displaystyle q_{k}\gets {y}^{\mathrm {T} }t^{(k)}}$  ${\displaystyle q_{k}=0}$ ${\displaystyle \ell \gets k}$  ${\displaystyle k<(\ell -1)}$ ${\displaystyle X^{(k+1)}\gets X^{(k)}-t_{k}t^{(k)}{p^{(k)}}^{\mathrm {T} }}$ ${\displaystyle w^{(k+1)}\gets {X^{(k+1)}}^{\mathrm {T} }y}$   ${\displaystyle w^{(0)},w^{(1)},\ldots ,w^{(\ell -1)}}$17
18
19 volver ${\displaystyle B\gets W{(P^{\mathrm {T} }W)}^{-1}q}$ ${\displaystyle B_{0}\gets q_{0}-{P^{(0)}}^{\mathrm {T} }B}$  ${\displaystyle B,B_{0}}$

Esta forma del algoritmo no requiere centrar las entradas X e Y , ya que esto lo realiza implícitamente el algoritmo. Este algoritmo incluye la 'deflación' de la matriz X (resta de ), pero no se realiza la deflación del vector y , ya que no es necesaria (se puede demostrar que deflactar y produce los mismos resultados que no deflactar ^[10] ). La variable proporcionada por el usuario l es el límite del número de factores latentes en la regresión; si es igual al rango de la matriz X , el algoritmo producirá las estimaciones de regresión de mínimos cuadrados para B y ${\displaystyle t_{k}t^{(k)}{p^{(k)}}^{\mathrm {T} }}$ ${\displaystyle B_{0}}$

Interpretación geométrica del paso de deflación en el espacio de entrada

Extensiones

OPLS

En 2002 se publicó un nuevo método llamado proyecciones ortogonales a estructuras latentes (OPLS). En OPLS, los datos de variables continuas se separan en información predictiva y no correlacionada (ortogonal). Esto conduce a un mejor diagnóstico, así como a una visualización más fácil de interpretar. Sin embargo, estos cambios solo mejoran la interpretabilidad, no la predictividad, de los modelos PLS. ^[11] De manera similar, OPLS-DA (análisis discriminante) puede aplicarse cuando se trabaja con variables discretas, como en los estudios de clasificación y biomarcadores.

El modelo general subyacente de OPLS es

${\displaystyle X=TP^{\mathrm {T} }+T_{\text{Y-orth}}P_{\text{Y-orth}}^{\mathrm {T} }+E}$

${\displaystyle Y=UQ^{\mathrm {T} }+F}$

o en O2-PLS ^[12]

${\displaystyle X=TP^{\mathrm {T} }+T_{\text{Y-orth}}P_{\text{Y-orth}}^{\mathrm {T} }+E}$

${\displaystyle Y=UQ^{\mathrm {T} }+U_{\text{X-orth}}Q_{\text{X-orth}}^{\mathrm {T} }+F}$

L-PLS

Otra extensión de la regresión PLS, denominada L-PLS por sus matrices en forma de L, conecta tres bloques de datos relacionados para mejorar la previsibilidad. ^[13] En resumen, se agrega una nueva matriz Z , con el mismo número de columnas que la matriz X , al análisis de regresión PLS y puede ser adecuada para incluir información de fondo adicional sobre la interdependencia de las variables predictoras.

3PRF

En 2015, los mínimos cuadrados parciales se relacionaron con un procedimiento llamado filtro de regresión de tres pasos (3PRF). ^[14] Suponiendo que el número de observaciones y variables es grande, el 3PRF (y, por lo tanto, el PLS) es asintóticamente normal para el "mejor" pronóstico implícito en un modelo de factor latente lineal. En los datos del mercado de valores, se ha demostrado que el PLS proporciona pronósticos precisos fuera de la muestra de los rendimientos y el crecimiento del flujo de efectivo. ^[15]

Mínimos cuadrados parciales SVD

Una versión de PLS basada en la descomposición en valores singulares (SVD) proporciona una implementación que hace un uso eficiente de la memoria y que se puede utilizar para abordar problemas de alta dimensión, como relacionar millones de marcadores genéticos con miles de características de imágenes en la genética de imágenes, en hardware de consumo. ^[16]

Correlación PLS

La correlación PLS (PLSC) es otra metodología relacionada con la regresión PLS, ^[17] que se ha utilizado en neuroimagen ^{[17] [18] [19]} y en ciencias del deporte ^[20] para cuantificar la fuerza de la relación entre conjuntos de datos. Normalmente, la PLSC divide los datos en dos bloques (subgrupos), cada uno de los cuales contiene una o más variables, y luego utiliza la descomposición en valores singulares (SVD) para establecer la fuerza de cualquier relación (es decir, la cantidad de información compartida) que pueda existir entre los dos subgrupos componentes. ^[21] Esto se hace utilizando SVD para determinar la inercia (es decir, la suma de los valores singulares) de la matriz de covarianza de los subgrupos en consideración. ^{[21] [17]}

Véase también

• Correlación canónica
• Minería de datos
• Regresión de Deming
• Extracción de características
• Aprendizaje automático
• Modelado de trayectorias por mínimos cuadrados parciales
• Análisis de componentes principales
• Análisis de regresión
• Suma total de cuadrados
• Regresión de búsqueda de proyección

Referencias

1. Wold, S; Sjöström, M.; Eriksson, L. (2001). "Regresión PLS: una herramienta básica de la quimiometría". Quimiometría y sistemas de laboratorio inteligentes . 58 (2): 109–130. doi :10.1016/S0169-7439(01)00155-1. S2CID  11920190.
2. Abdi, Hervé (2010). "Regresión de mínimos cuadrados parciales y proyección sobre regresión de estructura latente (Regresión PLS)". WIREs Computational Statistics . 2 : 97–106. doi :10.1002/wics.51. S2CID  122685021.
3. Ver conferencia https://www.youtube.com/watch?v=Px2otK2nZ1c&t=46s
4. Lindgren, F; Geladi, P; Wold, S (1993). "El algoritmo kernel para PLS". J. Chemometrics . 7 : 45–59. doi :10.1002/cem.1180070104. S2CID  122950427.
5. de Jong, S.; ter Braak, CJF (1994). "Comentarios sobre el algoritmo de núcleo PLS". J. Chemometrics . 8 (2): 169–174. doi :10.1002/cem.1180080208. S2CID  221549296.
6. Dayal, BS; MacGregor, JF (1997). "Algoritmos PLS mejorados". J. Chemometrics . 11 (1): 73–85. doi :10.1002/(SICI)1099-128X(199701)11:1<73::AID-CEM435>3.0.CO;2-#. S2CID  120753851.
7. de Jong, S. (1993). "SIMPLS: un enfoque alternativo a la regresión de mínimos cuadrados parciales". Quimiometría y sistemas de laboratorio inteligentes . 18 (3): 251–263. doi :10.1016/0169-7439(93)85002-X.
8. Rannar, S.; Lindgren, F.; Geladi, P.; Wold, S. (1994). "Un algoritmo de núcleo PLS para conjuntos de datos con muchas variables y menos objetos. Parte 1: teoría y algoritmo". J. Chemometrics . 8 (2): 111–125. doi :10.1002/cem.1180080204. S2CID  121613293.
9. Abdi, H. (2010). "Regresión de mínimos cuadrados parciales y proyección sobre regresión de estructura latente (PLS-Regression)". Wiley Interdisciplinary Reviews: Computational Statistics . 2 : 97–106. doi :10.1002/wics.51. S2CID  122685021.
10. Höskuldsson, Agnar (1988). "Métodos de regresión PLS". Revista de quimiometría . 2 (3): 219. doi :10.1002/cem.1180020306. S2CID  120052390.
11. Trygg, J; Wold, S (2002). "Proyecciones ortogonales a estructuras latentes". Revista de quimiometría . 16 (3): 119–128. doi :10.1002/cem.695. S2CID  122699039.
12. Eriksson, S. Wold y J. Tryg. "O2PLS® para un mejor análisis y visualización de datos complejos". https://www.dynacentrix.com/telecharg/SimcaP/O2PLS.pdf
13. Sæbøa, S.; Almøya, T.; Flatbergb, A.; Aastveita, AH; Martens, H. (2008). "LPLS-regresión: un método para la predicción y clasificación bajo la influencia de la información de fondo sobre las variables predictoras". Quimiometría y sistemas de laboratorio inteligentes . 91 (2): 121–132. doi :10.1016/j.chemolab.2007.10.006.
14. Kelly, Bryan; Pruitt, Seth (1 de junio de 2015). "El filtro de regresión de tres pasos: un nuevo enfoque para la previsión utilizando muchos predictores". Journal of Econometrics . Problemas de alta dimensión en econometría. 186 (2): 294–316. doi :10.1016/j.jeconom.2015.02.011.
15. Kelly, Bryan; Pruitt, Seth (1 de octubre de 2013). "Expectativas del mercado en la sección transversal de valores actuales". The Journal of Finance . 68 (5): 1721–1756. CiteSeerX 10.1.1.498.5973 . doi :10.1111/jofi.12060. ISSN  1540-6261. 
16. Lorenzi, Marco; Altmann, Andre; Gutman, Boris; Wray, Selina; Arber, Charles; Hibar, Derrek P.; Jahanshad, Neda; Schott, Jonathan M.; Alexander, Daniel C. (20 de marzo de 2018). "Susceptibilidad de la atrofia cerebral a TRIB3 en la enfermedad de Alzheimer, evidencia de la priorización funcional en la genética de imágenes". Actas de la Academia Nacional de Ciencias . 115 (12): 3162–3167. Bibcode :2018PNAS..115.3162L. doi : 10.1073/pnas.1706100115 . ISSN  0027-8424. PMC 5866534 . PMID  29511103. 
17. Krishnan, Anjali; Williams, Lynne J.; McIntosh, Anthony Randal; Abdi, Hervé (mayo de 2011). "Métodos de mínimos cuadrados parciales (PLS) para neuroimagen: un tutorial y una revisión". NeuroImage . 56 (2): 455–475. doi :10.1016/j.neuroimage.2010.07.034. PMID  20656037. S2CID  8796113.
18. McIntosh, Anthony R.; Mišić, Bratislav (3 de enero de 2013). "Análisis estadísticos multivariados para datos de neuroimagen". Revista anual de psicología . 64 (1): 499–525. doi :10.1146/annurev-psych-113011-143804. ISSN  0066-4308. PMID  22804773.
19. Beggs, Clive B.; Magnano, Christopher; Belov, Pavel; Krawiecki, Jacqueline; Ramasamy, Deepa P.; Hagemeier, Jesper; Zivadinov, Robert (2016-05-02). de Castro, Fernando (ed.). "Área transversal de la vena yugular interna y pulsatilidad del líquido cefalorraquídeo en el acueducto de Silvio: un estudio comparativo entre sujetos sanos y pacientes con esclerosis múltiple". PLOS ONE . ​​11 (5): e0153960. Bibcode :2016PLoSO..1153960B. doi : 10.1371/journal.pone.0153960 . ISSN  1932-6203. PMC 4852898 . PMID  27135831. 
20. Weaving, Dan; Jones, Ben; Ireton, Matt; Whitehead, Sarah; Till, Kevin; Beggs, Clive B. (14 de febrero de 2019). Connaboy, Chris (ed.). "Superar el problema de la multicolinealidad en los datos de rendimiento deportivo: una nueva aplicación del análisis de correlación de mínimos cuadrados parciales". PLOS ONE . ​​14 (2): e0211776. Bibcode :2019PLoSO..1411776W. doi : 10.1371/journal.pone.0211776 . ISSN  1932-6203. PMC 6375576 ​​. PMID  30763328. 
21. Abdi, Hervé; Williams, Lynne J. (2013), Reisfeld, Brad; Mayeno, Arthur N. (eds.), "Métodos de mínimos cuadrados parciales: correlación de mínimos cuadrados parciales y regresión de mínimos cuadrados parciales", Computational Toxicology , vol. 930, Humana Press, págs. 549–579, doi :10.1007/978-1-62703-059-5_23, ISBN 9781627030588, PMID23086857 ​

Literatura

• Kramer, R. (1998). Técnicas quimiométricas para análisis cuantitativo . Marcel-Dekker. ISBN 978-0-8247-0198-7.
• Frank, Ildiko E.; Friedman, Jerome H. (1993). "Una visión estadística de algunas herramientas de regresión quimiométrica". Technometrics . 35 (2): 109–148. doi :10.1080/00401706.1993.10485033.
• Haenlein, Michael; Kaplan, Andreas M. (2004). "Guía para principiantes sobre análisis de mínimos cuadrados parciales". Understanding Statistics . 3 (4): 283–297. doi :10.1207/s15328031us0304_4.
• Henseler, Jörg; Fassott, Georg (2010). "Prueba de efectos moderadores en modelos de trayectorias PLS: una ilustración de los procedimientos disponibles". En Vinzi, Vincenzo Esposito; Chin, Wynne W.; Henseler, Jörg; Wang, Huiwen (eds.). Manual de mínimos cuadrados parciales: conceptos, métodos y aplicaciones . Springer. págs. 713–735. doi :10.1007/978-3-540-32827-8_31. ISBN 9783540328278.
• Lingjærde, Ole-Christian; Christophersen, Nils (2000). "Estructura de contracción de mínimos cuadrados parciales". Revista escandinava de estadística . 27 (3): 459–473. doi :10.1111/1467-9469.00201. S2CID  121489764.
• Tenenhaus, Michel (1998). La Régresión PLS: Théorie et Pratique. París: Technip .
• Rosipal, Roman; Krämer, Nicole (2006). "Descripción general y avances recientes en mínimos cuadrados parciales". En Saunders, Craig; Grobelnik, Marko; Gunn, Steve; Shawe-Taylor, John (eds.). Subspace, Latent Structure and Feature Selection: Statistical and Optimization Perspectives Workshop, SLSFS 2005, Bohinj, Eslovenia, 23-25 ​​de febrero de 2005, Documentos revisados ​​seleccionados . Notas de clase en informática. Springer. págs. 34-51. doi :10.1007/11752790_2. ISBN 9783540341383.
• Helland, Inge S. (1990). "Regresión PLS y modelos estadísticos". Revista Escandinava de Estadística . 17 (2): 97–114. JSTOR  4616159.
• Wold, Herman (1966). "Estimación de componentes principales y modelos relacionados mediante mínimos cuadrados iterativos". En Krishnaiaah, PR (ed.). Análisis multivariado . Nueva York: Academic Press. págs. 391–420.
• Wold, Herman (1981). El enfoque de punto fijo para sistemas interdependientes . Ámsterdam: Holanda Septentrional.
• Wold, Herman (1985). "Mínimos cuadrados parciales". En Kotz, Samuel; Johnson, Norman L. (eds.). Enciclopedia de ciencias estadísticas . Vol. 6. Nueva York: Wiley. págs. 581–591.
• Wold, Svante; Ruhe, Axel; Wold, Herman; Dunn, WJ (1984). "El problema de la colinealidad en la regresión lineal. El enfoque de mínimos cuadrados parciales (PLS) para las inversas generalizadas". Revista SIAM sobre computación científica y estadística . 5 (3): 735–743. doi :10.1137/0905052.
• Garthwaite, Paul H. (1994). "Una interpretación de los mínimos cuadrados parciales". Revista de la Asociación Estadounidense de Estadística . 89 (425): 122–7. doi :10.1080/01621459.1994.10476452. JSTOR  2291207.
• Wang, H., ed. (2010). Manual de mínimos cuadrados parciales . ISBN 978-3-540-32825-4.
• Stone, M.; Brooks, RJ (1990). "Regresión continua: predicción construida secuencialmente con validación cruzada que abarca mínimos cuadrados ordinarios, mínimos cuadrados parciales y regresión de componentes principales". Revista de la Royal Statistical Society, Serie B . 52 (2): 237–269. doi :10.1111/j.2517-6161.1990.tb01786.x. JSTOR  2345437.

Enlaces externos

• Una breve introducción a la regresión PLS y su historia
• Vídeo: Derivación de PLS por el profesor H. Harry Asada