Regresión de mínimos cuadrados parciales

La regresión de mínimos cuadrados parciales ( regresión PLS ) es un método estadístico que guarda cierta relación con la regresión de componentes principales ; en lugar de encontrar hiperplanos de varianza máxima entre la respuesta y las variables independientes, encuentra un modelo de regresión lineal proyectando las variables predichas y las variables observables a un nuevo espacio. Debido a que tanto los datos X como Y se proyectan a nuevos espacios, la familia de métodos PLS se conoce como modelos factoriales bilineales. El análisis discriminante de mínimos cuadrados parciales (PLS-DA) es una variante que se utiliza cuando la Y es categórica.

PLS se utiliza para encontrar las relaciones fundamentales entre 2 matrices ( X e Y ), es decir, un enfoque de variable latente para modelar las estructuras de covarianza en estos dos espacios. Un modelo PLS intentará encontrar la dirección multidimensional en el espacio X que explique la dirección de la varianza multidimensional máxima en el espacio Y. La regresión PLS es particularmente adecuada cuando la matriz de predictores tiene más variables que observaciones y cuando existe multicolinealidad entre los valores de X. Por el contrario, la regresión estándar fallará en estos casos (a menos que esté regularizada ).

Los mínimos cuadrados parciales fueron introducidos por el estadístico sueco Herman OA Wold , quien luego lo desarrolló con su hijo, Svante Wold. Un término alternativo para PLS es proyección a estructuras latentes , ^[1]^[2] pero el término mínimos cuadrados parciales sigue siendo dominante en muchas áreas. Aunque las aplicaciones originales estaban en las ciencias sociales, la regresión PLS se utiliza hoy en día más ampliamente en quimiometría y áreas relacionadas. También se utiliza en bioinformática , sensometría , neurociencia y antropología .

Idea principal

Dadas muestras aleatorias pareadas . En el primer paso , la regresión de mínimos cuadrados parcial busca la dirección normalizada , de modo que se maximice la correlación ^[3] . Tenga en cuenta que a continuación el algoritmo se indica en notación matricial. $n$ $({\vec {x}}_{i},{\vec {y}}_{i}),i\in {1,...,n}$ $j=1$ ${\vec {p}}_{j}$ ${\vec {q}}_{j}$ $\max _{{\vec {p}}_{j},{\vec {q}}_{j}}E_{{\vec {X}},{\vec {Y}}}[ \underbrace {({\vec {p}}_{j}\cdot {\vec {X}})} _{t_{j}}\underbrace {({\vec {q}}_{j}\cdot {\vec {Y}})} _ {u_ {j}}]$

Modelo subyacente

El modelo subyacente general de PLS multivariado con componentes es $l$

X=TP^{\mathrm {T} }+E

Y=UQ^{\mathrm {T} }+F

dónde

$X$ es una matriz de predictores $n\times m$
$Y$ es una matriz de respuestas $n\times p$
$T$ y $U$ son matrices que son, respectivamente, proyecciones de $X$ (la puntuación X , matriz de componentes o factores ) y proyecciones de $Y$ (las puntuaciones Y ) $n\veces l$
$P$ y $Q$ son, respectivamente, matrices de carga . $m\veces l$ $p\veces l$
y las matrices $E$ y $F$ son los términos de error, que se supone que son variables normales aleatorias independientes e idénticamente distribuidas.

Las descomposiciones de $X$ e $Y$ se realizan de manera que se maximice la covarianza entre $T$ y $U.$

Tenga en cuenta que esta covarianza se define par por par: la covarianza de la columna i de $T$ (longitud n) con la columna i de $U$ (longitud n) se maximiza. Además, la covarianza de la columna i de $T$ con la columna j de $U$ (con ) es cero. $i\not =j$

En PLSR, las cargas se eligen de modo que las puntuaciones formen una base ortogonal. Ésta es una diferencia importante con el PCA, donde se impone la ortogonalidad a las cargas (y no a las puntuaciones).

Algoritmos

Existen varias variantes de PLS para estimar el factor y las matrices de carga T $, U, P$ y $Q.$ La mayoría de ellos construye estimaciones de la regresión lineal entre $X$ e $Y$ como . Algunos algoritmos PLS solo son apropiados para el caso en el que $Y$ es un vector columna, mientras que otros tratan el caso general de una matriz $Y.$ Los algoritmos también difieren en cuanto a si estiman la matriz de factores $T$ como una matriz ortogonal (es decir, ortonormal ) o no. ^[4]^[5]^[6]^[7]^[8]^[9] La predicción final será la misma para todas estas variedades de PLS, pero los componentes serán diferentes. $Y=X{\tilde {B}}+{\tilde {B}}_{0}$

PLS se compone de repetir iterativamente los siguientes pasos k veces (para k componentes):

encontrar las direcciones de covarianza máxima en el espacio de entrada y salida
realizar una regresión de mínimos cuadrados en la puntuación de entrada
desinflar la entrada y/o el objetivo $X$ $Y$

PLS1

PLS1 es un algoritmo ampliamente utilizado apropiado para el caso del vector $Y.$ Estima $T$ como una matriz ortonormal. (Precaución: los vectores $t$ en el código siguiente pueden no estar normalizados adecuadamente; consulte la charla). En pseudocódigo se expresa a continuación (las letras mayúsculas son matrices, las letras minúsculas son vectores si están en superíndice y escalares si están en subíndice).

1 función PLS1(  $X, y, l$  ) 2 3 , una estimación inicial de  $w$  . $X^{(0)}\gets X$  $w^{(0)}\gets X^{\mathrm {T} }y/\|X^{\mathrm {T} }y\|$  4 for  to $k=0$    $l-1$  5 6 (tenga en cuenta que esto es un escalar) 7 8 9 (tenga en cuenta que esto es un escalar)
10 if
11 , rompa el bucle for
12 if
13
14
15 end for
16 defina  $W$  como la matriz con columnas .  Haz lo mismo para formar la matriz  $P$  y el vector  $q$  . $t^{(k)}\gets X^{(k)}w^{(k)}$  $t_{k}\gets {t^{(k)}}^{\mathrm {T} }t^{(k)}$  $t^{(k)}\gets t^{(k)}/t_{k}$  $p^{(k)}\gets {X^{(k)}}^{\mathrm {T} }t^{(k)}$  $q_{k}\gets {y}^{\mathrm {T} }t^{(k)}$   $q_{k}=0$  $l\gets k$   $k<(l-1)$  $X^{(k+1)}\gets X^{(k)}-t_{k}t^{(k)}{p^{(k)}}^{\mathrm {T} }$  $w^{(k+1)}\gets {X^{(k+1)}}^{\mathrm {T} }y$    $w^{(0)},w^{(1)},...,w^{(l-1)}$ 17
18
19 volver $B\gets W{(P^{\mathrm {T} }W)}^{-1}q$  $B_{0}\gets q_{0}-{P^{(0)}}^{\mathrm {T} }B$   $B,B_{0}$

Esta forma del algoritmo no requiere centrar las entradas $X$ e $Y$ , ya que el algoritmo lo realiza implícitamente. Este algoritmo presenta la 'deflación' de la matriz $X$ (resta de ), pero no se realiza la deflación del vector $y$ , ya que no es necesaria (se puede demostrar que deflactar $y$ produce los mismos resultados que no deflactar ^[10] ). $La variable l$ proporcionada por el usuario es el límite del número de factores latentes en la regresión; si es igual al rango de la matriz $X$ , el algoritmo producirá las estimaciones de regresión de mínimos cuadrados para $B$ y $t_{k}t^{(k)}{p^{(k)}}^{\mathrm {T} }$ $B_{0}$

Interpretación geométrica del paso de deflación en el espacio de entrada.

Extensiones

OPLS

En 2002 se publicó un nuevo método llamado proyecciones ortogonales a estructuras latentes (OPLS). En OPLS, los datos de variables continuas se separan en información predictiva y no correlacionada (ortogonal). Esto conduce a diagnósticos mejorados, así como a una visualización más fácilmente interpretada. Sin embargo, estos cambios sólo mejoran la interpretabilidad, no la predictividad, de los modelos PLS. ^[11] De manera similar, OPLS-DA (análisis discriminante) se puede aplicar cuando se trabaja con variables discretas, como en estudios de clasificación y biomarcadores.

El modelo subyacente general de OPLS es

X=TP^{\mathrm {T} }+T_{\text{Y-orth}}P_{\text{Y-orth}}^{\mathrm {T} }+E

Y=UQ^{\mathrm {T} }+F

o en O2-PLS ^[12]

X=TP^{\mathrm {T} }+T_{\text{Y-orth}}P_{\text{Y-orth}}^{\mathrm {T} }+E

Y=UQ^{\mathrm {T} }+U_{\text{X-orth}}Q_{\text{X-orth}}^{\mathrm {T} }+F

L-PLS

Otra extensión de la regresión PLS, denominada L-PLS por sus matrices en forma de L, conecta 3 bloques de datos relacionados para mejorar la previsibilidad. ^[13] En resumen, se agrega una nueva matriz Z , con el mismo número de columnas que la matriz X , al análisis de regresión PLS y puede ser adecuada para incluir información adicional sobre la interdependencia de las variables predictoras.

3PRF

En 2015, los mínimos cuadrados parciales se relacionaron con un procedimiento llamado filtro de regresión de tres pasos (3PRF). ^[14] Suponiendo que el número de observaciones y variables es grande, el 3PRF (y por lo tanto el PLS) es asintóticamente normal para el "mejor" pronóstico implícito en un modelo lineal de factores latentes. En los datos del mercado de valores, se ha demostrado que PLS proporciona pronósticos precisos fuera de la muestra de rendimientos y crecimiento del flujo de efectivo. ^[15]

SVD de mínimos cuadrados parciales

Una versión de PLS basada en la descomposición de valores singulares (SVD) proporciona una implementación eficiente de la memoria que se puede utilizar para abordar problemas de alta dimensión, como relacionar millones de marcadores genéticos con miles de características de imágenes en genética de imágenes, en hardware de consumo. ^[dieciséis]

Correlación PLS

La correlación PLS (PLSC) es otra metodología relacionada con la regresión PLS, ^[17] que se ha utilizado en neuroimagen ^[17]^[18]^[19] y ciencias del deporte, ^[20] para cuantificar la fuerza de la relación entre conjuntos de datos. Normalmente, PLSC divide los datos en dos bloques (subgrupos), cada uno de los cuales contiene una o más variables, y luego utiliza la descomposición en valores singulares (SVD) para establecer la solidez de cualquier relación (es decir, la cantidad de información compartida) que pueda existir entre los datos. dos subgrupos de componentes. ^[21] Para ello, utiliza SVD para determinar la inercia (es decir, la suma de los valores singulares) de la matriz de covarianza de los subgrupos considerados. ^[21]^[17]

Ver también

Referencias

^ Mundo, S; Sjöström, M.; Eriksson, L. (2001). "Regresión PLS: una herramienta básica de quimiometría". Quimiometría y Sistemas Inteligentes de Laboratorio . 58 (2): 109-130. doi :10.1016/S0169-7439(01)00155-1. S2CID 11920190.
^ Abdi, Hervé (2010). "Regresión de mínimos cuadrados parciales y proyección sobre regresión de estructura latente (regresión PLS)". Estadísticas computacionales de WIRE . 2 : 97-106. doi :10.1002/wics.51. S2CID 122685021.
^ Ver conferencia https://www.youtube.com/watch?v=Px2otK2nZ1c&t=46s
^ Lindgren, F; Geladi, P; Mundo, S (1993). "El algoritmo del núcleo para PLS". J. Quimiometría . 7 : 45–59. doi :10.1002/cem.1180070104. S2CID 122950427.
^ de Jong, S.; ter Braak, CJF (1994). "Comentarios sobre el algoritmo del kernel PLS". J. Quimiometría . 8 (2): 169-174. doi :10.1002/cem.1180080208. S2CID 221549296.
^ Dayal, BS; MacGregor, JF (1997). "Algoritmos PLS mejorados". J. Quimiometría . 11 (1): 73–85. doi :10.1002/(SICI)1099-128X(199701)11:1<73::AID-CEM435>3.0.CO;2-#. S2CID 120753851.
^ de Jong, S. (1993). "SIMPLS: un enfoque alternativo a la regresión de mínimos cuadrados parciales". Quimiometría y Sistemas Inteligentes de Laboratorio . 18 (3): 251–263. doi :10.1016/0169-7439(93)85002-X.
^ Rannar, S.; Lindgren, F.; Geladi, P.; Mundo, S. (1994). "Un algoritmo de kernel PLS para conjuntos de datos con muchas variables y menos objetos. Parte 1: teoría y algoritmo". J. Quimiometría . 8 (2): 111-125. doi :10.1002/cem.1180080204. S2CID 121613293.
^ Abdi, H. (2010). "Regresión de mínimos cuadrados parciales y proyección sobre regresión de estructura latente (Regresión PLS)". Revisiones interdisciplinarias de Wiley: estadística computacional . 2 : 97-106. doi :10.1002/wics.51. S2CID 122685021.
^ Höskuldsson, Agnar (1988). "Métodos de regresión PLS". Revista de quimiometría . 2 (3): 219. doi :10.1002/cem.1180020306. S2CID 120052390.
^ Trygg, J; Mundo, S (2002). "Proyecciones ortogonales a estructuras latentes". Revista de quimiometría . 16 (3): 119-128. doi :10.1002/cem.695. S2CID 122699039.
^ Eriksson, S. Wold y J. Tryg. "O2PLS® para un mejor análisis y visualización de datos complejos". https://www.dynacentrix.com/telecharg/SimcaP/O2PLS.pdf
^ Sæbøa, S.; Almoya, T.; Flatbergb, A.; Aastveita, AH; Martens, H. (2008). "Regresión LPLS: un método de predicción y clasificación bajo la influencia de información de fondo sobre variables predictivas". Quimiometría y Sistemas Inteligentes de Laboratorio . 91 (2): 121-132. doi :10.1016/j.chemolab.2007.10.006.
^ Kelly, Bryan; Pruitt, Seth (1 de junio de 2015). "El filtro de regresión de tres pasos: un nuevo enfoque para la previsión utilizando muchos predictores". Revista de Econometría . Problemas de altas dimensiones en econometría. 186 (2): 294–316. doi :10.1016/j.jeconom.2015.02.011.
^ Kelly, Bryan; Pruitt, Seth (1 de octubre de 2013). "Expectativas del mercado en la sección transversal de los valores actuales". La Revista de Finanzas . 68 (5): 1721-1756. CiteSeerX 10.1.1.498.5973 . doi :10.1111/jofi.12060. ISSN 1540-6261.
^ Lorenzi, Marco; Altmann, André; Gutman, Boris; Wray, Selina; Arber, Charles; Hibar, Derek P.; Jahanshad, Neda; Schott, Jonathan M.; Alejandro, Daniel C. (20 de marzo de 2018). "Susceptibilidad de la atrofia cerebral a TRIB3 en la enfermedad de Alzheimer, evidencia de la priorización funcional en genética de imágenes". Procedimientos de la Academia Nacional de Ciencias . 115 (12): 3162–3167. doi : 10.1073/pnas.1706100115 . ISSN 0027-8424. PMC 5866534 . PMID 29511103.
^ abc Krishnan, Anjali; Williams, Lynne J.; McIntosh, Anthony Randal; Abdi, Hervé (mayo de 2011). "Métodos de mínimos cuadrados parciales (PLS) para neuroimagen: un tutorial y una revisión". NeuroImagen . 56 (2): 455–475. doi : 10.1016/j.neuroimage.2010.07.034. PMID 20656037. S2CID 8796113.
^ McIntosh, Anthony R.; Mišić, Bratislav (3 de enero de 2013). "Análisis estadísticos multivariados para datos de neuroimagen". Revista Anual de Psicología . 64 (1): 499–525. doi : 10.1146/annurev-psych-113011-143804. ISSN 0066-4308. PMID 22804773.
^ Suplica, Clive B.; Magnano, Cristóbal; Belov, Pavel; Krawiecki, Jacqueline; Ramasamy, Deepa P.; Hagemeier, Jesper; Zivadinov, Robert (2 de mayo de 2016). de Castro, Fernando (ed.). "Área transversal de la vena yugular interna y pulsatilidad del líquido cefalorraquídeo en el acueducto de Silvio: un estudio comparativo entre sujetos sanos y pacientes con esclerosis múltiple". MÁS UNO . 11 (5): e0153960. Código Bib : 2016PLoSO..1153960B. doi : 10.1371/journal.pone.0153960 . ISSN 1932-6203. PMC 4852898 . PMID 27135831.
^ Tejiendo, Dan; Jones, Ben; Ireton, Matt; Cabeza blanca, Sarah; Hasta, Kevin; Suplica, Clive B. (14 de febrero de 2019). Connaboy, Chris (ed.). "Superar el problema de la multicolinealidad en los datos de rendimiento deportivo: una aplicación novedosa del análisis de correlación de mínimos cuadrados parciales". MÁS UNO . 14 (2): e0211776. Código Bib : 2019PLoSO..1411776W. doi : 10.1371/journal.pone.0211776 . ISSN 1932-6203. PMC 6375576 . PMID 30763328.
^ ab Abdi, Hervé; Williams, Lynne J. (2013), Reisfeld, Brad; Mayeno, Arthur N. (eds.), "Métodos de mínimos cuadrados parciales: correlación de mínimos cuadrados parciales y regresión de mínimos cuadrados parciales", Toxicología computacional , Humana Press, vol. 930, págs. 549–579, doi :10.1007/978-1-62703-059-5_23, ISBN 9781627030588, PMID 23086857

Literatura

Kramer, R. (1998). Técnicas quimiométricas para análisis cuantitativo . Marcel-Dekker. ISBN 978-0-8247-0198-7.
Frank, Ildiko E.; Friedman, Jerome H. (1993). "Una visión estadística de algunas herramientas de regresión quimiométrica". Tecnometría . 35 (2): 109-148. doi :10.1080/00401706.1993.10485033.
Haenlein, Michael; Kaplan, Andreas M. (2004). "Una guía para principiantes sobre el análisis de mínimos cuadrados parciales". Comprensión de las estadísticas . 3 (4): 283–297. doi :10.1207/s15328031us0304_4.
Henseler, Jörg; Fassott, Georg (2005). "Prueba de efectos moderadores en modelos de ruta PLS. Una ilustración de los procedimientos disponibles". {{cite journal}}: Citar diario requiere |journal=( ayuda )
Lingjærde, viejo cristiano; Christophersen, Nils (2000). "Estructura de contracción de mínimos cuadrados parciales". Revista escandinava de estadística . 27 (3): 459–473. doi :10.1111/1467-9469.00201. S2CID 121489764.
Tenenhaus, Michel (1998). La Régresión PLS: Théorie et Pratique. París: Technip .
Rosipal, Romano; Kramer, Nicole (2006). "Descripción general y avances recientes en mínimos cuadrados parciales, subespacio, estructura latente y técnicas de selección de características": 34–51. {{cite journal}}: Citar diario requiere |journal=( ayuda )
Helland, Inge S. (1990). "Regresión PLS y modelos estadísticos". Revista escandinava de estadística . 17 (2): 97-114. JSTOR 4616159.
Mundo, Herman (1966). "Estimación de componentes principales y modelos relacionados mediante mínimos cuadrados iterativos". En Krishnaiaah, PR (ed.). Analisis multivariable . Nueva York: Academic Press. págs. 391–420.
Mundo, Herman (1981). El enfoque de punto fijo para los sistemas interdependientes . Ámsterdam: Holanda del Norte.
Mundo, Herman (1985). "Mínimos cuadrados parciales". En Kotz, Samuel; Johnson, Norman L. (eds.). Enciclopedia de ciencias estadísticas . vol. 6. Nueva York: Wiley. págs. 581–591.
Wold, Svante; Ruhe, Axel; Mundo, Herman; Dunn, WJ (1984). "El problema de la colinealidad en la regresión lineal. El enfoque de mínimos cuadrados parciales (PLS) para inversas generalizadas". Revista SIAM de Computación Científica y Estadística . 5 (3): 735–743. doi :10.1137/0905052.
Garthwaite, Paul H. (1994). "Una interpretación de los mínimos cuadrados parciales". Revista de la Asociación Estadounidense de Estadística . 89 (425): 122–7. doi :10.1080/01621459.1994.10476452. JSTOR 2291207.
Wang, H., ed. (2010). Manual de mínimos cuadrados parciales . ISBN 978-3-540-32825-4.
Piedra, M.; Brooks, RJ (1990). "Regresión continua: predicción construida secuencialmente con validación cruzada que abarca mínimos cuadrados ordinarios, mínimos cuadrados parciales y regresión de componentes principales". Revista de la Royal Statistical Society, Serie B. 52 (2): 237–269. JSTOR 2345437.

enlaces externos

Una breve introducción a la regresión PLS y su historia.
Vídeo: Derivación de PLS por el Prof. H. Harry Asada