Aprendizaje de subespacios multilineales

Enfoque para la reducción de la dimensionalidad

Una secuencia de vídeo o de imágenes representada como un tensor de tercer orden de columna x fila x tiempo para el aprendizaje de subespacios multilineales.

El aprendizaje de subespacios multilineales es un enfoque para desenredar el factor causal de la formación de datos y realizar una reducción de dimensionalidad. ^{[1] [2] [3] [4] [5]} La reducción de dimensionalidad se puede realizar en un tensor de datos que contiene una colección de observaciones que se han vectorizado, ^[1] u observaciones que se tratan como matrices y se concatenan en un tensor de datos. ^{[6] [7]} Estos son algunos ejemplos de tensores de datos cuyas observaciones están vectorizadas o cuyas observaciones son matrices concatenadas en imágenes de tensor de datos (2D/3D), secuencias de video (3D/4D) y cubos hiperespectrales (3D/4D).

La asignación de un espacio vectorial de alta dimensión a un conjunto de espacios vectoriales de menor dimensión es una proyección multilineal. ^[4] Cuando las observaciones se conservan en la misma estructura organizativa que las matrices o los tensores de orden superior, sus representaciones se calculan realizando proyecciones lineales en el espacio de columnas, el espacio de filas y el espacio de fibras. ^[6]

Los algoritmos de aprendizaje de subespacios multilineales son generalizaciones de orden superior de los métodos de aprendizaje de subespacios lineales, como el análisis de componentes principales (PCA), el análisis de componentes independientes (ICA), el análisis discriminante lineal (LDA) y el análisis de correlación canónica (CCA).

Fondo

Los métodos multilineales pueden ser de naturaleza causal y realizar inferencias causales, o pueden ser métodos de regresión simples de los cuales no se extraen conclusiones causales.

Los algoritmos de aprendizaje de subespacios lineales son técnicas tradicionales de reducción de dimensionalidad que son adecuadas para conjuntos de datos que son el resultado de la variación de un único factor causal. Lamentablemente, a menudo resultan inadecuados cuando se trabaja con conjuntos de datos que son el resultado de múltiples factores causales.

El aprendizaje de subespacios multilineales se puede aplicar a observaciones cuyas mediciones se vectorizaron y organizaron en un tensor de datos para la reducción de la dimensionalidad con conciencia causal. ^[1] Estos métodos también se pueden emplear para reducir las redundancias horizontales y verticales independientemente de los factores causales cuando las observaciones se tratan como una "matriz" (es decir, una colección de observaciones independientes de columnas/filas) y se concatenan en un tensor. ^{[8] [9]}

Algoritmos

Análisis de componentes principales multilineales

Históricamente, el análisis de componentes principales multilineal se ha denominado "PCA en modo M", una terminología acuñada por Peter Kroonenberg. ^[10] En 2005, Vasilescu y Terzopoulos introdujeron la terminología PCA multilineal ^[11] como una forma de diferenciar mejor entre las descomposiciones tensoriales multilineales que calculaban estadísticas de segundo orden asociadas con cada modo tensorial de datos, ^{[1] [2] [3] [12] [13]} y el trabajo posterior sobre el análisis de componentes independientes multilineales ^[11] que calculaba estadísticas de orden superior para cada modo tensorial. MPCA es una extensión de PCA .

Análisis de componentes independientes multilineales

El análisis de componentes independientes multilineales ^[11] es una extensión del ICA .

Análisis discriminante lineal multilineal

• Extensión multilineal de LDA
  • Basado en TTP: Análisis discriminante con representación tensorial (DATER) ^[9]
  • Basado en TTP: Análisis discriminante tensorial general (GTDA) ^[14]
  • Basado en TVP: Análisis discriminante multilineal no correlacionado (UMLDA) ^[15]

Análisis de correlación canónica multilineal

• Extensión multilineal del CCA
  • Basado en TTP: Análisis de correlación canónica tensorial (TCCA) ^[16]
  • Basado en TVP: Análisis de correlación canónica multilineal (MCCA) ^[17]
  • Basado en TVP: Análisis de correlación canónica multilineal bayesiana (BMTF) ^[18]
• Una TTP es una proyección directa de un tensor de alta dimensión a un tensor de baja dimensión del mismo orden, utilizando N matrices de proyección para un tensor de orden N. Se puede realizar en N pasos, en los que cada paso realiza una multiplicación (producto) de matriz-tensor. Los N pasos son intercambiables. ^[19] Esta proyección es una extensión de la descomposición en valores singulares de orden superior ^[19] (HOSVD) al aprendizaje de subespacios. ^[13] Por lo tanto, su origen se remonta a la descomposición de Tucker ^[20] en la década de 1960.

• Una TVP es una proyección directa de un tensor de alta dimensión a un vector de baja dimensión, que también se conoce como proyecciones de rango uno. Como la TVP proyecta un tensor a un vector, puede verse como múltiples proyecciones de un tensor a un escalar. Por lo tanto, la TVP de un tensor a un vector de dimensión P consiste en P proyecciones del tensor a un escalar. La proyección de un tensor a un escalar es una proyección multilineal elemental (EMP). En EMP, un tensor se proyecta a un punto a través de N vectores de proyección unitaria. Es la proyección de un tensor en una sola línea (resultando un escalar), con un vector de proyección en cada modo. Por lo tanto, la TVP de un objeto tensor a un vector en un espacio vectorial de dimensión P consiste en P EMP. Esta proyección es una extensión de la descomposición canónica , ^[21] también conocida como descomposición de factores paralelos (PARAFAC). ^[22]

Enfoque típico en MSL

Hay N conjuntos de parámetros a resolver, uno en cada modo. La solución de un conjunto a menudo depende de los otros conjuntos (excepto cuando N=1 , el caso lineal). Por lo tanto, se sigue el procedimiento iterativo subóptimo de ^[23] .

1. Inicialización de las proyecciones en cada modo
2. Para cada modo, fija la proyección en todos los demás modos y resuelve la proyección en el modo actual.
3. Realice la optimización modo por modo durante unas pocas iteraciones o hasta la convergencia.

Esto se origina a partir del método de mínimos cuadrados alternos para el análisis de datos multidireccionales. ^[10]

Código

• Caja de herramientas tensorial de MATLAB de Sandia National Laboratories .
• El algoritmo MPCA escrito en Matlab (MPCA+LDA incluido).
• El algoritmo UMPCA escrito en Matlab (datos incluidos).
• El algoritmo UMLDA escrito en Matlab (datos incluidos).

Conjuntos de datos tensoriales

• Datos de marcha 3D (tensores de tercer orden): 128x88x20(21,2M); 64x44x20(9,9M); 32x22x10(3,2M);

Véase también

• Descomposición CP
• Reducción de dimensión
• Álgebra multilineal
• Análisis de componentes principales multilineales
• Tensor
• Descomposición tensorial
• Software tensorial
• Descomposición de Tucker

Referencias

1. MAO Vasilescu, D. Terzopoulos (2003) "Análisis de subespacios multilineales de conjuntos de imágenes", "Actas de la Conferencia IEEE sobre visión artificial y reconocimiento de patrones (CVPR'03), Madison, WI, junio de 2003"
2. MAO Vasilescu, D. Terzopoulos (2002) "Análisis multilineal de conjuntos de imágenes: TensorFaces", Actas de la 7.ª Conferencia Europea sobre Visión por Computador (ECCV'02), Copenhague, Dinamarca, mayo de 2002
3. MAO Vasilescu, (2002) "Firmas de movimiento humano: análisis, síntesis, reconocimiento", "Actas de la Conferencia internacional sobre reconocimiento de patrones (ICPR 2002), vol. 3, ciudad de Quebec, Canadá, agosto de 2002, 456–460".
4. Vasilescu, MAO; Terzopoulos, D. (2007). Proyección multilineal para reconocimiento basado en apariencia en el marco Tensor . IEEE 11th International Conference on Computer Vision . págs. 1–8. doi :10.1109/ICCV.2007.4409067..
5. Lu, Haiping; Plataniotis, KN; Venetsanopoulos, AN (2013). Aprendizaje de subespacios multilineales: reducción de la dimensionalidad de datos multidimensionales. Chapman & Hall/CRC Press Machine Learning and Pattern Recognition Series. Taylor and Francis. ISBN 978-1-4398572-4-3.
6. Lu, Haiping; Plataniotis, KN; Venetsanopoulos, AN (2011). "Un estudio sobre aprendizaje de subespacios multilineales para datos tensoriales" (PDF) . Reconocimiento de patrones . 44 (7): 1540–1551. Código Bibliográfico :2011PatRe..44.1540L. doi :10.1016/j.patcog.2011.01.004.
7. X. He, D. Cai, P. Niyogi, Análisis del subespacio tensorial, en: Avances en sistemas de procesamiento de información neuronal 18 (NIPS), 2005.
8. "Direcciones futuras en computación y modelado basados ​​en tensores" (PDF) . Mayo de 2009.
9. S. Yan, D. Xu, Q. Yang, L. Zhang, X. Tang y H.-J. Zhang, "Análisis discriminante con representación tensorial", en Proc. IEEE Conference on Computer Vision and Pattern Recognition , vol. I, junio de 2005, págs. 526–532.
10. PM Kroonenberg y J. de Leeuw, Análisis de componentes principales de datos de tres modos mediante algoritmos de mínimos cuadrados alternos, Psychometrika, 45 (1980), págs. 69-97.
11. MAO Vasilescu, D. Terzopoulos (2005) "Análisis de componentes independientes multilineales", "Actas de la Conferencia IEEE sobre visión artificial y reconocimiento de patrones (CVPR'05), San Diego, CA, junio de 2005, vol. 1, 547–553".
12. MAO Vasilescu, D. Terzopoulos (2004) "TensorTextures: Multilinear Image-Based Rendering", MAO Vasilescu y D. Terzopoulos, Proc. Conferencia ACM SIGGRAPH 2004 Los Ángeles, CA, agosto de 2004, en Actas de Computer Graphics, Serie de conferencias anuales, 2004, 336–342.
13. H. Lu, KN Plataniotis y AN Venetsanopoulos, "MPCA: Análisis de componentes principales multilineales de objetos tensoriales", IEEE Trans. Neural Netw., vol. 19, núm. 1, págs. 18–39, enero de 2008.
14. D. Tao, X. Li, X. Wu y SJ Maybank, "Análisis discriminante tensorial general y características de Gabor para el reconocimiento de la marcha", IEEE Trans. Pattern Anal. Mach. Intell., vol. 29, núm. 10, págs. 1700–1715, octubre de 2007.
15. H. Lu, KN Plataniotis y AN Venetsanopoulos, "Análisis discriminante multilineal no correlacionado con regularización y agregación para reconocimiento de objetos tensoriales", IEEE Trans. Neural Netw., vol. 20, núm. 1, págs. 103–123, enero de 2009.
16. T.-K. Kim y R. Cipolla. "Análisis de correlación canónica de tensores de volumen de video para la categorización y detección de acciones", IEEE Trans. Pattern Anal. Mach. Intell., vol. 31, núm. 8, págs. 1415–1428, 2009.
17. H. Lu, "Aprendizaje de correlaciones canónicas de conjuntos de tensores emparejados mediante proyección de tensor a vector", Actas de la 23.ª Conferencia conjunta internacional sobre inteligencia artificial (IJCAI 2013), Pekín, China, 3 al 9 de agosto de 2013.
18. Khan, Suleiman A.; Kaski, Samuel (15 de septiembre de 2014). "Factorización tensorial multivista bayesiana". En Calders, Toon; Esposito, Floriana ; Hüllermeier, Eyke; Meo, Rosa (eds.). Aprendizaje automático y descubrimiento de conocimiento en bases de datos . Apuntes de clase en informática. Vol. 8724. Springer Berlin Heidelberg. págs. 656–671. doi :10.1007/978-3-662-44848-9_42. ISBN . 9783662448472.
19. LD Lathauwer, BD Moor, J. Vandewalle, Una descomposición en valores singulares multilineales, SIAM Journal of Matrix Analysis and Applications vol. 21, n.º 4, págs. 1253–1278, 2000
20. Ledyard R Tucker (septiembre de 1966). "Algunas notas matemáticas sobre el análisis factorial de tres modos". Psychometrika . 31 (3): 279–311. doi :10.1007/BF02289464. PMID  5221127. S2CID  44301099.
21. JD Carroll y J. Chang (1970). "Análisis de las diferencias individuales en el escalamiento multidimensional mediante una generalización de n vías de la descomposición 'Eckart–Young'". Psychometrika . 35 (3): 283–319. doi :10.1007/BF02310791. S2CID  50364581.
22. RA Harshman, Fundamentos del procedimiento PARAFAC: modelos y condiciones para un análisis factorial multimodal "explicativo" Archivado el 10 de octubre de 2004 en Wayback Machine . UCLA Working Papers in Phonetics, 16, págs. 1–84, 1970.
23. LD Lathauwer, BD Moor, J. Vandewalle, Sobre la mejor aproximación de rango 1 y rango (R1, R2, ..., RN) de tensores de orden superior, SIAM Journal of Matrix Analysis and Applications 21 (4) (2000) 1324–1342.