Aprendizaje subespacial multilineal

Enfoque para la reducción de dimensionalidad.

Un video o una secuencia de imágenes representada como un tensor de tercer orden de columna x fila x tiempo para el aprendizaje de subespacio multilineal.

El aprendizaje subespacial multilineal es un enfoque para desenredar el factor causal de la formación de datos y realizar una reducción de dimensionalidad. ^{[1] [2] [3] [4] [5]} La reducción de dimensionalidad se puede realizar en un tensor de datos que contiene una colección de observaciones que han sido vectorizadas, ^[1] u observaciones que se tratan como matrices y se concatenan en un conjunto de datos. tensor. ^{[6] [7]} A continuación se muestran algunos ejemplos de tensores de datos cuyas observaciones están vectorizadas o cuyas observaciones son matrices concatenadas en imágenes de tensor de datos (2D/3D), secuencias de video (3D/4D) y cubos hiperespectrales (3D/4D).

El mapeo de un espacio vectorial de alta dimensión a un conjunto de espacios vectoriales de menor dimensión es una proyección multilineal. ^[4] Cuando las observaciones se retienen en la misma estructura organizativa que las matrices o los tensores de orden superior, sus representaciones se calculan realizando proyecciones lineales en el espacio de columnas, el espacio de filas y el espacio de fibras. ^[6]

Los algoritmos de aprendizaje subespacial multilineal son generalizaciones de orden superior de métodos de aprendizaje subespacial lineal, como el análisis de componentes principales (PCA), el análisis de componentes independientes (ICA), el análisis discriminante lineal (LDA) y el análisis de correlación canónica (CCA).

Fondo

Los métodos multilineales pueden ser de naturaleza causal y realizar inferencias causales, o pueden ser métodos de regresión simples de los que no se extrae ninguna conclusión causal.

Los algoritmos de aprendizaje subespacial lineal son técnicas tradicionales de reducción de dimensionalidad que son muy adecuadas para conjuntos de datos que son el resultado de variar un único factor causal. Desafortunadamente, a menudo resultan inadecuados cuando se trata de conjuntos de datos que son el resultado de múltiples factores causales. .

El aprendizaje subespacial multilineal se puede aplicar a observaciones cuyas mediciones fueron vectorizadas y organizadas en un tensor de datos para una reducción de dimensionalidad causalmente consciente. ^[1] Estos métodos también se pueden emplear para reducir las redundancias horizontales y verticales independientemente de los factores causales cuando las observaciones se tratan como una "matriz" (es decir, una colección de observaciones independientes de columnas/filas) y se concatenan en un tensor. ^{[8] [9]}

Algoritmos

Análisis de componentes principales multilineal.

Históricamente, el análisis de componentes principales multilineal se ha denominado "PCA en modo M", una terminología acuñada por Peter Kroonenberg. ^[10] En 2005, Vasilescu y Terzopoulos introdujeron la terminología PCA multilineal ^[11] como una forma de diferenciar mejor entre descomposiciones tensoriales multilineales que calculaban estadísticas de segundo orden asociadas con cada modo tensor de datos, ^{[1] [2] [3] [12 ] [13]} y el trabajo posterior sobre Análisis de Componentes Independientes Multilineales ^[11] que calculó estadísticas de orden superior para cada modo tensorial. MPCA es una extensión de PCA .

Análisis multilineal de componentes independientes.

El análisis multilineal de componentes independientes ^[11] es una extensión de ICA .

Análisis discriminante lineal multilineal.

• Extensión multilineal de LDA
  • Basado en TTP: Análisis discriminante con representación tensorial (DATER) ^[9]
  • Basado en TTP: análisis discriminante de tensor general (GTDA) ^[14]
  • Basado en TVP: Análisis discriminante multilineal no correlacionado (UMLDA) ^[15]

Análisis de correlación canónica multilineal.

• Extensión multilineal de CCA.
  • Basado en TTP: Análisis de correlación canónica tensorial (TCCA) ^[16]
  • Basado en TVP: Análisis de correlación canónica multilineal (MCCA) ^[17]
  • Basado en TVP: Análisis de correlación canónica multilineal bayesiana (BMTF) ^[18]
• Un TTP es una proyección directa de un tensor de alta dimensión a un tensor de baja dimensión del mismo orden, utilizando N matrices de proyección para un tensor de orden N. Se puede realizar en N pasos y cada paso realiza una multiplicación de matriz tensorial (producto). Los N pasos son intercambiables. ^[19] Esta proyección es una extensión de la descomposición de valores singulares de orden superior ^[19] (HOSVD) al aprendizaje subespacial. ^[13] Por lo tanto, su origen se remonta a la descomposición de Tucker ^[20] en la década de 1960.

• Un TVP es una proyección directa de un tensor de alta dimensión a un vector de baja dimensión, que también se conoce como proyecciones de rango uno. Como TVP proyecta un tensor a un vector, puede verse como proyecciones múltiples de un tensor a un escalar. Por tanto, el TVP de un tensor a un vector P -dimensional consta de P proyecciones del tensor a un escalar. La proyección de un tensor a un escalar es una proyección multilineal elemental (EMP). En EMP, un tensor se proyecta a un punto a través de N vectores de proyección unitarios. Es la proyección de un tensor sobre una sola recta (resultando un escalar), con un vector de proyección en cada modo. Por lo tanto, el TVP de un objeto tensor a un vector en un espacio vectorial P -dimensional consta de P EMP. Esta proyección es una extensión de la descomposición canónica , ^[21] también conocida como descomposición de factores paralelos (PARAFAC). ^[22]

Enfoque típico en MSL

Hay N conjuntos de parámetros a resolver, uno en cada modo. La solución de un conjunto a menudo depende de los otros conjuntos (excepto cuando N=1 , el caso lineal). Por lo tanto, se sigue el procedimiento iterativo subóptimo descrito en ^{[23] .}

1. Inicialización de las proyecciones en cada modo.
2. Para cada modo, corrija la proyección en todos los demás modos y resuelva la proyección en el modo actual.
3. Realice la optimización modal durante algunas iteraciones o hasta la convergencia.

Esto se origina a partir del método de mínimos cuadrados alternos para el análisis de datos de múltiples vías. ^[10]

Código

• MATLAB Tensor Toolbox de Sandia National Laboratories .
• El algoritmo MPCA escrito en Matlab (MPCA+LDA incluido).
• El algoritmo UMPCA escrito en Matlab (datos incluidos).
• El algoritmo UMLDA escrito en Matlab (datos incluidos).

Conjuntos de datos tensoriales

• Datos de marcha 3D (tensores de tercer orden): 128x88x20(21,2M); 64x44x20(9,9M); 32x22x10(3,2M);

Ver también

• descomposición de CP
• Reducción de dimensiones
• Álgebra multilineal
• Análisis de componentes principales multilineal
• Tensor
• Descomposición tensorial
• software tensorial
• descomposición de tucker

Referencias

1. MAO Vasilescu, D. Terzopoulos (2003) "Análisis subespacial multilineal de conjuntos de imágenes", "Actas de la conferencia IEEE sobre visión por computadora y reconocimiento de patrones (CVPR'03), Madison, WI, junio de 2003"
2. MAO Vasilescu, D. Terzopoulos (2002) "Análisis multilineal de conjuntos de imágenes: TensorFaces", Proc. Séptima Conferencia Europea sobre Visión por Computador (ECCV'02), Copenhague, Dinamarca, mayo de 2002
3. MAO Vasilescu, (2002) "Firmas de movimiento humano: análisis, síntesis, reconocimiento", "Actas de la conferencia internacional sobre reconocimiento de patrones (ICPR 2002), vol. 3, ciudad de Quebec, Canadá, agosto de 2002, 456–460. "
4. Vasilescu, MAO; Terzopoulos, D. (2007). Proyección multilineal para el reconocimiento basado en la apariencia en el marco tensorial . IEEE 11ª Conferencia Internacional sobre Visión por Computadora . págs. 1–8. doi :10.1109/ICCV.2007.4409067..
5. Lu, Haiping; Plataniotis, KN; Venetsanopoulos, AN (2013). Aprendizaje subespacial multilineal: reducción de dimensionalidad de datos multidimensionales. Chapman & Hall/CRC Press Serie de reconocimiento de patrones y aprendizaje automático. Taylor y Francisco. ISBN 978-1-4398572-4-3.
6. Lu, Haiping; Plataniotis, KN; Venetsanopoulos, AN (2011). "Un estudio sobre el aprendizaje subespacial multilineal para datos tensoriales" (PDF) . Reconocimiento de patrones . 44 (7): 1540-1551. Código Bib : 2011PatRe..44.1540L. doi :10.1016/j.patcog.2011.01.004.
7. X. He, D. Cai, P. Niyogi, Análisis del subespacio tensor, en: Avances en sistemas de procesamiento de información neuronalc 18 (NIPS), 2005.
8. "Direcciones futuras en modelado y computación basados ​​​​en tensores" (PDF) . Mayo de 2009.
9. S. Yan, D. Xu, Q. Yang, L. Zhang, X. Tang y H.-J. Zhang, "Análisis discriminante con representación tensorial", en Proc. Conferencia IEEE sobre visión por computadora y reconocimiento de patrones , vol. I, junio de 2005, págs. 526–532.
10. PM Kroonenberg y J. de Leeuw, Análisis de componentes principales de datos de tres modos mediante algoritmos de mínimos cuadrados alternos, Psychometrika, 45 (1980), págs.
11. MAO Vasilescu, D. Terzopoulos (2005) "Análisis de componentes independientes multilineales", "Actas de la conferencia IEEE sobre visión por computadora y reconocimiento de patrones (CVPR'05), San Diego, CA, junio de 2005, vol.1, 547– 553."
12. MAO Vasilescu, D. Terzopoulos (2004) "TensorTextures: representación multilineal basada en imágenes", MAO Vasilescu y D. Terzopoulos, Proc. Conferencia ACM SIGGRAPH 2004 Los Ángeles, CA, agosto de 2004, en Computer Graphics Proceedings, Serie de conferencias anuales, 2004, 336–342.
13. H. Lu, KN Plataniotis y AN Venetsanopoulos, "MPCA: análisis de componentes principales multilineal de objetos tensoriales", IEEE Trans. Red neuronal, vol. 19, núm. 1, págs. 18 a 39, enero de 2008.
14. D. Tao, X. Li, X. Wu y SJ Maybank, "Análisis discriminante de tensor general y características de gabor para el reconocimiento de la marcha", IEEE Trans. Patrón Anal. Mach. Intel., vol. 29, núm. 10, págs. 1700-1715, octubre de 2007.
15. H. Lu, KN Plataniotis y AN Venetsanopoulos, "Análisis discriminante multilineal no correlacionado con regularización y agregación para el reconocimiento de objetos tensoriales", IEEE Trans. Red neuronal, vol. 20, núm. 1, págs. 103-123, enero de 2009.
16. T.-K. Kim y R. Cipolla. "Análisis de correlación canónica de tensores de volumen de vídeo para la categorización y detección de acciones", IEEE Trans. Patrón Anal. Mach. Intel., vol. 31, núm. 8, págs. 1415-1428, 2009.
17. H. Lu, "Aprendizaje de correlaciones canónicas de conjuntos de tensores emparejados mediante proyección de tensor a vector", Actas de la 23ª Conferencia Conjunta Internacional sobre Inteligencia Artificial (IJCAI 2013), Beijing, China, 3 al 9 de agosto de 2013.
18. Khan, Suleiman A.; Kaski, Samuel (15 de septiembre de 2014). "Factorización de tensor de vista múltiple bayesiana". En Calders, Toon; Espósito, Floriana ; Hüllermeier, Eyke; Meo, Rosa (eds.). Aprendizaje automático y descubrimiento de conocimiento en bases de datos . Apuntes de conferencias sobre informática. vol. 8724. Springer Berlín Heidelberg. págs. 656–671. doi :10.1007/978-3-662-44848-9_42. ISBN 9783662448472.
19. LD Lathauwer, BD Moor, J. Vandewalle, Una descomposición multilineal de valores singulares, SIAM Journal of Matrix Analysis and Applications vol. 21, núm. 4, págs. 1253-1278, 2000
20. Ledyard R Tucker (septiembre de 1966). "Algunas notas matemáticas sobre el análisis factorial de tres modos". Psicometrika . 31 (3): 279–311. doi :10.1007/BF02289464. PMID  5221127. S2CID  44301099.
21. JD Carroll y J. Chang (1970). "Análisis de diferencias individuales en escalamiento multidimensional mediante una generalización de n vías de la descomposición 'Eckart-Young'". Psicometrika . 35 (3): 283–319. doi :10.1007/BF02310791. S2CID  50364581.
22. RA Harshman, Fundamentos del procedimiento PARAFAC: Modelos y condiciones para un análisis factorial multimodal "explicativo" Archivado el 10 de octubre de 2004 en Wayback Machine . Documentos de trabajo de UCLA sobre fonética, 16, págs. 1–84, 1970.
23. LD Lathauwer, BD Moor, J. Vandewalle, Sobre la mejor aproximación de rango 1 y rango (R1, R2, ..., RN) de tensores de orden superior, SIAM Journal of Matrix Analysis and Applications 21 (4) ( 2000) 1324–1342.