Tensor (aprendizaje automático)

Concepto en el aprendizaje automático

En el aprendizaje automático , el término tensor se refiere informalmente a dos conceptos diferentes para organizar y representar datos. Los datos pueden organizarse en una matriz multidimensional ( matriz de M -way), informalmente denominada "tensor de datos"; sin embargo, en el sentido matemático estricto, un tensor es un mapeo multilineal sobre un conjunto de espacios vectoriales de dominio a un espacio vectorial de rango. Las observaciones, como imágenes, películas, volúmenes, sonidos y relaciones entre palabras y conceptos, almacenadas en una matriz de M -way ("tensor de datos"), pueden analizarse mediante redes neuronales artificiales o métodos tensoriales . ^{[1] [2] [3] [4] [5]}

La descomposición de tensores factoriza los tensores de datos en tensores más pequeños. ^{[1] [6]} Las operaciones con tensores de datos se pueden expresar en términos de multiplicación de matrices y el producto de Kronecker . ^[7] El cálculo de gradientes, un aspecto crucial de la retropropagación , se puede realizar utilizando bibliotecas de software como PyTorch y TensorFlow . ^{[8] [9]}

Los cálculos suelen realizarse en unidades de procesamiento gráfico (GPU) que utilizan CUDA y en hardware dedicado, como la unidad de procesamiento Tensor de Google o el núcleo Tensor de Nvidia . Estos avances han acelerado enormemente las arquitecturas de redes neuronales y han aumentado el tamaño y la complejidad de los modelos que se pueden entrenar.

Historia

Un tensor es, por definición, un mapa multilineal. En matemáticas, esto puede expresar una relación multilineal entre conjuntos de objetos algebraicos. En física, los campos tensoriales , considerados como tensores en cada punto del espacio, son útiles para expresar mecánicas como la tensión o la elasticidad . En el aprendizaje automático, el uso exacto de los tensores depende del enfoque estadístico que se utilice.

En 2001, el campo del procesamiento de señales y las estadísticas utilizaban métodos tensoriales. Pierre Comon analiza la adopción temprana de métodos tensoriales en los campos de las telecomunicaciones, la vigilancia por radio, la quimiometría y el procesamiento de sensores. Los métodos de rango tensorial lineal (como Parafac/CANDECOMP) analizaron matrices de M-way ("tensores de datos") compuestas de estadísticas de orden superior que se emplearon en problemas de separación ciega de fuentes para calcular un modelo lineal de los datos. Señaló varias limitaciones tempranas en la determinación del rango tensorial y la descomposición eficiente del rango tensorial. ^[10]

A principios de la década de 2000, los métodos tensoriales multilineales ^{[1] [11]} se trasladaron a la visión por computadora, los gráficos por computadora y el aprendizaje automático con artículos de Vasilescu o en colaboración con Terzopoulos, como Human Motion Signatures, ^{[12] [13]} TensorFaces ^{[14] [15]} TensorTexures ^[16] y Multilinear Projection. ^{[17] [18]} El álgebra multilineal, el álgebra de tensores de orden superior, es un marco adecuado y transparente para analizar la estructura multifactorial de un conjunto de observaciones y para abordar el difícil problema de desenredar los factores causales basados ​​en estadísticas de segundo orden ^[14] o de orden superior asociadas con cada factor causal. ^[15]

El análisis factorial tensorial (multilineal) desenreda y reduce la influencia de diferentes factores causales con el aprendizaje de subespacios multilineales. ^[19] Al tratar una imagen o un video como una matriz de 2 o 3 vías, es decir, "matriz de datos/tensor", los métodos tensoriales reducen las redundancias espaciales o temporales como lo demostraron Wang y Ahuja. ^[20]

Yoshua Bengio, ^{[21] [22]} Geoff Hinton ^{[23] [24]} y sus colaboradores discuten brevemente la relación entre las redes neuronales profundas y el análisis factorial tensorial ^{[14] [15]} más allá del uso de matrices M-way ("tensores de datos") como entradas. Uno de los primeros usos de los tensores para redes neuronales apareció en el procesamiento del lenguaje natural . Una sola palabra se puede expresar como un vector a través de Word2vec . ^[5] Por lo tanto, una relación entre dos palabras se puede codificar en una matriz. Sin embargo, para relaciones más complejas como sujeto-objeto-verbo, es necesario construir redes de dimensiones superiores. En 2009, el trabajo de Sutskever introdujo la factorización tensorial agrupada bayesiana para modelar conceptos relacionales al tiempo que reducía el espacio de parámetros. ^[25] De 2014 a 2015, los métodos tensoriales se volvieron más comunes en las redes neuronales convolucionales (CNN). Los métodos tensoriales organizan los pesos de las redes neuronales en un "tensor de datos", analizan y reducen el número de pesos de las redes neuronales. ^{[26] [27]} Lebedev et al. aceleraron las redes CNN para la clasificación de caracteres (el reconocimiento de letras y dígitos en imágenes) utilizando tensores de kernel 4D. ^[28]

Definición

Sea un cuerpo como los números reales o los números complejos . Un tensor es una matriz sobre : ${\displaystyle \mathbb {F} }$ ${\displaystyle \mathbb {R} }$ ${\displaystyle \mathbb {C} }$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle I_{1}\times I_{2}\times \cdots \times I_{C}}$ ${\displaystyle \mathbb {F} }$

${\displaystyle {\mathcal {A}}\in {\mathbb {F} }^{I_{1}\times I_{2}\times \ldots \times I_{C}}.}$

Aquí, y son números enteros positivos, y es el número de dimensiones, número de formas o modo del tensor. ^[5] ${\displaystyle C}$ ${\displaystyle I_{1},I_{2},\ldots ,I_{C}}$ ${\displaystyle C}$

Un enfoque básico (no la única forma) de utilizar tensores en el aprendizaje automático es incorporar varios tipos de datos directamente. Por ejemplo, una imagen en escala de grises, comúnmente representada como una función 2D discreta con resolución, puede incorporarse en un tensor de modo 2 como ${\displaystyle f(x,y)}$ ${\displaystyle N\times M}$

${\displaystyle f(x,y)\mapsto {\mathcal {A}}\in \mathbb {R} ^{N\times M}.}$

Una imagen en color con 3 canales para RGB podría estar incrustada en un tensor de modo 3 con tres elementos en una dimensión adicional:

${\displaystyle f_{RGB}(x,y)\mapsto {\mathcal {A}}\in \mathbb {R} ^{N\times M\times 3}.}$

En el procesamiento del lenguaje natural, una palabra puede expresarse como un vector mediante el algoritmo Word2vec . De este modo, se convierte en un tensor de modo 1. ${\displaystyle v}$ ${\displaystyle v}$

${\displaystyle v\mapsto {\mathcal {A}}\in \mathbb {R} ^{N}.}$

La incorporación de la semántica de sujeto-objeto-verbo requiere la incorporación de relaciones entre tres palabras. Como una palabra es en sí misma un vector, la semántica de sujeto-objeto-verbo podría expresarse utilizando tensores de modo 3

${\displaystyle v_{a}\times v_{b}\times v_{c}\mapsto {\mathcal {A}}\in \mathbb {R} ^{N\times N\times N}.}$

En la práctica, el diseñador de redes neuronales se ocupa principalmente de la especificación de las incrustaciones, la conexión de las capas tensoriales y las operaciones que se realizan sobre ellas en una red. Los marcos de aprendizaje automático modernos gestionan la optimización, la factorización tensorial y la retropropagación de forma automática.

Como valores unitarios

Red neuronal con tensores como valores de nodo

Los tensores pueden usarse como valores unitarios de redes neuronales que extienden el concepto de valores escalares, vectoriales y matriciales a múltiples dimensiones.

El valor de salida de una unidad de capa única es la suma del producto de sus unidades de entrada y los pesos de conexión filtrados a través de la función de activación : ${\displaystyle y_{m}}$ ${\displaystyle f}$

${\displaystyle y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right),}$

dónde

${\displaystyle y_{m}\in \mathbb {R} .}$

Red neuronal convolucional con cada unidad como una imagen 2D representada por un tensor

Si cada elemento de salida de es un escalar, entonces tenemos la definición clásica de una red neuronal artificial . Al reemplazar cada componente unitario con un tensor, la red puede expresar datos de mayor dimensión, como imágenes o videos: ${\displaystyle y_{m}}$

${\displaystyle y_{m}\in \mathbb {R} ^{I_{0}\times I_{1}\times ..\times I_{C}}.}$

Este uso de tensores para reemplazar valores unitarios es común en redes neuronales convolucionales , donde cada unidad puede ser una imagen procesada a través de múltiples capas. Al incorporar los datos en tensores, estas estructuras de red permiten el aprendizaje de tipos de datos complejos.

En capas completamente conectadas

Dos capas de una red neuronal completamente conectada y su expresión como un producto tensorial de Kronecker

Los tensores también se pueden utilizar para calcular las capas de una red neuronal totalmente conectada, donde el tensor se aplica a toda la capa en lugar de a valores unitarios individuales.

El valor de salida de una unidad de capa única es la suma del producto de sus unidades de entrada y los pesos de conexión filtrados a través de la función de activación : ${\displaystyle y_{m}}$ ${\displaystyle f}$

${\displaystyle y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right).}$

Los vectores y valores de salida se pueden expresar como tensores de modo 1, mientras que los pesos ocultos se pueden expresar como tensores de modo 2. En este ejemplo, los valores unitarios son escalares, mientras que el tensor adquiere las dimensiones de las capas de la red: ${\displaystyle x}$ ${\displaystyle y}$

${\displaystyle x_{n}\mapsto {\mathcal {X}}\in \mathbb {R} ^{1\times N},}$

${\displaystyle y_{n}\mapsto {\mathcal {Y}}\in \mathbb {R} ^{M\times 1},}$

${\displaystyle u_{n}\mapsto {\mathcal {U}}\in \mathbb {R} ^{N\times M}.}$

En esta notación, los valores de salida se pueden calcular como un producto tensorial de los tensores de entrada y peso:

${\displaystyle {\mathcal {Y}}=f({\mathcal {X}}{\mathcal {U}}).}$

que calcula el producto suma como una multiplicación de tensores (similar a la multiplicación de matrices).

Esta formulación de tensores permite calcular de manera eficiente toda la capa de una red completamente conectada al asignar las unidades y los pesos a los tensores.

En capas convolucionales

Una reformulación diferente de las redes neuronales permite que los tensores expresen las capas de convolución de una red neuronal. Una capa convolucional tiene múltiples entradas, cada una de las cuales es una estructura espacial, como una imagen o un volumen. Las entradas se convolucionan mediante filtrado antes de pasarlas a la siguiente capa. Un uso típico es realizar la detección o el aislamiento de características en el reconocimiento de imágenes.

La convolución suele calcularse como la multiplicación de una señal de entrada por un núcleo de filtro . En dos dimensiones, la forma discreta y finita es: ${\displaystyle g}$ ${\displaystyle f}$

${\displaystyle (f*g)_{x,y}=\sum _{j=-w}^{w}\sum _{k=-w}^{w}f_{j,k}g_{x+j,y+k},}$

¿Dónde está el ancho del núcleo? ${\displaystyle w}$

Esta definición puede reformularse como un producto matriz-vector en términos de tensores que expresan el núcleo, los datos y la transformada inversa del núcleo. ^[29]

${\displaystyle {\mathcal {Y}}={\mathcal {A}}[(Cg)\odot (Bd)],}$

donde y son la transformada inversa, los datos y el núcleo. La derivación es más compleja cuando el núcleo de filtrado también incluye una función de activación no lineal como sigmoide o ReLU. ${\displaystyle {\mathcal {A}},{\mathcal {B}}}$ ${\displaystyle {\mathcal {C}}}$

Los pesos ocultos de la capa de convolución son los parámetros del filtro. Estos se pueden reducir con una capa de agrupación que reduce la resolución (tamaño) de los datos y también se pueden expresar como una operación tensorial.

Factorización tensorial

Una contribución importante de los tensores en el aprendizaje automático es la capacidad de factorizar tensores para descomponer los datos en factores constituyentes o reducir los parámetros aprendidos. Las técnicas de modelado de tensores de datos se derivan de la descomposición tensorial lineal (descomposición CANDECOMP/Parafac) y las descomposiciones tensoriales multilineales (Tucker).

Descomposición de Tucker

Descomposición de Tucker de un tensor

La descomposición de Tucker , por ejemplo, toma una matriz de 3 vías y descompone el tensor en tres matrices y un tensor más pequeño . La forma de las matrices y del nuevo tensor son tales que se reduce el número total de elementos. Los nuevos tensores tienen formas ${\displaystyle {\mathcal {X}}\in \mathbb {R} ^{I\times J\times K}}$ ${\displaystyle {\mathcal {A,B,C}}}$ ${\displaystyle {\mathcal {G}}}$

${\displaystyle {\mathcal {A}}\in \mathbb {R} ^{I\times P},}$

${\displaystyle {\mathcal {B}}\in \mathbb {R} ^{J\times Q},}$

${\displaystyle {\mathcal {C}}\in \mathbb {R} ^{K\times R},}$

${\displaystyle {\mathcal {G}}\in \mathbb {R} ^{P\times Q\times R}.}$

Entonces el tensor original se puede expresar como el producto tensorial de estos cuatro tensores:

${\displaystyle {\mathcal {X}}={\mathcal {G}}\times {\mathcal {A}}\times {\mathcal {B}}\times {\mathcal {C}}.}$

En el ejemplo que se muestra en la figura, las dimensiones de los tensores son

${\displaystyle {\mathcal {X}}}$: I=8, J=6, K=3, : I=8, P=5, : J=6, Q=4, : K=3, R=2, : P=5, Q=4, R=2. ${\displaystyle {\mathcal {A}}}$ ${\displaystyle {\mathcal {B}}}$ ${\displaystyle {\mathcal {C}}}$ ${\displaystyle {\mathcal {G}}}$

El número total de elementos en la factorización de Tucker es

${\displaystyle |{\mathcal {A}}|+|{\mathcal {B}}|+|{\mathcal {C}}|+|{\mathcal {G}}|=}$

${\displaystyle (I\times P)+(J\times Q)+(K\times R)+(P\times Q\times R)=8\times 5+6\times 4+3\times 2+5\times 4\times 2=110.}$

El número de elementos del original es 144, lo que da como resultado una reducción de datos de 144 a 110 elementos, una reducción del 23 % en los parámetros o el tamaño de los datos. Para tensores iniciales mucho más grandes, y dependiendo del rango (redundancia) del tensor, las ganancias pueden ser más significativas. ${\displaystyle {\mathcal {X}}}$

El trabajo de Rabanser et al. proporciona una introducción a los tensores con más detalles sobre la extensión de la descomposición de Tucker a N-dimensiones más allá del ejemplo de modo 3 dado aquí. ^[5]

Trenes tensores

Otra técnica para descomponer tensores reescribe el tensor inicial como una secuencia (tren) de tensores de menor tamaño. Un tren de tensores (TT) es una secuencia de tensores de rango reducido, llamados factores canónicos . El tensor original se puede expresar como la suma-producto de la secuencia.

${\displaystyle {\mathcal {X}}={\mathcal {G_{1}}}{\mathcal {G_{2}}}{\mathcal {G_{3}}}..{\mathcal {G_{d}}}}$

Desarrollada en 2011 por Ivan Oseledts, el autor observa que la descomposición de Tucker es "adecuada para dimensiones pequeñas, especialmente para el caso tridimensional. Para d grandes no es adecuada". ^[30] Por lo tanto, los trenes tensoriales se pueden utilizar para factorizar tensores más grandes en dimensiones superiores.

Gráficos tensoriales

La arquitectura de datos unificada y la diferenciación automática de tensores han permitido diseños de aprendizaje automático de nivel superior en forma de gráficos tensoriales. Esto conduce a nuevas arquitecturas, como las redes convolucionales de gráficos tensoriales (TGCN), que identifican asociaciones altamente no lineales en los datos, combinan múltiples relaciones y escalan con elegancia, al tiempo que siguen siendo robustas y eficientes. ^[31]

Estos avances están afectando a todas las áreas del aprendizaje automático, como la minería y agrupación de textos, los datos que varían en el tiempo y las redes neuronales en las que los datos de entrada son un gráfico social y cambian dinámicamente. ^{[32] [33] [34] [35]}

Hardware

Los tensores proporcionan una forma unificada de entrenar redes neuronales para conjuntos de datos más complejos. Sin embargo, el entrenamiento es costoso de calcular en hardware de CPU clásico.

En 2014, Nvidia desarrolló cuDNN, CUDA Deep Neural Network, una biblioteca para un conjunto de primitivas optimizadas escritas en el lenguaje paralelo CUDA. ^[36] CUDA y, por lo tanto, cuDNN se ejecutan en GPU dedicadas que implementan paralelismo masivo unificado en hardware. Estas GPU aún no eran chips dedicados para tensores, sino hardware existente adaptado para computación paralela en aprendizaje automático.

En el período 2015-2017, Google inventó la Unidad de Procesamiento Tensorial (TPU). ^[37] Las TPU son unidades de hardware dedicadas y de función fija que se especializan en las multiplicaciones de matrices necesarias para los productos tensoriales. Específicamente, implementan una matriz de 65,536 unidades de multiplicación que pueden realizar una suma-producto de matrices de 256x256 en solo un ciclo de instrucción global. ^[38]

Más tarde, en 2017, Nvidia lanzó su propio núcleo Tensor con la arquitectura de GPU Volta. Cada núcleo Tensor es una microunidad que puede realizar una suma-producto de matriz 4x4. Hay ocho núcleos tensoriales para cada bloque de memoria compartida (SM). ^[39] La primera tarjeta GPU GV100 tiene 108 SM, lo que da como resultado 672 núcleos tensoriales. Este dispositivo aceleró el aprendizaje automático 12 veces con respecto a las GPU Tesla anteriores. ^[40] La cantidad de núcleos tensoriales aumenta a medida que la cantidad de núcleos y unidades SM continúa creciendo en cada nueva generación de tarjetas.

El desarrollo del hardware de GPU, combinado con la arquitectura unificada de núcleos tensoriales, ha permitido el entrenamiento de redes neuronales mucho más grandes. En 2022, la red neuronal más grande fue PaLM de Google con 540 mil millones de parámetros aprendidos (pesos de red) ^[41] (el modelo de lenguaje GPT-3 más antiguo tiene más de 175 mil millones de parámetros aprendidos que producen texto similar al humano; el tamaño no lo es todo, el modelo Alpaca 2023 de Stanford, mucho más pequeño, afirma ser mejor, ^[42] habiendo aprendido del modelo LLaMA 2023 de Meta/Facebook , la variante más pequeña de 7 mil millones de parámetros). El chatbot ampliamente popular ChatGPT está construido sobre GPT-3.5 (y después de una actualización GPT-4 ) utilizando aprendizaje supervisado y de refuerzo.

Referencias

1. Vasilescu, MAO; Terzopoulos, D (2007). "Síntesis, análisis y reconocimiento de imágenes (tensoriales) multilineales [dsp exploratorio]" (PDF) . Revista IEEE Signal Processing . 24 (6): 118–123. Bibcode :2007ISPM...24R.118V. doi :10.1109/MSP.2007.906024.
2. Vasilescu, MAO (2009), Un marco algebraico multilineal (tensor) para gráficos por computadora, visión por computadora y aprendizaje automático (PDF) , Universidad de Toronto
3. Kolda, Tamara G.; Bader, Brett W. (6 de agosto de 2009). "Descomposiciones tensoriales y aplicaciones". SIAM Review . 51 (3): 455–500. Bibcode :2009SIAMR..51..455K. doi :10.1137/07070111X. ISSN  0036-1445. S2CID  16074195.
4. Sidiropoulos, Nicholas D.; De Lathauwer, Lieven; Fu, Xiao; Huang, Kejun; Papalexakis, Evangelos E.; Faloutsos, Christos (1 de julio de 2017). "Descomposición tensorial para procesamiento de señales y aprendizaje automático". IEEE Transactions on Signal Processing . 65 (13): 3551–3582. arXiv : 1607.01668 . Bibcode :2017ITSP...65.3551S. doi :10.1109/TSP.2017.2690524. ISSN  1053-587X. S2CID  16321768.
5. Rabanser, Stephan (2017). "Introducción a las descomposiciones tensoriales y sus aplicaciones en el aprendizaje automático". arXiv : 1711.10781 [stat.ML].
6. Sidiropoulous, N (2016). "Descomposición tensorial para procesamiento de señales y aprendizaje automático". IEEE Transactions on Signal Processing . 65 (13).
7. Grout, I (2018). "Consideraciones de hardware para la implementación y el análisis de tensores utilizando la matriz de puertas programables en campo". Electrónica . 7 (320): 320. doi : 10.3390/electronics7110320 . hdl : 10344/7368 .
8. Paszke, A (2019). "PyTorch: una biblioteca de aprendizaje profundo de alto rendimiento y estilo imperativo". Actas de la 33.ª Conferencia internacional sobre sistemas de procesamiento de información neuronal : 8026–037. arXiv : 1912.01703 .
9. Adabi, M (2016). "TensorFlow: un sistema para el aprendizaje automático a gran escala" (PDF) . Actas del 12.º Simposio USENIX sobre diseño e implementación de sistemas operativos . arXiv : 1605.08695 .
10. Comon, Pierre (2001), "Descomposiciones tensoriales: estado del arte y aplicaciones", Matemáticas en procesamiento de señales , Oxford University Press
11. Vasilescu, MAO; Shashua, Amnon (2007), Tutorial sobre métodos tensoriales para aprendizaje automático, visión artificial y gráficos por computadora, Conferencia internacional sobre aprendizaje automático
12. Vasilescu, MAO (2002), Firmas de movimiento humano: análisis, síntesis, reconocimiento , vol. 3, Actas de la Conferencia internacional sobre reconocimiento de patrones (ICPR 2002), págs. 456–460
13. Vasilescu, MAO (2001), Un algoritmo para extraer firmas de movimiento humano , Visión artificial y reconocimiento de patrones CVPR 2001 Bocetos técnicos
14. Vasilescu, MAO; Terzopoulos, D. (2002). Análisis multilineal de conjuntos de imágenes: TensorFaces (PDF) . Lecture Notes in Computer Science 2350; (Presentado en Proc. 7th European Conference on Computer Vision (ECCV'02), Copenhague, Dinamarca). Springer, Berlín, Heidelberg. doi :10.1007/3-540-47969-4_30. ISBN 9783540437451.
15. Vasilescu, MAO; Terzopoulos, D. (2005), Análisis de componentes independientes multilineales (PDF) , Actas de la Conferencia sobre visión artificial y reconocimiento de patrones del IEEE de 2005 (CVPR 2005), San Diego, CA
16. Vasilescu, MAO; Terzopoulos, D. (2004), "TensorTextures: representación multilineal basada en imágenes" (PDF) , ACM Transactions on Graphics , vol. 23, núm. 3, págs. 336–342, doi :10.1145/1015706.1015725
17. Vasilescu, MAO (2011). Proyección multilineal para reconocimiento facial mediante descomposición canónica . En Proc. Face and Gesture Conference (FG'11). págs. 476–483.
18. Vasilescu, MAO; Terzopoulos, D. (2007), "Proyección multilineal para reconocimiento basado en apariencia en el marco tensorial" , Actas de la Undécima Conferencia Internacional IEEE sobre Visión por Computadora (ICCV'07), págs. 1–8
19. Vasilescu, MAO; Terzopoulos, D. (2003), "Aprendizaje de subespacios multilineales de conjuntos de imágenes", Conferencia de la IEEE Computer Society de 2003 sobre visión artificial y reconocimiento de patrones, 2003. Actas.
20. Wang, H; Narendra, Ahuja (2005), Aproximación de tensores de rango R utilizando representación de imagen como matriz , Conferencia de la IEEE Computer Society sobre visión artificial y reconocimiento de patrones
21. Desjardins, Guillaume; Courvile, Aaron; Bengio, Yoshua (2012). "Desenredar factores de variación mediante entrelazamiento generativo". arXiv : 1210.5474 [stat.ML].
22. Bengio, Yoshua; Courville, Aaron (2013). "Desenredar factores de variación mediante entrelazamiento generativo". Manual sobre procesamiento de información neuronal : 1–28. ISBN 9783642366574.
23. Tang, Yichuan; Salakhutdinov, Ruslan; Hinton, Geoffrey (2013). "Analizadores tensoriales" (PDF) . 30.ª Conferencia internacional sobre aprendizaje automático .
24. Memisevic, Roland; Hinton, Geoffrey (2010). "Aprendiendo a representar transformaciones espaciales con máquinas de Boltzmann de orden superior factorizadas" (PDF) . Neural Computation . 22 (6): 1473–1492. doi :10.1162/neco.2010.01-09-953. PMID  20141471. S2CID  1413690.
25. Sutskever, I (2009). "Modelado de datos relacionales mediante factorización tensorial agrupada bayesiana". Avances en sistemas de procesamiento de información neuronal . 22 .
26. Novikov, A; Dmitry, P; Osokin, A; Vetrov, D (2015), "Tensorización de redes neuronales", Sistemas de procesamiento de información neuronal , arXiv : 1509.06569
27. Kossaifi, Jean (2019). "T-Net: parametrización de redes completamente convolucionales con un único tensor de orden superior". arXiv : 1904.02698 [cs.CV].
28. Lebedev, Vadim (2014), Aceleración de redes neuronales convolucionales mediante descomposición CP ajustada , arXiv : 1412.6553
29. Bedden, David (2017). "Convolución tensorial profunda en núcleos múltiples". arXiv : 1611.06565 [cs.CV].
30. Oseledets, Ivan (2011). "Descomposición de tren tensorial". Revista SIAM de informática científica . 33 (5): 2295–2317. Bibcode :2011SJSC...33.2295O. doi :10.1137/090752286. S2CID  207059098.
31. Ioannidis, Vassilis (2020). "Redes convolucionales de grafos tensoriales para aprendizaje multirrelacional y robusto". IEEE Transactions on Signal Processing . 68 : 6535–6546. arXiv : 2003.07729 . Bibcode :2020ITSP...68.6535I. doi :10.1109/TSP.2020.3028495. S2CID  212736801.
32. Boutalbi, Rafika (2022). "Modularidad de grafos basada en tensores para agrupamiento de datos de texto". Actas de la 45.ª Conferencia internacional ACM SIGIR sobre investigación y desarrollo en recuperación de información .
33. Malik, Osman (2019). "Redes neuronales de gráficos tensoriales para el aprendizaje en gráficos que varían en el tiempo". Conferencia sobre procesamiento de información neuronal (NeurIPS) de 2019 .
34. Manessi, Franco; Rozza, Alessandro; Manzo, Mario (2020). "Redes convolucionales de grafos dinámicos". Reconocimiento de patrones . 97 : 107000. arXiv : 1704.06199 . Código Bibliográfico :2020PatRe..9707000M. doi :10.1016/j.patcog.2019.107000. S2CID  16745566.
35. Malik, Osman. "Redes convolucionales de gráficos dinámicos utilizando el producto tensorial M".
36. Serrano, Jerome (2014). "Nvidia presenta cuDNN, una biblioteca basada en CUDA para redes neuronales profundas".
37. Jouppi, Norman; Young; Patil; Patterson (2018). "Motivación y evaluación de la primera unidad de procesamiento tensorial". IEEE Micro . 38 (3): 10–19. doi :10.1109/MM.2018.032271057. S2CID  21657842.
38. Hemsoth, Nicole (2017). "Primer análisis en profundidad de la arquitectura TPU de Google". La próxima plataforma .
39. "Arquitectura de la GPU NVIDIA Tesla V100" (PDF) . 2017.
40. Armasu, Lucian (2017). "Sobre tensores, Tensorflow y los últimos 'Tensor Cores' de Nvidia".
41. "Pathways Language Model (PaLM): escalado a 540 mil millones de parámetros para un rendimiento innovador". ai.googleblog.com . Consultado el 29 de marzo de 2023 .
42. "Alpaca: un modelo sólido y replicable de seguimiento de instrucciones". crfm.stanford.edu . Consultado el 29 de marzo de 2023 .