Aprendizaje profundo topológico

El aprendizaje profundo topológico (TDL) ^{[1] [2] [3] [4] [5] [6]} es un campo de investigación que extiende el aprendizaje profundo para manejar estructuras de datos complejas y no euclidianas. Los modelos tradicionales de aprendizaje profundo, como las redes neuronales convolucionales (CNN) y las redes neuronales recurrentes (RNN), se destacan en el procesamiento de datos en cuadrículas y secuencias regulares. Sin embargo, los datos científicos y del mundo real a menudo exhiben dominios de datos más intrincados que se encuentran en los cálculos científicos, incluidas nubes de puntos , mallas , series de tiempo , gráficos de campos escalares o espacios topológicos generales como complejos simpliciales y complejos CW . ^[7] TDL aborda esto incorporando conceptos topológicos para procesar datos con relaciones de orden superior, como interacciones entre múltiples entidades y jerarquías complejas. Este enfoque aprovecha estructuras como complejos simpliciales e hipergrafos para capturar dependencias globales y propiedades espaciales cualitativas, ofreciendo una representación más matizada de los datos. TDL también engloba métodos de topología computacional y algebraica que permiten estudiar propiedades de las redes neuronales y su proceso de entrenamiento, como su rendimiento predictivo o propiedades de generalización., ^{[8] [9] [10] [11] [12] [13] [14]} .

Historia y motivación

Las técnicas tradicionales de aprendizaje profundo a menudo operan bajo el supuesto de que un conjunto de datos reside en un espacio altamente estructurado (como imágenes , donde las redes neuronales convolucionales exhiben un rendimiento sobresaliente sobre los métodos alternativos) o un espacio euclidiano . La prevalencia de nuevos tipos de datos, en particular gráficos , mallas y moléculas , resultó en el desarrollo de nuevas técnicas, que culminaron en el campo del aprendizaje profundo geométrico , que originalmente propuso una perspectiva de procesamiento de señales para tratar dichos tipos de datos. ^[15] Si bien originalmente se limitaba a los gráficos, donde la conectividad se define en función de nodos y bordes, el trabajo de seguimiento extendió los conceptos a una variedad más grande de tipos de datos, incluidos los complejos simpliciales ^{[16] [3]} y los complejos CW , ^{[8] [17]} con trabajos recientes que proponen una perspectiva unificada de paso de mensajes en complejos combinatorios generales. ^[1]

Una perspectiva independiente sobre los diferentes tipos de datos se originó a partir del análisis de datos topológicos , que propuso un nuevo marco para describir la información estructural de los datos, es decir, su "forma", que es inherentemente consciente de múltiples escalas en los datos, que van desde la información local hasta la información global . ^[18] Si bien al principio se restringió a conjuntos de datos más pequeños, el trabajo posterior desarrolló nuevos descriptores que resumían de manera eficiente la información topológica de los conjuntos de datos para que estuvieran disponibles para las técnicas tradicionales de aprendizaje automático, como las máquinas de vectores de soporte o los bosques aleatorios . Dichos descriptores iban desde nuevas técnicas para la ingeniería de características hasta nuevas formas de proporcionar coordenadas adecuadas para los descriptores topológicos, ^{[19] [20] [21]} o la creación de medidas de disimilitud más eficientes . ^{[22] [23] [24] [25]}

La investigación contemporánea en este campo se centra principalmente en integrar información sobre la topología de datos subyacente en los modelos de aprendizaje profundo existentes o en obtener nuevas formas de entrenamiento en dominios topológicos.

Aprendizaje sobre espacios topológicos

Las tareas de aprendizaje en dominios topológicos se pueden clasificar en tres categorías generales: clasificación celular, predicción celular y clasificación compleja ^[1] .

Centrándose en la topología en el sentido de topología de conjuntos de puntos , una rama activa del TDL se ocupa del aprendizaje sobre espacios topológicos, es decir, sobre diferentes dominios topológicos.

Introducción a los dominios topológicos

Uno de los conceptos centrales del aprendizaje profundo topológico es el dominio en el que se definen y sustentan estos datos. En el caso de los datos euclidianos, como las imágenes, este dominio es una cuadrícula en la que se sustenta el valor de píxel de la imagen. En un contexto más general, este dominio podría ser un dominio topológico . A continuación, presentamos los dominios topológicos más comunes que se encuentran en un contexto de aprendizaje profundo. Estos dominios incluyen, entre otros, gráficos, complejos simpliciales, complejos de celdas, complejos combinatorios e hipergrafos.

Dado un conjunto finito S de entidades abstractas, una función de vecindad en S es una asignación que asigna a cada punto en S un subconjunto de S o una relación . Tal función puede ser inducida equipando a S con una estructura auxiliar . Las aristas proporcionan una forma de definir relaciones entre las entidades de S . Más específicamente, las aristas en un grafo permiten definir la noción de vecindad usando, por ejemplo, la noción de vecindad de un salto. Sin embargo, las aristas están limitadas en su capacidad de modelado ya que solo pueden usarse para modelar relaciones binarias entre entidades de S ya que cada arista está conectada típicamente a dos entidades. En muchas aplicaciones, es deseable permitir relaciones que incorporen más de dos entidades. La idea de usar relaciones que involucren más de dos entidades es central para los dominios topológicos. Tales relaciones de orden superior permiten que se defina una gama más amplia de funciones de vecindad en S para capturar interacciones de múltiples vías entre entidades de S . ${\displaystyle {\mathcal {N}}}$ ${\displaystyle x}$

A continuación revisamos las principales propiedades, ventajas y desventajas de algunos dominios topológicos comúnmente estudiados en el contexto del aprendizaje profundo, incluidos los complejos simpliciales (abstractos), los complejos de células regulares, los hipergrafos y los complejos combinatorios.

(a): Un grupo S está formado por partes básicas (vértices) sin ninguna conexión.(b): Un grafo representa conexiones simples entre sus partes (vértices) que son elementos de S.(c): Un complejo simplicial muestra una forma en que las partes (relaciones) están conectadas entre sí, pero con reglas estrictas sobre cómo están conectadas.(d): Al igual que los complejos simpliciales, un complejo de celdas muestra cómo las partes (relaciones) están conectadas, pero es más flexible en cómo se forman (como 'celdas').(f): Un hipergrafo muestra cualquier tipo de conexiones entre partes de S, pero estas conexiones no están organizadas en ningún orden particular.(e): Un CC mezcla elementos de complejos de celdas (conexiones con orden) e hipergrafos (conexiones variadas), cubriendo ambos tipos de configuraciones. ^[1]

Comparaciones entre dominios topológicos

Cada uno de los dominios topológicos enumerados tiene sus propias características, ventajas y limitaciones:

• Complejos simpliciales
  • Forma más simple de dominios de orden superior.
  • Extensiones de modelos basados ​​en gráficos.
  • Admite estructuras jerárquicas, haciéndolas adecuadas para diversas aplicaciones.
  • La teoría de Hodge puede definirse naturalmente en complejos simpliciales.
  • Requiere que las relaciones sean subconjuntos de relaciones más grandes, lo que impone restricciones a la estructura.

• Complejos celulares
  • Generalizar complejos simpliciales.
  • Proporcionar más flexibilidad para definir relaciones de orden superior.
  • Cada célula de un complejo celular es homeomorfa a una bola abierta, unidas entre sí mediante mapas de unión.
  • Las células límite de cada célula de un complejo celular también son células del complejo.
  • Representado combinatoriamente mediante matrices de incidencia.

• Hipergrafos
  • Permitir relaciones de tipo conjunto arbitrarias entre entidades.
  • Las relaciones no son impuestas por otras relaciones, proporcionando más flexibilidad.
  • No codifique explícitamente la dimensión de las celdas o relaciones.
  • Útil cuando las relaciones en los datos no se ajustan a las restricciones impuestas por otros modelos, como los complejos simpliciales y celulares.

• Complejos combinatorios ^[1] :
  • Generalizar y tender puentes entre complejos simpliciales, complejos celulares e hipergrafos.
  • Permitir estructuras jerárquicas y relaciones de tipo conjunto.
  • Combine características de otros complejos al tiempo que proporciona más flexibilidad en las relaciones de modelado.
  • Se pueden representar combinatoriamente, de forma similar a los complejos celulares.

Estructura jerárquica y relaciones de tipo conjunto

Las propiedades de los complejos simpliciales, los complejos celulares y los hipergrafos dan lugar a dos características principales de las relaciones en dominios de orden superior, a saber, las jerarquías de relaciones y las relaciones de tipo conjunto. ^[1]

Función de rango

Una función de rango en un dominio de orden superior X es una función que preserva el orden rk : X → Z , donde rk ( x ) asigna un valor entero no negativo a cada relación x en X , preservando la inclusión del conjunto en X . Los complejos celulares y simpliciales son ejemplos comunes de dominios de orden superior equipados con funciones de rango y, por lo tanto, con jerarquías de relaciones. ^[1]

Relaciones de tipo conjunto

Las relaciones en un dominio de orden superior se denominan relaciones de tipo conjunto si la existencia de una relación no está implícita en otra relación en el dominio. Los hipergrafos constituyen ejemplos de dominios de orden superior equipados con relaciones de tipo conjunto. Dadas las limitaciones de modelado de los complejos simpliciales, los complejos de celdas y los hipergrafos, desarrollamos el complejo combinatorio, un dominio de orden superior que presenta tanto jerarquías de relaciones como relaciones de tipo conjunto. ^[1]

Las tareas de aprendizaje en TDL se pueden clasificar en tres categorías generales: ^[1]

• Clasificación de celdas : predecir objetivos para cada celda de un complejo. Algunos ejemplos incluyen la segmentación de malla triangular, donde la tarea consiste en predecir la clase de cada cara o borde de una malla determinada.
• Clasificación compleja : predecir objetivos para un complejo completo. Por ejemplo, predecir la clase de cada malla de entrada.
• Predicción de células : predecir las propiedades de las interacciones entre células en un complejo y, en algunos casos, predecir si existe una célula en el complejo. Un ejemplo es la predicción de vínculos entre entidades en hiperaristas de un hipergrafo.

En la práctica, para llevar a cabo las tareas antes mencionadas, es necesario construir e implementar modelos de aprendizaje profundo diseñados para espacios topológicos específicos. Estos modelos, conocidos como redes neuronales topológicas, están diseñados para funcionar de manera eficaz dentro de estos espacios.

Redes neuronales topológicas

Las redes neuronales topológicas (TNN) son fundamentales para el TDL , arquitecturas especializadas diseñadas para operar con datos estructurados en dominios topológicos. ^{[2] [1]} A diferencia de las redes neuronales tradicionales diseñadas para estructuras tipo cuadrícula, las TNN son aptas para manejar representaciones de datos más complejas, como gráficos, complejos simpliciales y complejos de celdas. Al aprovechar la topología inherente de los datos, las TNN pueden capturar relaciones tanto locales como globales, lo que permite un análisis e interpretación matizados.

Redes neuronales topológicas de paso de mensajes

En un dominio topológico general, el paso de mensajes de orden superior implica el intercambio de mensajes entre entidades y celdas utilizando un conjunto de funciones de vecindad.

Definición: Transmisión de mensajes de orden superior en un dominio topológico general

El paso de mensajes de orden superior es un modelo de aprendizaje profundo definido en un dominio topológico y se basa en la información de paso de mensajes entre entidades en el dominio subyacente para realizar una tarea de aprendizaje ^[1] .

Sea un dominio topológico. Definimos un conjunto de funciones de vecindad en . Consideremos una celda y sea para algún . Un mensaje entre celdas y es un cálculo que depende de estas dos celdas o de los datos que soportan. Denotemos como el multiconjunto , y sea que represente algunos datos soportados en la celda en la capa . El paso de mensajes de orden superior en , ^{[1] [8]} inducido por , se define mediante las siguientes cuatro reglas de actualización: ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {N}}=\{{\mathcal {N}}_{1},\ldots ,{\mathcal {N}}_{n}\}}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle x}$ ${\displaystyle y\in {\mathcal {N}}_{k}(x)}$ ${\displaystyle {\mathcal {N}}_{k}\in {\mathcal {N}}}$ ${\displaystyle m_{x,y}}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle {\mathcal {N}}(x)}$ ${\displaystyle \{\!\!\{{\mathcal {N}}_{1}(x),\ldots ,{\mathcal {N}}_{n}(x)\}\!\!\}}$ ${\displaystyle \mathbf {h} _{x}^{(l)}}$ ${\displaystyle x}$ ${\displaystyle l}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {N}}}$

1. ${\displaystyle m_{x,y}=\alpha _{{\mathcal {N}}_{k}}(\mathbf {h} _{x}^{(l)},\mathbf {h} _{y}^{(l)})}$
2. ${\displaystyle m_{x}^{k}=\bigoplus _{y\in {\mathcal {N}}_{k}(x)}m_{x,y}}$, donde es la función de agregación intra-vecinal. ${\displaystyle \bigoplus }$
3. ${\displaystyle m_{x}=\bigotimes _{{\mathcal {N}}_{k}\in {\mathcal {N}}}m_{x}^{k}}$, donde es la función de agregación entre barrios. ${\displaystyle \bigotimes }$
4. ${\displaystyle \mathbf {h} _{x}^{(l+1)}=\beta (\mathbf {h} _{x}^{(l)},m_{x})}$, donde son funciones diferenciables. ${\displaystyle \alpha _{{\mathcal {N}}_{k}},\beta }$

Algunas observaciones sobre la definición anterior son las siguientes.

En primer lugar, la ecuación 1 describe cómo se calculan los mensajes entre las células y . El mensaje se ve influenciado tanto por los datos como por los asociados con las células y , respectivamente. Además, incorpora características específicas de las propias células, como la orientación en el caso de los complejos celulares. Esto permite una representación más rica de las relaciones espaciales en comparación con los marcos tradicionales de transmisión de mensajes basados ​​en gráficos. ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle m_{x,y}}$ ${\displaystyle \mathbf {h} _{x}^{(l)}}$ ${\displaystyle \mathbf {h} _{y}^{(l)}}$ ${\displaystyle x}$ ${\displaystyle y}$

En segundo lugar, la ecuación 2 define cómo se agregan los mensajes de las celdas vecinas dentro de cada vecindario. La función agrega estos mensajes, lo que permite que la información se intercambie de manera eficaz entre celdas adyacentes dentro del mismo vecindario. ${\displaystyle \bigoplus }$

En tercer lugar, la ecuación 3 describe el proceso de combinación de mensajes de diferentes vecindarios. La función agrega mensajes de varios vecindarios, lo que facilita la comunicación entre células que pueden no estar conectadas directamente pero que comparten relaciones de vecindario comunes. ${\displaystyle \bigotimes }$

En cuarto lugar, la ecuación 4 especifica cómo los mensajes agregados influyen en el estado de una celda en la siguiente capa. Aquí, la función actualiza el estado de la celda en función de su estado actual y del mensaje agregado obtenido de las celdas vecinas. ${\displaystyle \beta }$ ${\displaystyle x}$ ${\displaystyle \mathbf {h} _{x}^{(l)}}$ ${\displaystyle m_{x}}$

Redes neuronales topológicas sin transmisión de mensajes

Si bien la mayoría de las TNN siguen el paradigma de paso de mensajes del aprendizaje de grafos , se han sugerido varios modelos que no siguen este enfoque. Por ejemplo, Maggs et al. ^[26] aprovechan la información geométrica de complejos simpliciales integrados, es decir, complejos simpliciales con características de alta dimensión adjuntas a sus vértices. Esto ofrece interpretabilidad y consistencia geométrica sin depender del paso de mensajes. Además, en ^[27] se sugirió un método contrastivo basado en pérdida para aprender la representación simplicial.

Aprendizaje sobre descriptores topológicos

Motivados por la naturaleza modular de las redes neuronales profundas , el trabajo inicial en TDL se inspiró en el análisis de datos topológicos y apuntó a hacer que los descriptores resultantes fueran susceptibles de integración en modelos de aprendizaje profundo . Esto condujo al trabajo de definición de nuevas capas para redes neuronales profundas. El trabajo pionero de Hofer et al., ^[28] por ejemplo, introdujo una capa que permitía integrar descriptores topológicos como diagramas de persistencia o códigos de barras de persistencia en una red neuronal profunda. Esto se logró por medio de funciones de proyección entrenables de extremo a extremo, lo que permitió utilizar características topológicas para resolver tareas de clasificación de formas, por ejemplo. El trabajo de seguimiento amplió más las propiedades teóricas de dichos descriptores y los integró en el campo del aprendizaje de representaciones . ^[29] Otras capas topológicas de este tipo incluyen capas basadas en descriptores de homología persistente extendidos, ^[30] paisajes de persistencia, ^[31] o funciones de coordenadas. ^[32] En paralelo, la homología persistente también encontró aplicaciones en tareas de aprendizaje de gráficos. Ejemplos notables incluyen nuevos algoritmos para aprender funciones de filtración específicas de tareas para tareas de clasificación de gráficos o clasificación de nodos. ^{[33] [34] [35]}

Aplicaciones

TDL está encontrando rápidamente nuevas aplicaciones en diferentes dominios, incluida la compresión de datos, ^[36] la mejora de la expresividad y el rendimiento predictivo de las redes neuronales gráficas , ^{[16] [17] [33]} el reconocimiento de acciones, ^[37] y la predicción de trayectorias. ^[38]

Referencias

1. Hajij, M.; Zamzmi, G.; Papamarkou, T.; Miolane, N.; Guzmán-Sáenz, A.; Ramamurthy, KN; Schaub, MT (2022), Aprendizaje profundo topológico: ir más allá de los datos gráficos , arXiv : 2206.00606
2. Papillon, M.; Sanborn, S.; Hajij, M.; Miolane, N. (2023). "Arquitecturas de aprendizaje profundo topológico: un estudio sobre redes neuronales topológicas". arXiv : 2304.10031 [cs.LG].
3. Ebli, S.; Defferrard, M.; Spreemann, G. (2020), Redes neuronales simples , arXiv : 2010.03633
4. Battiloro, C.; Testa, L.; Giusti, L.; Sardellitti, S.; DiLorenzo, P.; Barbarossa, S. (2023), Redes neuronales de atención simplicial generalizada , arXiv : 2309.02138
5. Yang, M.; Isufi, E. (2023), Aprendizaje convolucional en complejos simpliciales , arXiv : 2301.11163
6. Chen, Y.; Gel, YR; Poor, HV (2022), "BScNets: Redes neuronales complejas simpliciales en bloque", Actas de la Conferencia AAAI sobre Inteligencia Artificial , 36 (6): 6333–6341, arXiv : 2112.06826 , doi :10.1609/aaai.v36i6.20583
7. Uray, Martin; Giunti, Barbara; Kerber, Michael; Huber, Stefan (1 de octubre de 2024). "Análisis de datos topológicos en la fabricación inteligente: estado del arte y direcciones futuras". Journal of Manufacturing Systems . 76 : 75–91. arXiv : 2310.09319 . doi :10.1016/j.jmsy.2024.07.006. ISSN  0278-6125.
8. Hajij, M.; Istvan, K.; Zamzmi, G. (2020), Redes neuronales complejas celulares , arXiv : 2010.00743
9. Bianchini, Monica; Scarselli, Franco (2014). "Sobre la complejidad de los clasificadores de redes neuronales: una comparación entre arquitecturas superficiales y profundas". IEEE Transactions on Neural Networks and Learning Systems . 25 (8): 1553–1565. doi :10.1109/TNNLS.2013.2293637. ISSN  2162-237X.
10. Naitzat, Gregory; Zhitnikov, Andrey; Lim, Lek-Heng (2020). "Topología de redes neuronales profundas" (PDF) . Revista de investigación en aprendizaje automático . 21 (1): 184:7503–184:7542. ISSN  1532-4435.
11. Birdal, Tolga; Lou, Aaron; Guibas, Leonidas J; Simsekli, Umut (2021). "Dimensión intrínseca, homología persistente y generalización en redes neuronales". Avances en sistemas de procesamiento de información neuronal . 34 . Curran Associates, Inc.: 6776–6789.
12. Ballester, Rubén; Clemente, Xavier Arnal; Casacuberta, Carles; Madadi, Meysam; Corneanu, Ciprián A.; Escalera, Sergio (2024). "Predecir la brecha de generalización en redes neuronales mediante análisis de datos topológicos". Neurocomputación . 596 : 127787. arXiv : 2203.12330 . doi : 10.1016/j.neucom.2024.127787.
13. Rieck, Bastian; Togninalli, Matteo; Bock, Christian; Moor, Michael; Horn, Max; Gumbsch, Thomas; Borgwardt, Karsten (27 de septiembre de 2018). "Persistencia neuronal: una medida de complejidad para redes neuronales profundas utilizando topología algebraica". Conferencia internacional sobre representaciones de aprendizaje .
14. Dupuis, Benjamin; Deligiannidis, George; Simsekli, Umut (3 de julio de 2023). "Límites de generalización utilizando dimensiones fractales dependientes de los datos". Actas de la 40.ª Conferencia internacional sobre aprendizaje automático . PMLR: 8922–8968.
15. Bronstein, Michael M.; Bruna, Juana; LeCun, Yann; Szlam, Arturo; Vandergheynst, Pierre (2017). "Aprendizaje profundo geométrico: ir más allá de los datos euclidianos". Revista de procesamiento de señales IEEE . 34 (4): 18–42. arXiv : 1611.08097 . doi :10.1109/MSP.2017.2693418. ISSN  1053-5888.
16. Bodnar, Cristian; Frasca, Fabrizio; Wang, Yuguang; Otter, Nina; Montufar, Guido F.; Lió, Pietro; Bronstein, Michael (1 de julio de 2021). "Weisfeiler y Lehman se vuelven topológicos: redes simpliciales de paso de mensajes". Actas de la 38.ª Conferencia internacional sobre aprendizaje automático . PMLR: 1026–1037.
17. Bodnar, Cristian; Frasca, Fabrizio; Otter, Nina; Wang, Yuguang; Liò, Pietro; Montufar, Guido F; Bronstein, Michael (2021). "Weisfeiler y Lehman se vuelven celulares: redes CW". Avances en sistemas de procesamiento de información neuronal . 34 . Curran Associates, Inc.: 2625–2640.
18. Carlsson, Gunnar (29 de enero de 2009). "Topología y datos". Boletín de la American Mathematical Society . 46 (2): 255–308. doi : 10.1090/S0273-0979-09-01249-X . ISSN  0273-0979.
19. Adcock, Aaron; Carlsson, Erik; Carlsson, Gunnar (2016). "El anillo de funciones algebraicas en códigos de barras de persistencia". Homología, homotopía y aplicaciones . 18 (1): 381–402. arXiv : 1304.0530 . doi :10.4310/HHA.2016.v18.n1.a21.
20. Adams, Henry; Emerson, Tegan; Kirby, Michael; Neville, Rachel; Peterson, Chris; Shipman, Patrick; Chepushtanova, Sofya; Hanson, Eric; Motta, Francis; Ziegelmeier, Lori (2017). "Imágenes de persistencia: una representación vectorial estable de homología persistente". Revista de investigación en aprendizaje automático . 18 (8): 1–35. ISSN  1533-7928.
21. Bubenik, Peter (2015). "Análisis estadístico de datos topológicos utilizando paisajes de persistencia". Revista de investigación en aprendizaje automático . 16 (3): 77–102. ISSN  1533-7928.
22. Kwitt, Roland; Huber, Stefan; Niethammer, Marc; Lin, Weili; Bauer, Ulrich (2015). "Análisis topológico estadístico de datos: una perspectiva de núcleo". Avances en sistemas de procesamiento de información neuronal . 28 . Curran Associates, Inc.
23. Carrière, Mathieu; Cuturi, Marco; Oudot, Steve (17 de julio de 2017). "Núcleo de Wasserstein en rodajas para diagramas de persistencia". Actas de la 34.ª Conferencia internacional sobre aprendizaje automático . PMLR: 664–673.
24. Kusano, Genki; Fukumizu, Kenji; Hiraoka, Yasuaki (2018). "Método del kernel para diagramas de persistencia mediante incrustación del kernel y factor de peso". Revista de investigación sobre aprendizaje automático . 18 (189): 1–41. ISSN  1533-7928.
25. Le, Tam; Yamada, Makoto (2018). "Núcleo de persistencia de Fisher: un núcleo de variedad de Riemann para diagramas de persistencia". Avances en sistemas de procesamiento de información neuronal . 31 . Curran Associates, Inc.
26. Maggs, Kelly; Hacker, Celia; Rieck, Bastian (13 de octubre de 2023). "Aprendizaje de representaciones simpliciales con formas k neuronales". Conferencia internacional sobre representaciones de aprendizaje .
27. Ramamurthy, KN; Guzmán-Sáenz, A.; Hajij, M. (2023), Topo-mlp: una red simple sin paso de mensajes , págs. 1–5
28. Hofer, Christoph; Kwitt, Roland; Niethammer, Marc; Uhl, Andreas (2017). "Aprendizaje profundo con firmas topológicas". Avances en sistemas de procesamiento de información neuronal . 30 . Curran Associates, Inc.
29. Hofer, Christoph D.; Kwitt, Roland; Niethammer, Marc (2019). "Representaciones de aprendizaje de códigos de barras de persistencia". Revista de investigación en aprendizaje automático . 20 (126): 1–45. ISSN  1533-7928.
30. Carriere, Mathieu; Chazal, Frederic; Ike, Yuichi; Lacombe, Theo; Royer, Martin; Umeda, Yuhei (3 de junio de 2020). "PersLay: una capa de red neuronal para diagramas de persistencia y nuevas firmas topológicas de grafos". Actas de la Vigésima Tercera Conferencia Internacional sobre Inteligencia Artificial y Estadística . PMLR: 2786–2796.
31. Kim, Kwangho; Kim, Jisu; Zaheer, Manzil; Kim, Joon; Chazal, Frederic; Wasserman, Larry (2020). "PLLay: Capa topológica eficiente basada en paisajes persistentes". Avances en sistemas de procesamiento de información neuronal . 33 . Curran Associates, Inc.: 15965–15977.
32. Gabrielsson, Rickard Brüel; Nelson, Bradley J.; Dwaraknath, Anjan; Skraba, Primoz (3 de junio de 2020). "Una capa de topología para el aprendizaje automático". Actas de la 23.ª Conferencia Internacional sobre Inteligencia Artificial y Estadística . PMLR: 1553–1563.
33. Horn, Max; Brouwer, Edward De; Moor, Michael; Moreau, Yves; Rieck, Bastian; Borgwardt, Karsten (6 de octubre de 2021). "Redes neuronales de grafos topológicos". Conferencia internacional sobre representaciones de aprendizaje .
34. Hofer, Christoph; Graf, Florian; Rieck, Bastian; Niethammer, Marc; Kwitt, Roland (21 de noviembre de 2020). "Graph Filtration Learning". Actas de la 37.ª Conferencia internacional sobre aprendizaje automático . PMLR: 4314–4323.
35. Immonen, Johanna; Souza, Amauri; Garg, Vikas (15 de diciembre de 2023). "Más allá de la homología persistente mediante la homología persistente". Avances en sistemas de procesamiento de información neuronal . 36 : 63150–63173.
36. Battiloro, C.; Di Lorenzo, P.; Ribeiro, A. (septiembre de 2023), Aprendizaje de diccionario paramétrico para la representación de señales topológicas , IEEE, págs. 1958-1962
37. Wang, C.; Ma, N.; Wu, Z.; Zhang, J.; Yao, Y. (agosto de 2022), Estudio de redes neuronales hipergráficas y su aplicación al reconocimiento de acciones , Springer Nature Switzerland, págs. 387–398
38. Roddenberry, TM; Glaze, N.; Segarra, S. (julio de 2021), Redes neuronales simples basadas en principios para la predicción de trayectorias , PMLR, págs. 9020–9029, arXiv : 2102.10058