Red de atractores

Una red atractora es un tipo de red dinámica recurrente que evoluciona hacia un patrón estable a lo largo del tiempo. Los nodos de la red atractora convergen hacia un patrón que puede ser de punto fijo (un solo estado), cíclico (con estados recurrentes regularmente), caótico (localmente inestable pero no globalmente) o aleatorio ( estocástico ). ^[1] Las redes atractoras se han utilizado ampliamente en la neurociencia computacional para modelar procesos neuronales como la memoria asociativa ^[2] y el comportamiento motor, así como en métodos de aprendizaje automático inspirados en la biología .

Una red de atractores contiene un conjunto de n nodos, que pueden representarse como vectores en un espacio de dimensión d donde n > d . Con el tiempo, el estado de la red tiende hacia uno de un conjunto de estados predefinidos en una variedad d ; estos son los atractores .

Descripción general

En las redes de atractores, un atractor (o conjunto de atractores ) es un subconjunto cerrado de estados A hacia el cual evoluciona el sistema de nodos. Un atractor estacionario es un estado o conjunto de estados donde la dinámica global de la red se estabiliza. Los atractores cíclicos evolucionan la red hacia un conjunto de estados en un ciclo límite , que se recorre repetidamente. Los atractores caóticos son atractores acotados que no se repiten y que se recorren continuamente.

El espacio de estados de la red es el conjunto de todos los estados posibles de los nodos. El espacio de atractores es el conjunto de nodos del atractor. Las redes de atractores se inicializan en función del patrón de entrada. La dimensionalidad del patrón de entrada puede diferir de la dimensionalidad de los nodos de la red. La trayectoria de la red consiste en el conjunto de estados a lo largo de la ruta de evolución a medida que la red converge hacia el estado del atractor. La cuenca de atracción es el conjunto de estados que da como resultado el movimiento hacia un determinado atractor. ^[1]

Tipos

Se pueden utilizar varios tipos de atractores para modelar distintos tipos de dinámicas de red. Si bien las redes de atractores de punto fijo son las más comunes (se originan a partir de las redes de Hopfield ^[3] ), también se examinan otros tipos de redes.

Atractores de puntos fijos

El atractor de punto fijo se desprende naturalmente de la red de Hopfield . Convencionalmente, los puntos fijos en este modelo representan memorias codificadas. Estos modelos se han utilizado para explicar la memoria asociativa, la clasificación y la compleción de patrones. Las redes de Hopfield contienen una función de energía subyacente ^[4] que permite que la red se acerque asintóticamente a un estado estacionario. Una clase de red de atractor de punto se inicializa con una entrada, después de lo cual se elimina la entrada y la red se mueve hacia un estado estable. Otra clase de red de atractor presenta pesos predefinidos que son probados por diferentes tipos de entrada. Si este estado estable es diferente durante y después de la entrada, sirve como modelo de memoria asociativa. Sin embargo, si los estados durante y después de la entrada no difieren, la red se puede utilizar para completar patrones.

Otros atractores estacionarios

Los atractores lineales y planos se utilizan en el estudio del control oculomotor. Estos atractores lineales, o integradores neuronales , describen la posición del ojo en respuesta a estímulos. Los atractores anulares se han utilizado para modelar la dirección de la cabeza de los roedores.

Atractores cíclicos

Los atractores cíclicos son fundamentales para modelar los generadores de patrones centrales , neuronas que gobiernan la actividad oscilatoria en los animales, como masticar, caminar y respirar.

Atractores caóticos

Se ha planteado la hipótesis de que los atractores caóticos (también llamados atractores extraños ) reflejan patrones en el reconocimiento de olores. Si bien los atractores caóticos tienen la ventaja de converger más rápidamente en los ciclos límite, aún no hay evidencia experimental que respalde esta teoría. ^[5]

Atractores continuos

Los estados estables vecinos (puntos fijos) de atractores continuos (también llamados redes neuronales de atractores continuos) codifican valores vecinos de una variable continua, como la dirección de la cabeza o la posición real en el espacio.

Atractores de anillo

Un subtipo de atractores continuos con una topología particular de las neuronas (anillo para redes unidimensionales y toro o toro retorcido para redes bidimensionales). La actividad observada de las células de la cuadrícula se explica con éxito al suponer la presencia de atractores de anillo en la corteza entorinal medial . ^[6] Recientemente, se ha propuesto que existen atractores de anillo similares en la porción lateral de la corteza entorinal y que su papel se extiende al registro de nuevos recuerdos episódicos . ^[7]

Implementaciones

Las redes de atractores se han implementado principalmente como modelos de memoria utilizando atractores de punto fijo. Sin embargo, han sido en gran medida poco prácticas para fines computacionales debido a las dificultades en el diseño del paisaje de atractores y el cableado de la red, lo que da como resultado atractores espurios y cuencas de atracción mal acondicionadas. Además, el entrenamiento en redes de atractores generalmente es computacionalmente costoso, en comparación con otros métodos como los clasificadores de k vecinos más cercanos . ^[8] Sin embargo, su papel en la comprensión general de diferentes funciones biológicas, como la función locomotora, la memoria, la toma de decisiones, por nombrar algunas, las hace más atractivas como modelos biológicamente realistas.

Redes de Hopfield

Las redes de atractores de Hopfield son una implementación temprana de las redes de atractores con memoria asociativa . Estas redes recurrentes se inicializan con la entrada y tienden hacia un atractor de punto fijo. La función de actualización en tiempo discreto es , donde es un vector de nodos en la red y es una matriz simétrica que describe su conectividad. La actualización en tiempo continuo es . ${\displaystyle x(t+1)=f(Wx(t))}$ ${\displaystyle x}$ ${\displaystyle W}$ ${\displaystyle {\frac {dx}{dt}}=-\lambda x+f(Wx)}$

Las redes bidireccionales son similares a las redes de Hopfield, con el caso especial de que la matrizes una matriz de bloques . ^[4] ${\displaystyle W}$

Redes de atractores localistas

Zemel y Mozer (2001) ^[8] propusieron un método para reducir la cantidad de atractores espurios que surgen de la codificación de múltiples atractores por cada conexión en la red. Las redes de atractores localistas codifican el conocimiento localmente implementando un algoritmo de expectativa-maximización en una mezcla de gaussianas que representan los atractores, para minimizar la energía libre en la red y hacer converger solo el atractor más relevante. Esto da como resultado las siguientes ecuaciones de actualización:

1. Determinar la actividad de los atractores: ${\displaystyle q_{i}(t)={\frac {\pi _{i}g(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}}$
2. Determinar el siguiente estado de la red: ${\displaystyle y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!}$
3. Determinar el ancho del atractor a través de la red: ${\displaystyle \sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}}$

( denota la fuerza de la cuenca, denota el centro de la cuenca, denota la entrada a la red, es una distribución gaussiana no normalizada centrada en y con una desviación estándar igual a .) ${\displaystyle \pi _{i}}$ ${\displaystyle w_{i}}$ ${\displaystyle \xi }$ ${\displaystyle g}$ ${\displaystyle y}$ ${\displaystyle \sigma }$

Luego se vuelve a observar la red y se repiten los pasos anteriores hasta la convergencia. El modelo también refleja dos conceptos biológicamente relevantes. El cambio en los modelos estimula la preparación al permitir una convergencia más rápida hacia un atractor visitado recientemente. Además, la actividad sumada de los atractores permite un efecto de pandilla que hace que dos atractores cercanos refuercen mutuamente la cuenca del otro. ${\displaystyle \alpha }$

Redes atractoras de reconsolidación

Siegelmann (2008) ^[9] generalizó el modelo de red de atractores localistas para incluir el ajuste de los propios atractores. Este algoritmo utiliza el método EM mencionado anteriormente, con las siguientes modificaciones: (1) finalización temprana del algoritmo cuando la actividad del atractor está más distribuida, o cuando una alta entropía sugiere una necesidad de memorias adicionales, y (2) la capacidad de actualizar los propios atractores: , donde es el parámetro de tamaño de paso del cambio de . Este modelo refleja la reconsolidación de la memoria en animales y muestra algunas de las mismas dinámicas que las encontradas en los experimentos de memoria. ${\displaystyle w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!}$ ${\displaystyle v}$ ${\displaystyle w_{i}}$

Los desarrollos posteriores en redes atractoras, como las redes atractoras basadas en kernel , ^[10] han mejorado la viabilidad computacional de las redes atractoras como algoritmo de aprendizaje, manteniendo al mismo tiempo la flexibilidad de alto nivel para completar patrones en estructuras compositivas complejas.

Referencias

1. Amit, DJ (1989). Modelado de la función cerebral: el mundo de las redes neuronales atractoras . Nueva York, NY: Cambridge University Press.
2. Poucet, B. y Save, E. (2005). "Atractores en la memoria". Science . 308 (5723): 799–800. doi :10.1126/science.1112555. PMID  15879197. S2CID  9681032.
3. Hopfield, JJ (1982). "Redes neuronales y sistemas físicos con capacidades computacionales colectivas emergentes". Actas de la Academia Nacional de Ciencias . 79 (8): 2554–2558. Bibcode :1982PNAS...79.2554H. doi : 10.1073/pnas.79.8.2554 . PMC 346238 . PMID  6953413. 
4. John Hopfield (ed.). "Red de Hopfield". Scholarpedia .
5. Chris Eliasmith (ed.). "Red de atractores". Scholarpedia .
6. McNaughton BL, Battaglia FP, Jensen O, Moser EI, Moser MB (agosto de 2006). "Integración de caminos y la base neural del "mapa cognitivo"". Nat. Rev. Neurosci . 7 (8): 663–678. doi :10.1038/nrn1932. PMID  16858394. S2CID  16928213.
7. Kovács KA (septiembre de 2020). "Memorias episódicas: ¿cómo cooperan el hipocampo y los atractores del anillo entorinal para crearlas?". Frontiers in Systems Neuroscience . 14 : 68. doi : 10.3389/fnsys.2020.559186 . PMC 7511719 . PMID  33013334. 
8. Zemel, R. y Mozer, M. (2001). "Redes de atractores localistas". Computación neuronal . 13 (5): 1045–1064. doi :10.1162/08997660151134325. PMID  11359644. S2CID  2934449.
9. Siegelmann, HT (2008). "Memoria analógico-simbólica que rastrea mediante reconsolidación". Physica D . 237 (9): 1207–1214. Bibcode :2008PhyD..237.1207S. doi :10.1016/j.physd.2008.03.038.
10. Nowicki, D.; Siegelmann, HT (2010). "Memoria de núcleo flexible". PLOS ONE . ​​5 (6): e10955. Bibcode :2010PLoSO...510955N. doi : 10.1371/journal.pone.0010955 . PMC 2883999 . PMID  20552013.