Aprendizaje competitivo

El aprendizaje competitivo es una forma de aprendizaje no supervisado en redes neuronales artificiales , en la que los nodos compiten por el derecho a responder a un subconjunto de los datos de entrada. ^{[1] [2]} Una variante del aprendizaje hebbiano , el aprendizaje competitivo funciona aumentando la especialización de cada nodo de la red. Es muy adecuado para encontrar clústeres dentro de los datos.

Los modelos y algoritmos basados ​​en el principio de aprendizaje competitivo incluyen la cuantificación vectorial y los mapas autoorganizados (mapas de Kohonen).

Principio

Hay tres elementos básicos en una regla de aprendizaje competitivo: ^{[3] [4]}

• Un conjunto de neuronas que son todas iguales excepto por algunos pesos sinápticos distribuidos aleatoriamente y que, por lo tanto, responden de manera diferente a un conjunto dado de patrones de entrada.
• Un límite impuesto a la “fuerza” de cada neurona
• Mecanismo que permite a las neuronas competir por el derecho a responder a un subconjunto determinado de entradas, de modo que solo una neurona de salida (o solo una neurona por grupo) esté activa (es decir, "activa") a la vez. La neurona que gana la competencia se denomina neurona "el ganador se lo lleva todo" .

En consecuencia, las neuronas individuales de la red aprenden a especializarse en conjuntos de patrones similares y al hacerlo se convierten en "detectores de características" para diferentes clases de patrones de entrada.

El hecho de que las redes competitivas recodifiquen conjuntos de entradas correlacionadas en una de unas pocas neuronas de salida elimina esencialmente la redundancia en la representación, que es una parte esencial del procesamiento en los sistemas sensoriales biológicos . ^{[5] [6]}

Arquitectura e implementación

Arquitectura de red neuronal competitiva

El aprendizaje competitivo se suele implementar con redes neuronales que contienen una capa oculta que comúnmente se conoce como “capa competitiva”. ^[7] Cada neurona competitiva se describe mediante un vector de pesos y calcula la medida de similitud entre los datos de entrada y el vector de pesos . ${\displaystyle {\mathbf {w} }_{i}=\left({w_{i1},..,w_{id}}\right)^{T},i=1,..,M}$ ${\displaystyle {\mathbf {x} }^{n}=\left({x_{n1},..,x_{nd}}\right)^{T}\in \mathbb {R} ^{d}}$ ${\displaystyle {\mathbf {w} }_{i}}$

Para cada vector de entrada, las neuronas competitivas “compiten” entre sí para ver cuál de ellas es la más similar a ese vector de entrada en particular. La neurona ganadora m establece su salida y todas las demás neuronas competitivas establecen su salida . ${\displaystyle o_{m}=1}$ ${\displaystyle o_{i}=0,i=1,..,M,i\neq m}$

Generalmente, para medir la similitud se utiliza la inversa de la distancia euclidiana: entre el vector de entrada y el vector de peso . ${\displaystyle \left\|{{\mathbf {x} }-{\mathbf {w} }_{i}}\right\|}$ ${\displaystyle {\mathbf {x} }^{n}}$ ${\displaystyle {\mathbf {w} }_{i}}$

Algoritmo de ejemplo

A continuación se muestra un algoritmo de aprendizaje competitivo simple para encontrar tres grupos dentro de algunos datos de entrada.

1. (Configuración) Supongamos que un conjunto de sensores alimenta tres nodos diferentes, de modo que cada nodo esté conectado a todos los sensores. Supongamos que los pesos que cada nodo asigna a sus sensores se establecen aleatoriamente entre 0,0 y 1,0. Supongamos que la salida de cada nodo es la suma de todos sus sensores, y que la intensidad de la señal de cada sensor se multiplica por su peso.

2. Cuando se muestra una entrada a la red, el nodo con la salida más alta se considera ganador. La entrada se clasifica dentro del grupo correspondiente a ese nodo.

3. El ganador actualiza cada uno de sus pesos, moviendo el peso de las conexiones que le dieron señales más débiles a las conexiones que le dieron señales más fuertes.

De este modo, a medida que se reciben más datos, cada nodo converge hacia el centro del clúster que ha llegado a representar y se activa más fuertemente para las entradas de este clúster y más débilmente para las entradas de otros clústeres.

Véase también

• Aprendizaje en conjunto
• Gas neural
• Arquitectura del pandemonio

Referencias

1. Rumelhart, David ; David Zipser; James L. McClelland; et al. (1986). Procesamiento distribuido paralelo, vol. 1. MIT Press. págs. 151–193.
2. Grossberg, Stephen (1 de enero de 1987). "Aprendizaje competitivo: de la activación interactiva a la resonancia adaptativa" (PDF) . Cognitive Science . 11 (1): 23–63. doi : 10.1016/S0364-0213(87)80025-3 . ISSN  0364-0213.
3. Rumelhart, David E. y David Zipser. "Descubrimiento de características mediante aprendizaje competitivo". Cognitive science 9.1 (1985): 75-112.
4. Haykin, Simon, "Redes neuronales. Una base integral". Neural Networks 2.2004 (2004).
5. Barlow, Horace B. "Aprendizaje no supervisado". Computación neuronal 1.3 (1989): 295-311.
6. Edmund T. Rolls y Gustavo Deco. Neurociencia computacional de la visión. Oxford: Oxford University Press, 2002.
7. Salatas, John (24 de agosto de 2011). "Implementación de redes de aprendizaje competitivo para WEKA". Blog de investigación en TIC . Consultado el 28 de enero de 2012 .

Más información y software

• Borrador del informe "Algunos métodos de aprendizaje competitivo" (contiene descripciones de varios algoritmos relacionados)
• DemoGNG - Simulador Java para métodos de aprendizaje competitivos