Aprendiendo cuantificación vectorial

En informática , el aprendizaje de cuantificación vectorial ( LVQ ) es un algoritmo de clasificación supervisado basado en prototipos . LVQ es la contraparte supervisada de los sistemas de cuantificación vectorial .

Descripción general

LVQ puede entenderse como un caso especial de una red neuronal artificial ; más precisamente, aplica un enfoque de aprendizaje hebbiano de “el ganador se lo lleva todo” . Es un precursor de los mapas autoorganizados (SOM) y está relacionado con el gas neuronal y el algoritmo de los k vecinos más cercanos (k-NN). LVQ fue inventado por Teuvo Kohonen . ^[1]

Un sistema LVQ se representa mediante prototipos que se definen en el espacio de características de los datos observados. En los algoritmos de entrenamiento de tipo "el ganador se lo lleva todo" se determina, para cada punto de datos, el prototipo que está más cerca de la entrada según una medida de distancia dada. La posición de este denominado prototipo ganador se adapta entonces, es decir, el ganador se acerca si clasifica correctamente el punto de datos o se aleja si lo clasifica incorrectamente. ${\displaystyle W=(w(i),...,w(n))}$

Una ventaja de LVQ es que crea prototipos que son fáciles de interpretar para los expertos en el respectivo dominio de aplicación. ^[2] Los sistemas LVQ se pueden aplicar a problemas de clasificación de múltiples clases de forma natural.

Una cuestión clave en LVQ es la elección de una medida de distancia o similitud adecuada para el entrenamiento y la clasificación. Recientemente, se han desarrollado técnicas que adaptan una medida de distancia parametrizada durante el entrenamiento del sistema; véase, por ejemplo, (Schneider, Biehl y Hammer, 2009) ^[3] y las referencias allí citadas.

LVQ puede ser una fuente de gran ayuda para clasificar documentos de texto. ^{[ cita requerida ]}

Algoritmo

A continuación se ofrece una descripción informal.
El algoritmo consta de tres pasos básicos. La entrada del algoritmo es:

• cuantas neuronas tendrá el sistema (en el caso más simple es igual al número de clases) ${\displaystyle M}$
• ¿Qué peso tiene cada neurona ? ${\displaystyle {\vec {w_{i}}}}$ ${\displaystyle i=0,1,...,M-1}$
• la etiqueta correspondiente a cada neurona ${\displaystyle c_{i}}$ ${\displaystyle {\vec {w_{i}}}}$
• Qué rápido aprenden las neuronas ${\displaystyle \eta }$
• y una lista de entrada que contiene todos los vectores cuyas etiquetas ya se conocen (conjunto de entrenamiento). ${\displaystyle L}$

El flujo del algoritmo es:

1. Para la siguiente entrada (con etiqueta ) busque la neurona más cercana , es decir , donde está la métrica utilizada ( euclidiana , etc.). ${\displaystyle {\vec {x}}}$ ${\displaystyle y}$ ${\displaystyle L}$ ${\displaystyle {\vec {w_{m}}}}$
   ${\displaystyle d({\vec {x}},{\vec {w_{m}}})=\min \limits _{i}{d({\vec {x}},{\vec {w_{i}}})}}$ ${\displaystyle \,d}$
2. Actualización . Una mejor explicación es acercarse a la entrada , si y pertenecen a la misma etiqueta y alejarlos si no es así. if (más cerca) o if (más lejos). ${\displaystyle {\vec {w_{m}}}}$ ${\displaystyle {\vec {w_{m}}}}$ ${\displaystyle {\vec {x}}}$ ${\displaystyle {\vec {x}}}$ ${\displaystyle {\vec {w_{m}}}}$
   ${\displaystyle {\vec {w_{m}}}\gets {\vec {w_{m}}}+\eta \cdot \left({\vec {x}}-{\vec {w_{m}}}\right)}$ ${\displaystyle c_{m}=y}$
   ${\displaystyle {\vec {w_{m}}}\gets {\vec {w_{m}}}-\eta \cdot \left({\vec {x}}-{\vec {w_{m}}}\right)}$ ${\displaystyle c_{m}\neq y}$
3. Mientras queden vectores, vaya al paso 1; de lo contrario, finalice. ${\displaystyle L}$

Nota: y son vectores en el espacio de características. ${\displaystyle {\vec {w_{i}}}}$ ${\displaystyle {\vec {x}}}$

Referencias

1. T. Kohonen. Mapas autoorganizados. Springer, Berlín, 1997.
2. T. Kohonen (1995), "Aprendizaje de la cuantificación vectorial", en MA Arbib (ed.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, págs. 537–540
3. P. Schneider; B. Hammer; M. Biehl (2009). "Matrices de relevancia adaptativas en el aprendizaje de la cuantificación vectorial". Neural Computation . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi :10.1162/neco.2009.10-08-892. PMID  19635012. S2CID  17306078. 

Lectura adicional

• Mapas autoorganizados y aprendizaje de cuantificación vectorial para secuencias de características, Somervuo y Kohonen. 2004 (pdf)

Enlaces externos

• Lanzamiento oficial de lvq_pak (1996) por Kohonen y su equipo