Redes neuronales entrenadas instantáneamente

Las redes neuronales entrenadas instantáneamente son redes neuronales artificiales de propagación hacia adelante que crean un nuevo nodo neuronal oculto para cada nueva muestra de entrenamiento. Los pesos de esta neurona oculta separan no solo esta muestra de entrenamiento sino también otras que están cerca de ella, lo que proporciona generalización. ^{[1] [2]} Esta separación se realiza utilizando el hiperplano más cercano que se puede escribir instantáneamente. En las dos implementaciones más importantes, la vecindad de generalización varía con la muestra de entrenamiento (red CC1) o permanece constante (red CC4). Estas redes utilizan codificación unaria para una representación eficaz de los conjuntos de datos. ^[3]

Este tipo de red fue propuesta por primera vez en un artículo de 1993 de Subhash Kak . ^[1] Desde entonces, las redes neuronales entrenadas instantáneamente se han propuesto como modelos de aprendizaje a corto plazo y se han utilizado en búsquedas web y aplicaciones de predicción de series temporales financieras . ^[4] También se han utilizado en la clasificación instantánea de documentos ^[5] y para el aprendizaje profundo y la minería de datos . ^{[6] [7]}

Al igual que en otras redes neuronales, su uso normal es como software, pero también se han implementado en hardware mediante FPGAs ^[8] y mediante implementación óptica . ^[9]

Red CC4

En la red CC4, que es una red de tres etapas, la cantidad de nodos de entrada es uno más que el tamaño del vector de entrenamiento, y el nodo adicional actúa como nodo de polarización cuya entrada siempre es 1. Para los vectores de entrada binarios, los pesos de los nodos de entrada a la neurona oculta (por ejemplo, de índice j) correspondiente al vector entrenado se dan mediante la siguiente fórmula:

${\displaystyle w_{ij}={\begin{cases}-1,&{\mbox{for }}x_{i}=0\\+1,&{\mbox{for }}x_{i}=1\\r-s+1,&{\mbox{for }}i=n+1\end{cases}}}$

donde es el radio de generalización y es el peso de Hamming (la cantidad de 1) de la secuencia binaria. Desde la capa oculta hasta la capa de salida, los pesos son 1 o -1 dependiendo de si el vector pertenece o no a una clase de salida determinada. Las neuronas en las capas oculta y de salida generan 1 si la suma ponderada de la entrada es 0 o positiva y 0, si la suma ponderada de la entrada es negativa: ${\displaystyle r}$ ${\displaystyle s}$

${\displaystyle y=\left\{{\begin{matrix}1&{\mbox{if }}\sum x_{i}\geq 0\\0&{\mbox{if }}\sum x_{i}<0\end{matrix}}\right.}$

Otras redes

La red CC4 también se ha modificado para incluir una entrada no binaria con diferentes radios de generalización, de modo que proporcione efectivamente una implementación CC1. ^[10]

En las redes de retroalimentación, tanto la red Willshaw como la red Hopfield pueden aprender instantáneamente.

Referencias

1. Kak, S. Sobre el entrenamiento de redes neuronales de propagación hacia adelante. Pramana, vol. 40, págs. 35-42, 1993 [1]
2. Kak, S. Nuevos algoritmos para el entrenamiento de redes neuronales de propagación hacia adelante. Pattern Recognition Letters 15: 295-298, 1994.
3. Kak, S. Sobre generalización por redes neuronales, Ciencias de la Información 111: 293-302, 1998.
4. Kak, S. Búsqueda y predicción web más rápidas utilizando redes neuronales entrenadas instantáneamente. IEEE Intelligent Systems 14: 79-82, noviembre/diciembre de 1999.
5. Zhang, Z. et al., TextCC: Nueva red neuronal de avance para clasificar documentos instantáneamente. Advances in Neural Networks ISNN 2005. Lecture Notes in Computer Science 3497: 232-237, 2005.
6. Zhang, Z. et al., Clasificación de documentos mediante TextCC basada en proyección estereográfica y para aprendizaje profundo, Conferencia internacional sobre aprendizaje automático y cibernética, Dalin, 2006
7. Schmidhuber, J. Aprendizaje profundo en redes neuronales: una descripción general, arXiv:1404.7828, 2014 https://arxiv.org/abs/1404.7828
8. Zhu, J. y G. Milne, Implementación de redes neuronales Kak en una plataforma informática reconfigurable, Notas de clase en Ciencias de la Computación Volumen 1896: 260-269, 2000.
9. Shortt, A., JG Keating, L. Moulinier, CN Pannell, Implementación óptica de la red neuronal Kak, Information Sciences 171: 273-287, 2005.
10. Tang, KW y Kak, S. Redes de clasificación rápida para procesamiento de señales. Circuits, Systems, Signal Processing 21, 2002, págs. 207-224.