Regla de aprendizaje

Algoritmo de red neuronal artificial

Una regla de aprendizaje o proceso de aprendizaje de una red neuronal artificial es un método, lógica matemática o algoritmo que mejora el rendimiento de la red y/o el tiempo de entrenamiento. Por lo general, esta regla se aplica repetidamente sobre la red. Se realiza actualizando los pesos y los niveles de sesgo ^{[ ancla rota ]} de una red cuando se simula una red en un entorno de datos específico. ^[1] Una regla de aprendizaje puede aceptar las condiciones existentes (pesos y sesgos) de la red y comparará el resultado esperado y el resultado real de la red para proporcionar valores nuevos y mejorados para los pesos y el sesgo. ^[2] Dependiendo de la complejidad del modelo real que se esté simulando, la regla de aprendizaje de la red puede ser tan simple como una puerta XOR o un error cuadrático medio , o tan compleja como el resultado de un sistema de ecuaciones diferenciales .

La regla de aprendizaje es uno de los factores que deciden la rapidez y la precisión con la que se puede desarrollar la red artificial. Según el proceso de desarrollo de la red, existen tres modelos principales de aprendizaje automático:

1. Aprendizaje no supervisado
2. Aprendizaje supervisado
3. Aprendizaje por refuerzo

Fondo

Muchos de los métodos de aprendizaje en el aprendizaje automático funcionan de manera similar entre sí y se basan unos en otros, lo que dificulta clasificarlos en categorías claras. Sin embargo, se pueden entender en términos generales en cuatro categorías de métodos de aprendizaje, aunque estas categorías no tienen límites claros y tienden a pertenecer a múltiples categorías de métodos de aprendizaje ^[3] -

1. Hebbiano - Neocognitrón , el estado cerebral en una caja ^[4]
2. Descenso de gradiente - ADALINE , red de Hopfield , red neuronal recurrente
3. Competitividad : cuantificación vectorial de aprendizaje , mapa de características autoorganizado , teoría de resonancia adaptativa
4. Estocástico - Máquina de Boltzmann , Máquina de Cauchy

Cabe señalar que, si bien estas reglas de aprendizaje pueden parecer basadas en ideas similares, tienen diferencias sutiles, ya que son una generalización o aplicación de la regla anterior y, por lo tanto, tiene sentido estudiarlas por separado en función de sus orígenes e intenciones.

Aprendizaje Hebbiano

Desarrollado por Donald Hebb en 1949 para describir la activación de las neuronas biológicas. A mediados de la década de 1950, también se aplicó a simulaciones informáticas de redes neuronales.

${\displaystyle \Delta w_{i}=\eta x_{i}y}$

Donde representa la tasa de aprendizaje, representa la entrada de la neurona i e y es la salida de la neurona. Se ha demostrado que la regla de Hebb en su forma básica es inestable. La regla de Oja y la teoría BCM son otras reglas de aprendizaje construidas sobre o junto con la regla de Hebb en el estudio de las neuronas biológicas. ${\displaystyle \eta }$ ${\displaystyle x_{i}}$

Regla de aprendizaje del perceptrón (PLR)

La regla de aprendizaje del perceptrón tiene su origen en la hipótesis de Hebb y fue utilizada por Frank Rosenblatt en su perceptrón en 1958. La red se pasa a la función de activación ( transferencia ) y la salida de la función se utiliza para ajustar los pesos. La señal de aprendizaje es la diferencia entre la respuesta deseada y la respuesta real de una neurona. La función de paso se utiliza a menudo como función de activación y las salidas se limitan generalmente a -1, 0 o 1.

Los pesos se actualizan con

${\displaystyle w_{\text{new}}=w_{\text{old}}+\eta (t-o)x_{i}}$donde "t" es el valor objetivo y " o" es la salida del perceptrón, y se denomina tasa de aprendizaje. ${\displaystyle \eta }$

El algoritmo converge a la clasificación correcta si: ^[5]

• Los datos de entrenamiento son linealmente separables *
• ${\displaystyle \eta }$es suficientemente pequeño (aunque más pequeño generalmente significa un mayor tiempo de aprendizaje y más épocas) ${\displaystyle \eta }$

*También debe tenerse en cuenta que un perceptrón de una sola capa con esta regla de aprendizaje es incapaz de trabajar con entradas linealmente no separables y, por lo tanto, el problema XOR no se puede resolver utilizando solo esta regla ^[6].

Retropropagación

Se dice que Seppo Linnainmaa desarrolló el algoritmo de retropropagación en 1970 ^[7], pero los orígenes del algoritmo se remontan a la década de 1960, con muchos colaboradores. Es una generalización del algoritmo de mínimos cuadrados medios del perceptrón lineal y la regla de aprendizaje delta.

Implementa la búsqueda de descenso de gradiente a través del espacio de posibles pesos de la red, reduciendo iterativamente el error, entre los valores objetivo y las salidas de la red.

Aprendizaje de Widrow-Hoff (regla del aprendizaje delta)

Similar a la regla de aprendizaje del perceptrón, pero con un origen diferente. Fue desarrollada para su uso en la red ADALAINE , que se diferencia del perceptrón principalmente en términos del entrenamiento. Los pesos se ajustan según la suma ponderada de las entradas (la red), mientras que en el perceptrón el signo de la suma ponderada era útil para determinar la salida, ya que el umbral se establecía en 0, -1 o +1. Esto hace que ADALINE sea diferente del perceptrón normal.

La regla delta (DR) es similar a la regla de aprendizaje del perceptrón (PLR), con algunas diferencias:

1. El error (δ) en DR no se limita a tener valores de 0, 1 o -1 (como en PLR), sino que puede tener cualquier valor.
2. La DR se puede derivar para cualquier función de activación/salida diferenciable f, mientras que en PLR solo funciona para la función de salida de umbral.

A veces, solo cuando la regla de Widrow-Hoff se aplica a objetivos binarios específicamente, se la denomina regla delta, pero parece que los términos se usan a menudo indistintamente. La regla delta se considera un caso especial del algoritmo de retropropagación .

La regla delta también se parece mucho al modelo de Rescorla-Wagner bajo el cual ocurre el condicionamiento pavloviano. ^[8]

Aprendizaje competitivo

El aprendizaje competitivo se considera una variante del aprendizaje hebbiano , pero es lo suficientemente especial como para analizarlo por separado. El aprendizaje competitivo funciona aumentando la especialización de cada nodo de la red. Es muy adecuado para encontrar grupos dentro de los datos.

Los modelos y algoritmos basados ​​en el principio de aprendizaje competitivo incluyen la cuantificación vectorial y los mapas autoorganizados (mapas de Kohonen).

Véase también

• Aprendizaje automático
• Aprendizaje mediante árboles de decisión
• Reconocimiento de patrones
• Dilema sesgo-varianza
• Sesgo de un estimador
• Algoritmo de expectativa-maximización

Referencias

1. Simon Haykin (16 de julio de 1998). "Capítulo 2: Procesos de aprendizaje". Redes neuronales: una base integral (2.ª ed.). Prentice Hall. págs. 50-104. ISBN 978-8178083001. Recuperado el 2 de mayo de 2012 .
2. S Russell, P Norvig (1995). "Capítulo 18: Aprendiendo de los ejemplos". Inteligencia artificial: un enfoque moderno (3.ª ed.). Prentice Hall. págs. 693–859. ISBN 0-13-103805-2. Recuperado el 20 de noviembre de 2013 .
3. Rajasekaran, Sundaramoorthy. (2003). Redes neuronales, lógica difusa y algoritmos genéticos: síntesis y aplicaciones . Pai, GA Vijayalakshmi. (Edición de economía oriental). Nueva Delhi: Prentice-Hall of India. ISBN 81-203-2186-3.OCLC 56960832  .
4. Golden, Richard M. (1 de marzo de 1986). "El modelo neuronal "Brain-State-in-a-Box" es un algoritmo de descenso de gradiente". Revista de Psicología Matemática . 30 (1): 73–80. doi :10.1016/0022-2496(86)90043-X. ISSN  0022-2496.
5. Sivanandam, SN (2007). Principios de la informática blanda . Deepa, SN (1.ª ed.). Nueva Delhi: Wiley India. ISBN 978-81-265-1075-7.OCLC 760996382  .
6. Minsky, Marvin, 1927-2016. (1969). Perceptrones: una introducción a la geometría computacional . Papert, Seymour. Cambridge, Mass.: MIT Press. ISBN 0-262-13043-2.OCLC  5034 .{{cite book}}: CS1 maint: nombres múltiples: lista de autores ( enlace ) CS1 maint: nombres numéricos: lista de autores ( enlace )
7. Schmidhuber, Juergen (enero de 2015). "Aprendizaje profundo en redes neuronales: una descripción general". Redes neuronales . 61 : 85–117. arXiv : 1404.7828 . doi :10.1016/j.neunet.2014.09.003. PMID  25462637. S2CID  11715509.
8. Rescorla, Robert (31 de marzo de 2008). "Modelo Rescorla-Wagner". Scholarpedia . 3 (3): 2237. Bibcode :2008SchpJ...3.2237R. doi : 10.4249/scholarpedia.2237 . ISSN  1941-6016.