regla de aprendizaje

Algoritmo de red neuronal artificial

La regla de aprendizaje o proceso de aprendizaje de una red neuronal artificial es un método, lógica matemática o algoritmo que mejora el rendimiento y/o el tiempo de entrenamiento de la red. Normalmente, esta regla se aplica repetidamente en la red. Se realiza actualizando los pesos y los niveles de sesgo de una red cuando se simula una red en un entorno de datos específico. ^[1] Una regla de aprendizaje puede aceptar las condiciones existentes (ponderaciones y sesgos) de la red y comparará el resultado esperado y el resultado real de la red para proporcionar valores nuevos y mejorados para ponderaciones y sesgos. ^[2] Dependiendo de la complejidad del modelo real que se simula, la regla de aprendizaje de la red puede ser tan simple como una puerta XOR o un error cuadrático medio , o tan compleja como el resultado de un sistema de ecuaciones diferenciales .

La regla de aprendizaje es uno de los factores que decide qué tan rápido o con qué precisión se puede desarrollar la red artificial. Dependiendo del proceso para desarrollar la red existen tres modelos principales de aprendizaje automático:

1. Aprendizaje sin supervisión
2. Aprendizaje supervisado
3. Aprendizaje reforzado

Fondo

Muchos de los métodos de aprendizaje en el aprendizaje automático funcionan de manera similar entre sí y se basan entre sí, lo que dificulta clasificarlos en categorías claras. Pero pueden entenderse ampliamente en 4 categorías de métodos de aprendizaje, aunque estas categorías no tienen límites claros y tienden a pertenecer a múltiples categorías de métodos de aprendizaje ^[3] -

1. Hebbian - Neocognitron , estado cerebral en una caja ^[4]
2. Descenso de gradiente : ADALINE , red Hopfield , red neuronal recurrente
3. Competitivo : cuantificación de vectores de aprendizaje , mapa de características autoorganizado , teoría de la resonancia adaptativa
4. Estocástico - Máquina de Boltzmann , Máquina de Cauchy

Cabe señalar que, aunque estas reglas de aprendizaje puedan parecer basadas en ideas similares, tienen diferencias sutiles, ya que son una generalización o aplicación de la regla anterior y, por lo tanto, tiene sentido estudiarlas por separado según sus orígenes. e intenciones.

Aprendizaje hebbiano

Desarrollado por Donald Hebb en 1949 para describir la activación neuronal biológica. A mediados de la década de 1950 también se aplicó a simulaciones por computadora de redes neuronales.

${\displaystyle \Delta w_{i}=\eta x_{i}y}$

Donde representa la tasa de aprendizaje, representa la entrada de la neurona i e y es la salida de la neurona. Se ha demostrado que la regla de Hebb en su forma básica es inestable. La regla de Oja y la teoría BCM son otras reglas de aprendizaje construidas además de la regla de Hebb o junto a ella en el estudio de las neuronas biológicas. ${\displaystyle \eta }$ ${\displaystyle x_{i}}$

Regla de aprendizaje del perceptrón (PLR)

La regla de aprendizaje del perceptrón se origina en la suposición hebbiana y fue utilizada por Frank Rosenblatt en su perceptrón en 1958. La red se pasa a la función de activación ( transferencia ) y la salida de la función se utiliza para ajustar los pesos. La señal de aprendizaje es la diferencia entre la respuesta deseada y la respuesta real de una neurona. La función de paso se utiliza a menudo como función de activación y las salidas generalmente están restringidas a -1, 0 o 1.

Los pesos se actualizan con

${\displaystyle w_{\text{new}}=w_{\text{old}}+\eta (t-o)x_{i}}$donde "t" es el valor objetivo y " o" es la salida del perceptrón, y se denomina tasa de aprendizaje. ${\displaystyle \eta }$

El algoritmo converge a la clasificación correcta si: ^[5]

• los datos de entrenamiento son linealmente separables *
• ${\displaystyle \eta }$es suficientemente pequeño (aunque más pequeño generalmente significa un tiempo de aprendizaje más largo y más épocas) ${\displaystyle \eta }$

*También debe tenerse en cuenta que un perceptrón de una sola capa con esta regla de aprendizaje es incapaz de trabajar con entradas linealmente no separables y, por lo tanto, el problema XOR no se puede resolver utilizando esta regla sola ^[6]

Propagación hacia atrás

Se dice que Seppo Linnainmaa desarrolló en 1970 el algoritmo de retropropagación ^[7], pero los orígenes del algoritmo se remontan a la década de 1960 con muchos contribuyentes. Es una generalización del algoritmo de mínimos cuadrados medios en el perceptrón lineal y la regla de aprendizaje Delta.

Implementa la búsqueda de descenso de gradiente a través del espacio de posibles pesos de la red, reduciendo iterativamente el error entre los valores objetivo y las salidas de la red.

Aprendizaje de Widrow-Hoff (regla de aprendizaje Delta)

Similar a la regla de aprendizaje del perceptrón pero con diferente origen. Fue desarrollado para su uso en la red ADALAINE , que se diferencia del Perceptron principalmente en términos de entrenamiento. Las ponderaciones se ajustan de acuerdo con la suma ponderada de las entradas (el neto), mientras que en el perceptrón el signo de la suma ponderada fue útil para determinar la salida ya que el umbral se estableció en 0, -1 o +1. Esto diferencia a ADALINE del perceptrón normal.

La regla delta (DR) es similar a la regla de aprendizaje del perceptrón (PLR), con algunas diferencias:

1. El error (δ) en DR no se limita a tener valores de 0, 1 o -1 (como en PLR), sino que puede tener cualquier valor
2. DR se puede derivar para cualquier función de salida/activación diferenciable f, mientras que en PLR solo funciona para la función de salida de umbral

A veces, sólo cuando Widrow-Hoff se aplica específicamente a objetivos binarios, se la conoce como Regla Delta, pero los términos parecen usarse a menudo indistintamente. La regla delta se considera un caso especial del algoritmo de retropropagación .

La regla delta también se parece mucho al modelo de Rescorla-Wagner bajo el cual se produce el condicionamiento pavloviano. ^[8]

Aprendizaje competitivo

El aprendizaje competitivo se considera una variante del aprendizaje hebbiano , pero es lo suficientemente especial como para discutirlo por separado. El aprendizaje competitivo funciona aumentando la especialización de cada nodo de la red. Es muy adecuado para encontrar grupos dentro de datos.

Los modelos y algoritmos basados ​​en el principio del aprendizaje competitivo incluyen la cuantificación de vectores y mapas autoorganizados (mapas de Kohonen).

Ver también

• Aprendizaje automático
• Aprendizaje del árbol de decisión
• Reconocimiento de patrones
• Dilema sesgo-varianza
• Sesgo de un estimador
• Algoritmo de expectativa-maximización

Referencias

1. Simon Haykin (16 de julio de 1998). "Capítulo 2: Procesos de aprendizaje". Redes neuronales: una base integral (2ª ed.). Prentice Hall. págs. 50-104. ISBN 978-8178083001. Consultado el 2 de mayo de 2012 .
2. S Russell, P Norvig (1995). "Capítulo 18: Aprender de los ejemplos". Inteligencia artificial: un enfoque moderno (3ª ed.). Prentice Hall. págs. 693–859. ISBN 0-13-103805-2. Consultado el 20 de noviembre de 2013 .
3. Rajasekaran, Sundaramoorthy. (2003). Redes neuronales, lógica difusa y algoritmos genéticos: síntesis y aplicaciones . Pai, GA Vijayalakshmi. (Edición de economía oriental). Nueva Delhi: Prentice-Hall de la India. ISBN 81-203-2186-3. OCLC  56960832.
4. Dorado, Richard M. (1 de marzo de 1986). "El modelo neuronal" Brain-State-in-a-Box "es un algoritmo de descenso de gradiente". Revista de Psicología Matemática . 30 (1): 73–80. doi :10.1016/0022-2496(86)90043-X. ISSN  0022-2496.
5. Sivanandam, SN (2007). Principios de la computación blanda . Deepa, SN (1ª ed.). Nueva Delhi: Wiley India. ISBN 978-81-265-1075-7. OCLC  760996382.
6. Minsky, Marvin, 1927-2016. (1969). perceptrones; una introducción a la geometría computacional . Papert, Seymour. Cambridge, Massachusetts: MIT Press. ISBN 0-262-13043-2. OCLC  5034.{{cite book}}: Mantenimiento CS1: varios nombres: lista de autores ( enlace ) Mantenimiento CS1: nombres numéricos: lista de autores ( enlace )
7. Schmidhuber, Juergen (enero de 2015). "Aprendizaje profundo en redes neuronales: una descripción general". Redes neuronales . 61 : 85-117. arXiv : 1404.7828 . doi :10.1016/j.neunet.2014.09.003. PMID  25462637. S2CID  11715509.
8. Rescorla, Robert (31 de marzo de 2008). "Modelo Rescorla-Wagner". Scholarpedia . 3 (3): 2237. Código bibliográfico : 2008SchpJ...3.2237R. doi : 10.4249/scholarpedia.2237 . ISSN  1941-6016.