Una regla de aprendizaje o proceso de aprendizaje de una red neuronal artificial es un método, lógica matemática o algoritmo que mejora el rendimiento de la red y/o el tiempo de entrenamiento. Por lo general, esta regla se aplica repetidamente sobre la red. Se realiza actualizando los pesos y los niveles de sesgo [ ancla rota ] de una red cuando se simula una red en un entorno de datos específico. [1] Una regla de aprendizaje puede aceptar las condiciones existentes (pesos y sesgos) de la red y comparará el resultado esperado y el resultado real de la red para proporcionar valores nuevos y mejorados para los pesos y el sesgo. [2] Dependiendo de la complejidad del modelo real que se esté simulando, la regla de aprendizaje de la red puede ser tan simple como una compuerta XOR o un error cuadrático medio , o tan compleja como el resultado de un sistema de ecuaciones diferenciales .
La regla de aprendizaje es uno de los factores que deciden la rapidez y la precisión con la que se puede desarrollar la red artificial. Según el proceso de desarrollo de la red, existen tres modelos principales de aprendizaje automático:
Muchos de los métodos de aprendizaje en el aprendizaje automático funcionan de manera similar entre sí y se basan unos en otros, lo que dificulta clasificarlos en categorías claras. Sin embargo, se pueden entender en términos generales en cuatro categorías de métodos de aprendizaje, aunque estas categorías no tienen límites claros y tienden a pertenecer a múltiples categorías de métodos de aprendizaje [3] -
Cabe señalar que, si bien estas reglas de aprendizaje pueden parecer basadas en ideas similares, tienen diferencias sutiles, ya que son una generalización o aplicación de la regla anterior y, por lo tanto, tiene sentido estudiarlas por separado en función de sus orígenes e intenciones.
Desarrollado por Donald Hebb en 1949 para describir la activación de las neuronas biológicas. A mediados de la década de 1950, también se aplicó a simulaciones informáticas de redes neuronales.
Donde representa la tasa de aprendizaje, representa la entrada de la neurona i e y es la salida de la neurona. Se ha demostrado que la regla de Hebb en su forma básica es inestable. La regla de Oja y la teoría BCM son otras reglas de aprendizaje construidas sobre o junto con la regla de Hebb en el estudio de las neuronas biológicas.
La regla de aprendizaje del perceptrón tiene su origen en la hipótesis de Hebb y fue utilizada por Frank Rosenblatt en su perceptrón en 1958. La red se pasa a la función de activación ( transferencia ) y la salida de la función se utiliza para ajustar los pesos. La señal de aprendizaje es la diferencia entre la respuesta deseada y la respuesta real de una neurona. La función de paso se utiliza a menudo como función de activación y las salidas se limitan generalmente a -1, 0 o 1.
Los pesos se actualizan con
donde "t" es el valor objetivo y " o" es la salida del perceptrón, y se denomina tasa de aprendizaje.
El algoritmo converge a la clasificación correcta si: [5]
*También debe tenerse en cuenta que un perceptrón de una sola capa con esta regla de aprendizaje es incapaz de trabajar con entradas linealmente no separables y, por lo tanto, el problema XOR no se puede resolver utilizando solo esta regla [6].
Se dice que Seppo Linnainmaa desarrolló el algoritmo de retropropagación en 1970 [7], pero los orígenes del algoritmo se remontan a la década de 1960, con muchos colaboradores. Es una generalización del algoritmo de mínimos cuadrados medios del perceptrón lineal y la regla de aprendizaje delta.
Implementa la búsqueda de descenso de gradiente a través del espacio de posibles pesos de la red, reduciendo iterativamente el error, entre los valores objetivo y las salidas de la red.
Similar a la regla de aprendizaje del perceptrón, pero con un origen diferente. Fue desarrollada para su uso en la red ADALAINE , que se diferencia del perceptrón principalmente en términos del entrenamiento. Los pesos se ajustan según la suma ponderada de las entradas (la red), mientras que en el perceptrón el signo de la suma ponderada era útil para determinar la salida, ya que el umbral se establecía en 0, -1 o +1. Esto hace que ADALINE sea diferente del perceptrón normal.
La regla delta (DR) es similar a la regla de aprendizaje del perceptrón (PLR), con algunas diferencias:
A veces, solo cuando se aplica la regla de Widrow-Hoff a objetivos binarios en particular, se la denomina regla delta, pero parece que los términos se usan a menudo indistintamente. La regla delta se considera un caso especial del algoritmo de retropropagación .
La regla delta también se parece mucho al modelo de Rescorla-Wagner bajo el cual ocurre el condicionamiento pavloviano. [8]
El aprendizaje competitivo se considera una variante del aprendizaje hebbiano , pero es lo suficientemente especial como para analizarlo por separado. El aprendizaje competitivo funciona aumentando la especialización de cada nodo de la red. Es muy adecuado para encontrar grupos dentro de los datos.
Los modelos y algoritmos basados en el principio de aprendizaje competitivo incluyen la cuantificación vectorial y los mapas autoorganizados (mapas de Kohonen).
{{cite book}}
: CS1 maint: nombres múltiples: lista de autores ( enlace ) CS1 maint: nombres numéricos: lista de autores ( enlace )