ADALINE ( Adaptive Linear Neuron o posterior Adaptive Linear Element ) es una de las primeras redes neuronales artificiales de una sola capa y el nombre del dispositivo físico que implementó esta red. [1] [2] [3] [4] [5] La red utiliza memistores. Fue desarrollado por el profesor Bernard Widrow y su estudiante de doctorado Ted Hoff en la Universidad de Stanford en 1960. Se basa en el perceptrón . Consta de una función de ponderación, de sesgo y de suma.
La diferencia entre el perceptrón Adaline y el estándar (McCulloch-Pitts) está en cómo aprenden. Los pesos unitarios de Adaline se ajustan para que coincidan con la señal del maestro, antes de aplicar la función Heaviside (ver figura), pero los pesos unitarios del perceptrón estándar se ajustan para que coincidan con la salida correcta, después de aplicar la función Heaviside.
Una red multicapa de unidades ADALINE es MADALINE .
Adaline es una red neuronal de una sola capa con múltiples nodos donde cada nodo acepta múltiples entradas y genera una salida. Dadas las siguientes variables como:
entonces encontramos que la salida es . Si asumimos además que
entonces la salida se reduce aún más a:
La regla de aprendizaje utilizada por ADALINE es el algoritmo LMS ("mínimos cuadrados medios"), un caso especial de descenso de gradiente.
Defina las siguientes notaciones:
El algoritmo LMS actualiza los pesos mediante
Esta regla de actualización minimiza el cuadrado del error [6] y, de hecho, es la actualización de descenso de gradiente estocástico para la regresión lineal . [7]
MADALINE (Many ADALINE [8] ) es una arquitectura de red neuronal artificial de tres capas (entrada, oculta, salida), completamente conectada y de retroalimentación para clasificación que utiliza unidades ADALINE en sus capas oculta y de salida, es decir, su función de activación es la función de signo . [9] La red de tres capas utiliza memistores . Se han sugerido tres algoritmos de entrenamiento diferentes para redes MADALINE, que no se pueden aprender mediante retropropagación porque la función de signo no es diferenciable, denominados Regla I, Regla II y Regla III.
A pesar de muchos intentos, nunca lograron entrenar más de una sola capa de pesas en un MADALINE. Esto fue así hasta que Widrow vio el algoritmo de retropropagación en una conferencia de 1982. [10]
Regla 1 de MADALINE (MRI): la primera de ellas se remonta a 1962. [11] Consta de dos capas. La primera capa está formada por unidades ADALINE. Sea la salida de la i-ésima unidad ADALINE . La segunda capa tiene dos unidades. Una es una unidad de voto mayoritario: toma todos los , y si hay más positivos que negativos, entonces la unidad genera +1, y viceversa. Otro es un "asignador de trabajos". Supongamos que el resultado deseado es diferente del resultado votado por la mayoría, digamos que el resultado deseado es -1, entonces el asignador del trabajo calcula el número mínimo de unidades ADALINE que deben cambiar sus resultados de positivo a negativo, luego elige aquellas unidades ADALINE que están más cerca. a ser negativo, y hacerles actualizar sus pesos, según la regla de aprendizaje ADALINE. Se pensó como una forma de "principio de mínima perturbación". [12]
La máquina MADALINE más grande construida tenía 1000 pesas, cada una implementada por un memistor. [12]
Regla 2 de MADALINE (MRII): el segundo algoritmo de entrenamiento mejoró la Regla I y se describió en 1988. [8] El algoritmo de entrenamiento de la Regla II se basa en un principio llamado "perturbación mínima". Continúa recorriendo ejemplos de entrenamiento y luego, para cada ejemplo,:
Regla 3 de MADALINE: la tercera "Regla" se aplica a una red modificada con activaciones sigmoideas en lugar de signum; Más tarde se descubrió que era equivalente a la propagación hacia atrás. [12]
Además, cuando invertir los signos de unidades individuales no lleva el error a cero para un ejemplo particular, el algoritmo de entrenamiento comienza a invertir pares de signos de unidades, luego triples de unidades, etc. [8]
