ADALINA

Red neuronal artificial de una sola capa temprana

Aprendiendo dentro de una sola capa ADALINE

Fotografía de una máquina ADALINE, con pesos ajustables manualmente implementados mediante reóstatos .

Esquema de una sola unidad ADALINE, de la Figura 2 de (Widrow, 1960).

ADALINE ( Adaptive Linear Neuron o más tarde Adaptive Linear Element ) es una de las primeras redes neuronales artificiales de una sola capa y el nombre del dispositivo físico que implementó esta red. ^{[1] [2] [3] [4] [5]} Fue desarrollado por el profesor Bernard Widrow y su estudiante de doctorado Ted Hoff en la Universidad de Stanford en 1960. Se basa en el perceptrón . Consiste en un peso, un sesgo y una función de suma. Los pesos y los sesgos se implementaron mediante reóstatos (como se ve en el "ADALINE nudoso"), y más tarde, memistores.

La diferencia entre Adaline y el perceptrón estándar (McCulloch–Pitts) radica en cómo aprenden. Los pesos unitarios de Adaline se ajustan para que coincidan con una señal del profesor, antes de aplicar la función Heaviside (ver figura), pero los pesos unitarios del perceptrón estándar se ajustan para que coincidan con la salida correcta, después de aplicar la función Heaviside.

Una red multicapa de unidades ADALINE es una MADALINE .

Definición

Adaline es una red neuronal de una sola capa con múltiples nodos, donde cada nodo acepta múltiples entradas y genera una salida. Dadas las siguientes variables:

• ${\displaystyle x}$es el vector de entrada
• ${\displaystyle w}$es el vector de peso
• ${\displaystyle n}$es el número de entradas
• ${\displaystyle \theta }$es alguna constante
• ${\displaystyle y}$es la salida del modelo

Entonces encontramos que la salida es . Si suponemos además que ${\displaystyle y=\sum _{j=1}^{n}x_{j}w_{j}+\theta }$

• ${\displaystyle x_{0}=1}$
• ${\displaystyle w_{0}=\theta }$

Luego la salida se reduce aún más a: ${\displaystyle y=\sum _{j=0}^{n}x_{j}w_{j}}$

Regla de aprendizaje

La regla de aprendizaje utilizada por ADALINE es el algoritmo LMS (mínimos cuadrados medios), un caso especial de descenso de gradiente.

Defina las siguientes notaciones:

• ${\displaystyle \eta }$es la tasa de aprendizaje (alguna constante positiva)
• ${\displaystyle y}$es la salida del modelo
• ${\displaystyle o}$es la salida objetivo (deseada)
• ${\displaystyle E=(o-y)^{2}}$es el cuadrado del error.

El algoritmo LMS actualiza los pesos mediante $${\displaystyle w\leftarrow w+\eta (o-y)x.}$$

Esta regla de actualización minimiza , el cuadrado del error, ^[6] y es de hecho la actualización del descenso del gradiente estocástico para la regresión lineal . ^[7] ${\displaystyle E}$

MADALINA

MADALINE (Many ADALINE ^[8] ) es una arquitectura de red neuronal artificial de tres capas (entrada, oculta, salida), totalmente conectada y de propagación hacia adelante para clasificación que utiliza unidades ADALINE en sus capas ocultas y de salida, es decir, su función de activación es la función de signo . ^[9] La red de tres capas utiliza memistores . Se han sugerido tres algoritmos de entrenamiento diferentes para redes MADALINE, que no se pueden aprender mediante retropropagación porque la función de signo no es diferenciable, llamados Regla I, Regla II y Regla III.

A pesar de muchos intentos, nunca lograron entrenar más de una capa de pesos en un MADALINE. Esto fue hasta que Widrow vio el algoritmo de retropropagación en una conferencia de Snowbird en 1985. ^[10]

Regla 1 de MADALINE (MRI) - La primera de estas data de 1962. ^[11] Consta de dos capas. La primera capa está formada por unidades ADALINE. Sea . La segunda capa tiene dos unidades. Una es una unidad de votación mayoritaria: toma todos los , y si hay más positivos que negativos, entonces la unidad genera +1, y viceversa. Otra es un "asignador de tareas". Supongamos que la salida deseada es diferente de la salida votada por la mayoría, digamos que la salida deseada es -1, entonces el asignador de tareas calcula el número mínimo de unidades ADALINE que deben cambiar sus salidas de positivas a negativas, luego elige aquellas unidades ADALINE que están más cerca de ser negativas y hace que actualicen sus pesos, de acuerdo con la regla de aprendizaje ADALINE. Se pensó como una forma de "principio de perturbación mínima". ^[12] ${\displaystyle o_{i}}$ ${\displaystyle o_{i}}$

La máquina MADALINE más grande construida tenía 1000 pesas, cada una implementada por un memistor. Fue construida en 1963 y utilizaba resonancia magnética para el aprendizaje. ^{[12] [13]}

Se ha demostrado que algunas máquinas MADALINE realizan funciones de equilibrio de péndulo invertido, predicción meteorológica, reconocimiento de voz, etc. ^[2]

Regla 2 de MADALINE (MRII): el segundo algoritmo de entrenamiento mejoró la Regla I y se describió en 1988. ^[8] El algoritmo de entrenamiento de la Regla II se basa en un principio llamado "perturbación mínima". Procede mediante la repetición de ejemplos de entrenamiento y, para cada ejemplo:

• encuentra la unidad de capa oculta (clasificador ADALINE) con la menor confianza en su predicción,
• invierte tentativamente el signo de la unidad,
• acepta o rechaza el cambio en función de si se reduce el error de la red,
• se detiene cuando el error es cero.

Regla 3 de MADALINE: La tercera "Regla" se aplicó a una red modificada con activaciones sigmoides en lugar de signum; más tarde se descubrió que era equivalente a la retropropagación. ^[12]

Además, cuando invertir los signos de las unidades individuales no reduce el error a cero para un ejemplo particular, el algoritmo de entrenamiento comienza a invertir los signos de pares de unidades, luego los triples de unidades, etc. ^[8]

Véase también

• Perceptrón multicapa

Referencias

1. Anderson, James A.; Rosenfeld, Edward (2000). Talking Nets: Una historia oral de las redes neuronales. MIT Press. ISBN 9780262511117.
2. Youtube: widrowlms: La ciencia en acción
3. 1960: Una neurona adaptativa "ADALINE" que utiliza "memistores" químicos
4. Youtube: widrowlms: El algoritmo LMS y ADALINE. Parte I - El algoritmo LMS
5. Youtube: widrowlms: El algoritmo LMS y ADALINE. Parte II - ADALINE y memistor ADALINE
6. "Adaline (Adaptive Linear)" (PDF) . CS 4793: Introducción a las redes neuronales artificiales . Departamento de Ciencias de la Computación, Universidad de Texas en San Antonio.
7. Avi Pfeffer. "CS181 Clase 5 — Perceptrones" (PDF) . Universidad de Harvard.^{[ enlace muerto permanente ]}
8. Rodney Winter; Bernard Widrow (1988). MADALINE RULE II: Un algoritmo de entrenamiento para redes neuronales (PDF) . IEEE International Conference on Neural Networks. págs. 401–408. doi :10.1109/ICNN.1988.23872.
9. Youtube: widrowlms: Ciencia en acción (Madaline es mencionada al principio y en el minuto 8:46)
10. Anderson, James A.; Rosenfeld, Edward, eds. (2000). Talking Nets: Una historia oral de las redes neuronales. The MIT Press. doi :10.7551/mitpress/6626.003.0004. ISBN 978-0-262-26715-1.
11. Widrow, Bernard (1962). "Generalización y almacenamiento de información en redes de neuronas adalinas" (PDF) . Sistemas autoorganizados : 435–461.
12. Widrow, Bernard; Lehr, Michael A. (1990). "30 años de redes neuronales adaptativas: perceptrón, madaline y retropropagación". Actas del IEEE . 78 (9): 1415–1442. doi :10.1109/5.58323. S2CID  195704643.
13. B. Widrow, “Adaline y Madaline-1963, discurso plenario”, Actas de la 1.ª Conferencia Internacional sobre Redes Neuronales de la EEE, vol. 1, págs. 145-158, San Diego, CA, 23 de junio de 1987

Enlaces externos

• widrowlms (2012-07-29). El algoritmo LMS y ADALINE. Parte II - ADALINE y el memistor ADALINE . Recuperado el 17 de agosto de 2024 – vía YouTube.Widrow demuestra tanto una máquina ADALINE con nudos en funcionamiento como una máquina ADALINE con memistor.
• "Regla de aprendizaje delta: ADALINE". Redes neuronales artificiales . Universidad Politécnica de Madrid. Archivado desde el original el 15 de junio de 2002.
• "Redes neuronales multicapa basadas en memristores con entrenamiento en línea por descenso de gradiente". Implementación del algoritmo ADALINE con memristores en computación analógica.