Bernard Widrow (nacido el 24 de diciembre de 1929) es un profesor estadounidense de ingeniería eléctrica en la Universidad de Stanford . [1] Es co-inventor del algoritmo adaptativo del filtro de mínimos cuadrados (LMS) de Widrow-Hoff con su entonces estudiante de doctorado Ted Hoff . [2] El algoritmo LMS condujo a las redes neuronales artificiales ADALINE y MADALINE y a la técnica de retropropagación . Hizo otras contribuciones fundamentales al desarrollo del procesamiento de señales en los campos de la geofísica, las antenas adaptativas y el filtrado adaptativo . Un resumen de su trabajo es. [3]
Es el homónimo de la "Regla del tío Bernie": el tamaño de la muestra de entrenamiento debe ser 10 veces el número de pesos en una red. [4] [5]
Esta sección se basa en. [6] [7]
Nació en Norwich, Connecticut . Cuando era joven, estaba interesado en la electrónica. Durante la Segunda Guerra Mundial, encontró una entrada sobre "Radios" en la World Book Encyclopedia y construyó una radio de un solo tubo.
Ingresó al MIT en 1947, estudió ingeniería eléctrica y electrónica y se graduó en 1951. Después de eso, obtuvo una ayudantía de investigación en el Laboratorio de Computación Digital del MIT, en el grupo de memoria de núcleo magnético . El DCL era una división del Laboratorio de Servomecanismos, [8] que estaba construyendo la computadora Whirlwind I. La experiencia de construir una memoria con núcleo magnético transformó su comprensión de las computadoras en una "visión de la memoria", es decir, "busca la memoria y ve lo que hay que conectar a su alrededor".
Para su tesis de maestría (1953, asesorada por William Linvill ), trabajó en aumentar la relación señal-ruido de la señal de detección de la memoria del núcleo magnético. En aquel entonces, los bucles de histéresis de la memoria del núcleo magnético no eran lo suficientemente cuadrados, lo que hacía que la señal de detección fuera ruidosa.
Para su doctorado (1956, asesorado por William Linvill), trabajó en la teoría estadística del ruido de cuantificación , [9] inspirado en el trabajo de William Linvill y David Middleton. [10]
Durante su doctorado, aprendió el filtro Wiener de Lee Yuk-wing . Para diseñar un filtro Wiener es necesario conocer las estadísticas de la señal silenciosa que se quiere recuperar. Sin embargo, si se desconocen las estadísticas de la señal silenciosa, ésta no se puede diseñar. Widrow diseñó así un filtro adaptativo que utiliza el descenso de gradiente para minimizar el error cuadrático medio. También asistió al taller de Dartmouth en 1956 y se inspiró para trabajar en IA.
En 1959, recibió su primer estudiante de posgrado, Ted Hoff . Mejoraron el filtro adaptativo anterior para que realice un descenso de gradiente para cada punto de datos, lo que da como resultado la regla delta y ADALINE . Para evitar tener que ajustar manualmente las pesas en ADALINE, inventaron el memistor, siendo la conductancia (pesas ADALINE) el espesor del cobre sobre el grafito.
Durante una reunión con Frank Rosenblatt , Widrow argumentó que las unidades S en la máquina perceptrón no deberían conectarse aleatoriamente a las unidades A. En su lugar, se deben quitar las unidades S, de modo que las entradas de las fotocélulas entren directamente en las unidades A. Rosenblatt objetó que "la retina humana está construida de esa manera".
A pesar de muchos intentos, nunca lograron desarrollar un algoritmo de entrenamiento para una red neuronal multicapa. Lo más lejos que llegaron fue con Madaline Rule I (1962), que tenía dos capas de peso. El primero era entrenable, pero el segundo estaba arreglado. Widrow afirmó que su problema se habría resuelto mediante el algoritmo de retropropagación. "Esto fue mucho antes de Paul Werbos . Para mí, la backprop es casi milagrosa".
Al no poder entrenar redes neuronales de múltiples capas, Widrow recurrió al filtrado adaptativo y al procesamiento de señales adaptativo, utilizando técnicas basadas en el filtro LMS para aplicaciones como antena adaptativa, [11] cancelación de ruido adaptativa, [12] y aplicaciones en medicina. [13]
En una conferencia de 1985 en Snowbird, Utah , notó que la investigación de redes neuronales estaba regresando y también aprendió sobre el algoritmo de retropropagación. Después de eso, volvió a la investigación de redes neuronales.
Fue miembro de la Junta de Gobernadores de la Sociedad Internacional de Redes Neurales (INNIS) en 2003.