Red neuronal de avance

Uno de los dos tipos amplios de redes neuronales artificiales.

En una red feedforward, la información siempre se mueve en una dirección; nunca retrocede.

Una red neuronal feedforward ( FNN ) es uno de los dos tipos amplios de redes neuronales artificiales , caracterizadas por la dirección del flujo de información entre sus capas. ^[2] Su flujo es unidireccional, lo que significa que la información en el modelo fluye en una sola dirección (hacia adelante) desde los nodos de entrada, a través de los nodos ocultos (si los hay) y hacia los nodos de salida, sin ciclos ni bucles. ^[2] a diferencia de las redes neuronales recurrentes , ^[3] que tienen un flujo bidireccional. Las redes feedforward modernas se entrenan utilizando el método de retropropagación ^{[4] [5] [6] [7] [8]} y se las conoce coloquialmente como redes neuronales "vainilla". ^[9]

Línea de tiempo

• En 1958 , Frank Rosenblatt ya introdujo en su libro Perceptron una red de perceptrones en capas, que constaba de una capa de entrada, una capa oculta con pesos aleatorios que no aprendían y una capa de salida con conexiones de aprendizaje. ^{[10] [11] [12]} Esta máquina de aprendizaje extremo ^{[13] [12]} aún no era una red de aprendizaje profundo .

• En 1965, Alexey Grigorevich Ivakhnenko y Valentin Lapa publicaron la primera red feedforward de aprendizaje profundo , que aún no utilizaba el descenso de gradiente estocástico , en ese momento llamada Método grupal de manejo de datos . ^{[14] [15] [12]}

• En 1967, una red de aprendizaje profundo, que utilizó por primera vez el descenso de gradiente estocástico , pudo clasificar clases de patrones separables no linealmente, como informó Shun'ichi Amari . ^[16] Saito, estudiante de Amari, llevó a cabo los experimentos informáticos, utilizando una red de avance de cinco capas con dos capas de aprendizaje.

• En 1970, el investigador finlandés Seppo Linnainmaa publicó por primera vez el método moderno de retropropagación , una aplicación eficiente de un aprendizaje supervisado basado en reglas de cadena , ^{[17] [18]} . ^{[4] [19] [12]} El propio término (es decir, "errores de retropropagación") ha sido utilizado por el propio Rosenblatt, ^[11] pero no sabía cómo implementarlo, ^[12] aunque es un precursor continuo de la retropropagación. Ya fue utilizado en el contexto de la teoría del control en 1960 por Henry J. Kelley . ^{[5] [12]} También se conoce como modo inverso de diferenciación automática .

• En 1982, Paul Werbos aplicó por primera vez la retropropagación de la forma que se ha convertido en estándar . ^{[7] [12]}

• En 1985, David E. Rumelhart et al. realizaron un análisis experimental de la técnica . ^[8] Se han realizado muchas mejoras en el enfoque en las décadas siguientes. ^[12]

• En 1987, utilizando un descenso de gradiente estocástico dentro de una red de retroalimentación (amplia no lineal de 12 capas), Matthew Brand la entrenó para reproducir funciones lógicas de profundidad de circuito no trivial, utilizando pequeños lotes de muestras aleatorias de entrada/salida. Sin embargo, concluyó que en el hardware (computadoras sub-megaflop) disponible en ese momento no era práctico y propuso usar capas tempranas aleatorias fijas como hash de entrada para una única capa modificable. ^[20]

• En la década de 1990, Vladimir Vapnik y sus colegas desarrollaron una alternativa (mucho más simple) al uso de redes neuronales, aunque todavía relacionada ^{[21] con el enfoque} de máquina de vectores de soporte . Además de realizar una clasificación lineal , pudieron realizar de manera eficiente una clasificación no lineal utilizando lo que se llama el truco del núcleo , utilizando espacios de características de alta dimensión .

• En 2003, el interés en las redes de retropropagación volvió debido a los éxitos del aprendizaje profundo aplicado al modelado del lenguaje por Yoshua Bengio y sus coautores. ^[22]

• En 2017, se introdujeron arquitecturas de transformadores modernas. ^[23]

Fundamentos matemáticos

Función de activación

Las dos funciones de activación históricamente comunes son ambas sigmoideas y se describen por

${\displaystyle y(v_{i})=\tanh(v_{i})~~{\textrm {and}}~~y(v_{i})=(1+e^{-v_{i}})^{-1}}$.

La primera es una tangente hiperbólica que varía de -1 a 1, mientras que la otra es la función logística , que es similar en forma pero varía de 0 a 1. Aquí está la salida del nodo número (neurona) y es la suma ponderada. de las conexiones de entrada. Se han propuesto funciones de activación alternativas, incluidas las funciones rectificador y softplus . Las funciones de activación más especializadas incluyen funciones de base radial (utilizadas en redes de base radial , otra clase de modelos de redes neuronales supervisadas). ${\displaystyle y_{i}}$ ${\displaystyle i}$ ${\displaystyle v_{i}}$

En desarrollos recientes del aprendizaje profundo, la unidad lineal rectificada (ReLU) se utiliza con mayor frecuencia como una de las posibles formas de superar los problemas numéricos relacionados con los sigmoideos.

Aprendiendo

El aprendizaje se produce cambiando los pesos de las conexiones después de procesar cada dato, en función de la cantidad de error en la salida en comparación con el resultado esperado. Este es un ejemplo de aprendizaje supervisado y se lleva a cabo mediante retropropagación .

Podemos representar el grado de error en un nodo de salida en el enésimo punto de datos (ejemplo de entrenamiento) mediante , donde es el valor objetivo deseado para el enésimo punto de datos en el nodo y es el valor producido en el nodo cuando el enésimo punto de datos se proporciona como una entrada. ${\displaystyle j}$ ${\displaystyle n}$ ${\displaystyle e_{j}(n)=d_{j}(n)-y_{j}(n)}$ ${\displaystyle d_{j}(n)}$ ${\displaystyle n}$ ${\displaystyle j}$ ${\displaystyle y_{j}(n)}$ ${\displaystyle j}$ ${\displaystyle n}$

Luego, los pesos de los nodos se pueden ajustar en función de correcciones que minimicen el error en toda la salida para el punto de datos, dado por ${\displaystyle n}$

${\displaystyle {\mathcal {E}}(n)={\frac {1}{2}}\sum _{{\text{output node }}j}e_{j}^{2}(n)}$.

Usando el descenso de gradiente , el cambio en cada peso es ${\displaystyle w_{ij}}$

${\displaystyle \Delta w_{ji}(n)=-\eta {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}y_{i}(n)}$

donde es la salida de la neurona anterior , y es la tasa de aprendizaje , que se selecciona para asegurar que los pesos converjan rápidamente a una respuesta, sin oscilaciones. En la expresión anterior, denota la derivada parcial del error según la suma ponderada de las conexiones de entrada de la neurona . ${\displaystyle y_{i}(n)}$ ${\displaystyle i}$ ${\displaystyle \eta }$ ${\displaystyle {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}}$ ${\displaystyle {\mathcal {E}}(n)}$ ${\displaystyle v_{j}(n)}$ ${\displaystyle i}$

La derivada a calcular depende del campo local inducido , que a su vez varía. Es fácil demostrar que para un nodo de salida esta derivada se puede simplificar a ${\displaystyle v_{j}}$

${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=e_{j}(n)\phi ^{\prime }(v_{j}(n))}$

donde es la derivada de la función de activación descrita anteriormente, que a su vez no varía. El análisis es más difícil para el cambio de pesos a un nodo oculto, pero se puede demostrar que la derivada relevante es ${\displaystyle \phi ^{\prime }}$

${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=\phi ^{\prime }(v_{j}(n))\sum _{k}-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{k}(n)}}w_{kj}(n)}$.

Esto depende del cambio en los pesos de los nodos ésimos, que representan la capa de salida. Entonces, para cambiar los pesos de la capa oculta, los pesos de la capa de salida cambian según la derivada de la función de activación, por lo que este algoritmo representa una propagación hacia atrás de la función de activación. ^[24] ${\displaystyle k}$

Historia

Red neuronal lineal

El tipo más simple de red neuronal feedforward es una red lineal, que consta de una única capa de nodos de salida; las entradas se alimentan directamente a las salidas a través de una serie de pesos. En cada nodo se calcula la suma de los productos de los pesos y las entradas. Los errores cuadráticos medios entre estas salidas calculadas y los valores objetivo determinados se minimizan mediante la creación de un ajuste en las ponderaciones. Esta técnica se conoce desde hace más de dos siglos como método de mínimos cuadrados o regresión lineal . Legendre (1805) y Gauss (1795) lo utilizaron como medio para encontrar un buen ajuste lineal aproximado a un conjunto de puntos para la predicción del movimiento planetario. ^{[25] [26] [27] [12] [28]}

perceptrón

Si se utiliza un umbral, es decir, una función de activación lineal, la unidad de umbral lineal resultante se denomina perceptrón . (A menudo, el término se usa para denotar solo una de estas unidades). Múltiples unidades lineales paralelas pueden aproximar cualquier función continua desde un intervalo compacto de números reales al intervalo [−1,1] a pesar del poder computacional limitado de una sola unidad con una función de umbral lineal. Este resultado se puede encontrar en Peter Auer, Harald Burgsteiner y Wolfgang Maass "Una regla de aprendizaje para aproximadores universales muy simples que constan de una sola capa de perceptrones". ^[29]

Los perceptrones pueden entrenarse mediante un algoritmo de aprendizaje sencillo que suele denominarse regla delta . Calcula los errores entre la salida calculada y los datos de salida de muestra, y los utiliza para crear un ajuste en los pesos, implementando así una forma de descenso de gradiente .

Perceptrón multicapa

Una red neuronal de dos capas capaz de calcular XOR . Los números dentro de las neuronas representan el umbral explícito de cada neurona. Los números que marcan las flechas representan el peso de las entradas. Tenga en cuenta que si se alcanza el umbral de 2, se utiliza un valor de 1 para la multiplicación del peso a la siguiente capa. Si no se alcanza el umbral, se utilizará 0. La capa inferior de entradas no siempre se considera una capa de red neuronal real.

Un perceptrón multicapa ( MLP ) es un nombre inapropiado para una red neuronal artificial moderna, que consta de neuronas completamente conectadas con un tipo de función de activación no lineal, organizada en al menos tres capas, que se destaca por ser capaz de distinguir datos que no son separables linealmente . ^[30] Es un nombre inapropiado porque el perceptrón original usaba una función de paso de Heaviside , en lugar de un tipo de función de activación no lineal (utilizada por las redes modernas).

Otras redes de avance

Ejemplo de retroalimentación de red neuronal convolucional 1D

Ejemplos de otras redes feedforward incluyen redes neuronales convolucionales y redes de función de base radial , que utilizan una función de activación diferente.

Ver también

• Red Hopfield
• avance
• Propagación hacia atrás
• Rprop

Referencias

1. Ferrie, C. y Kaiser, S. (2019). Redes neuronales para bebés . Libros de consulta. ISBN 1492671207.{{cite book}}: CS1 maint: multiple names: authors list (link)
2. Zell, Andreas (1994). Simulación Neuronaler Netze [ Simulación de redes neuronales ] (en alemán) (1ª ed.). Addison-Wesley. pag. 73.ISBN​ 3-89319-554-8.
3. Schmidhuber, Jürgen (1 de enero de 2015). "Aprendizaje profundo en redes neuronales: una descripción general". Redes neuronales . 61 : 85-117. arXiv : 1404.7828 . doi :10.1016/j.neunet.2014.09.003. ISSN  0893-6080. PMID  25462637. S2CID  11715509.
4. Linnainmaa, Seppo (1970). La representación del error de redondeo acumulativo de un algoritmo como una expansión de Taylor de los errores de redondeo locales (Masters) (en finlandés). Universidad de Helsinki. pag. 6–7.
5. Kelley, Henry J. (1960). "Teoría del gradiente de rutas de vuelo óptimas". Diario ARS . 30 (10): 947–954. doi : 10.2514/8.5282.
6. Rosenblatt, Frank. X. Principios de la neurodinámica: perceptrones y teoría de los mecanismos cerebrales. Libros espartanos, Washington DC, 1961
7. Werbos, Paul (1982). «Aplicaciones de los avances en análisis de sensibilidad no lineal» (PDF) . Modelado y optimización de sistemas . Saltador. pag. 762–770. Archivado (PDF) desde el original el 14 de abril de 2016 . Consultado el 2 de julio de 2017 .
8. Rumelhart, David E., Geoffrey E. Hinton y RJ Williams. "Aprendiendo representaciones internas por propagación de errores". David E. Rumelhart, James L. McClelland y el grupo de investigación PDP. (editores), Procesamiento distribuido paralelo: exploraciones en la microestructura de la cognición, Volumen 1: Fundación. Prensa del MIT, 1986.
9. Hastie, Trevor. Tibshirani, Robert. Friedman, Jerónimo. Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción. Springer, Nueva York, Nueva York, 2009.
10. Rosenblatt, Frank (1958). "El perceptrón: un modelo probabilístico para el almacenamiento y organización de información en el cerebro". Revisión psicológica . 65 (6): 386–408. CiteSeerX 10.1.1.588.3775 . doi :10.1037/h0042519. PMID  13602029. S2CID  12781225. 
11. Rosenblatt, Frank (1962). Principios de neurodinámica . Espartano, Nueva York.
12. Schmidhuber, Juergen (2022). "Historia comentada de la IA moderna y el aprendizaje profundo". arXiv : 2212.11279 [cs.NE].
13. Huang, Guang-Bin; Zhu, Qin-Yu; Siew, Chee-Kheong (2006). "Máquina de aprendizaje extremo: teoría y aplicaciones". Neurocomputación . 70 (1): 489–501. CiteSeerX 10.1.1.217.3692 . doi : 10.1016/j.neucom.2005.12.126. S2CID  116858. 
14. Ivakhnenko, AG (1973). Dispositivos cibernéticos de predicción. Corporación de Información CCM.
15. Ivakhnenko, AG ; Grigorevich Lapa, Valentin (1967). Cibernética y técnicas de previsión. Pub americano Elsevier. Co.
16. Amari, Shun'ichi (1967). "Una teoría del clasificador de patrones adaptativos". Transacciones IEEE . CE (16): 279-307.
17. Rodríguez, Omar Hernández; López Fernández, Jorge M. (2010). "Una reflexión semiótica sobre la didáctica de la regla de la cadena". El entusiasta de las matemáticas . 7 (2): 321–332. doi : 10.54870/1551-3440.1191 . S2CID  29739148 . Consultado el 4 de agosto de 2019 .
18. Leibniz, Gottfried Wilhelm Freiherr von (1920). Los primeros manuscritos matemáticos de Leibniz: traducidos de los textos latinos publicados por Carl Immanuel Gerhardt con notas críticas e históricas (Leibniz publicó la regla de la cadena en una memoria de 1676). Compañía editorial de corte abierta. ISBN 9780598818461.
19. Linnainmaa, Seppo (1976). "Expansión de Taylor del error de redondeo acumulado". BIT Matemáticas Numéricas . 16 (2): 146–160. doi :10.1007/bf01931367. S2CID  122357351.
20. Matthew Brand (1988) Aprendizaje cerebral y automático. Tesis de licenciatura en estudios tutoriales de la Universidad de Chicago, 1988. Reportada en el Summer Linguistics Institute, Universidad de Stanford, 1987.
21. R. Collobert y S. Bengio (2004). Vínculos entre perceptrones, MLP y SVM. Proc. Conferencia Internacional. sobre aprendizaje automático (ICML).
22. Bengio, Yoshua; Ducharme, Réjean; Vicente, Pascal; Janvin, Christian (marzo de 2003). "Un modelo de lenguaje probabilístico neuronal". La revista de investigación sobre aprendizaje automático . 3 : 1137-1155.
23. Geva, Mor; Schuster, Roei; Berant, Jonathan; Levy, Omer (2021). "Las capas de alimentación directa del transformador son recuerdos de valores clave". Actas de la Conferencia de 2021 sobre métodos empíricos en el procesamiento del lenguaje natural . págs. 5484–5495. doi : 10.18653/v1/2021.emnlp-main.446. S2CID  229923720.
24. Haykin, Simón (1998). Redes neuronales: una base integral (2 ed.). Prentice Hall. ISBN 0-13-273350-1.
25. Mansfield Merriman, "Una lista de escritos relacionados con el método de mínimos cuadrados"
26. Stigler, Stephen M. (1981). "Gauss y la invención de los mínimos cuadrados". Ana. Estadística . 9 (3): 465–474. doi : 10.1214/aos/1176345451 .
27. Bretscher, Otto (1995). Álgebra lineal con aplicaciones (3ª ed.). Upper Saddle River, Nueva Jersey: Prentice Hall.
28. Stigler, Stephen M. (1986). La historia de la estadística: la medición de la incertidumbre antes de 1900 . Cambridge: Harvard. ISBN 0-674-40340-1.
29. Auer, Pedro; Harald Burgsteiner; Wolfgang Maass (2008). "Una regla de aprendizaje para aproximadores universales muy simples que constan de una sola capa de perceptrones" (PDF) . Redes neuronales . 21 (5): 786–795. doi :10.1016/j.neunet.2007.12.036. PMID  18249524. Archivado desde el original (PDF) el 6 de julio de 2011 . Consultado el 8 de septiembre de 2009 .
30. Cybenko, G. 1989. Aproximación por superposiciones de una función sigmoidea Matemáticas de control, señales y sistemas , 2(4), 303–314.

enlaces externos

• Tutorial de redes neuronales feedforward
• Red neuronal de avance: ejemplo
• Redes neuronales feedforward: una introducción