Rectificador (redes neuronales)

Tipo de función de activación

Gráfico de las funciones ReLU (azul) y GELU (verde) cerca de x = 0

En el contexto de las redes neuronales artificiales , la función de activación rectificadora o ReLU (unidad lineal rectificada) ^{[1] [2]} es una función de activación definida como la parte no negativa de su argumento:

${\displaystyle \operatorname {ReLU} (x)=x^{+}=\max(0,x)={\frac {x+|x|}{2}}={\begin{cases}x&{\text{if }}x>0,\\0&x\leq 0\end{cases}}}$

donde es la entrada a una neurona . Esto también se conoce como función de rampa y es análogo a la rectificación de media onda en ingeniería eléctrica . ${\displaystyle x}$

ReLU es una de las funciones de activación más populares para redes neuronales artificiales ^[3] y encuentra aplicación en visión por computadora ^[4] y reconocimiento de voz ^{[5] [6]} utilizando redes neuronales profundas y neurociencia computacional . ^{[7] [8] [9]}

Fue utilizado por primera vez por Alston Householder en 1941 como una abstracción matemática de redes neuronales biológicas. ^[10] Fue introducido por Kunihiko Fukushima en 1969 en el contexto de la extracción de características visuales en redes neuronales jerárquicas. ^{[11] [12]} Más tarde se argumentó que tiene fuertes motivaciones biológicas y justificaciones matemáticas. ^{[13] [14]} En 2011, ^[4] la activación de ReLU permitió entrenar redes neuronales profundas supervisadas sin entrenamiento previo no supervisado , en comparación con las funciones de activación ampliamente utilizadas antes de 2011, por ejemplo, la sigmoide logística (que está inspirada en la teoría de la probabilidad ; ver regresión logística ) y su contraparte más práctica ^{[15] , la} tangente hiperbólica .

Ventajas

Las ventajas de ReLU incluyen:

• Activación dispersa : por ejemplo, en una red inicializada aleatoriamente , solo alrededor del 50% de las unidades ocultas están activadas (es decir, tienen una salida distinta de cero).
• Mejor propagación del gradiente: menos problemas de gradiente que desaparecen en comparación con las funciones de activación sigmoideas que se saturan en ambas direcciones. ^[4]
• Eficiencia: sólo requiere comparación y suma.
• Invariante de escala ( homogénea ):

${\displaystyle \max(0,ax)=a\max(0,x){\text{ for }}a\geq 0}$.

Problemas potenciales

Las posibles desventajas pueden incluir:

• No diferenciabilidad en cero (sin embargo, es diferenciable en cualquier otro lugar y el valor de la derivada en cero puede elegirse como 0 o 1 arbitrariamente).
• No centrado en cero: las salidas ReLU siempre son no negativas. Esto puede dificultar el aprendizaje de la red durante la retropropagación, porque las actualizaciones de gradiente tienden a empujar los pesos en una dirección (positiva o negativa). La normalización por lotes puede ayudar a solucionar este problema. ^{[ cita requerida ]}
• ReLU no tiene límites.
• ReLU moribundo: las neuronas ReLU a veces pueden ser empujadas a estados en los que se vuelven inactivas para prácticamente todas las entradas. En este estado, no fluyen gradientes hacia atrás a través de la neurona, y por lo tanto la neurona se queda atascada en un estado inactivo perpetuo ("muere"). Esta es una forma del problema del gradiente evanescente . En algunos casos, una gran cantidad de neuronas en una red pueden quedarse atascadas en estados muertos, lo que efectivamente disminuye la capacidad del modelo e incluso puede detener el proceso de aprendizaje. Este problema generalmente surge cuando la tasa de aprendizaje se establece demasiado alta. Se puede mitigar utilizando ReLU "permeable" en su lugar, donde se asigna una pequeña pendiente positiva para . Sin embargo, dependiendo de la tarea, el rendimiento puede verse reducido. ${\displaystyle x<0}$

Variantes

Variantes lineales por partes

Leaky ReLU permite un gradiente positivo pequeño cuando la unidad está inactiva, ^[6] lo que ayuda a mitigar el problema del gradiente de desaparición. Este gradiente se define mediante un parámetro , que normalmente se establece entre 0,01 y 0,3. ^{[16] [17]} ${\displaystyle \alpha }$

${\displaystyle f(x)={\begin{cases}x&x>0,\\\alpha x&x\leq 0\end{cases}}\qquad \qquad f'(x)={\begin{cases}1&x>0,\\\alpha &x\leq 0\end{cases}}}$

La ReLU paramétrica (PReLU) lleva esta idea más allá al crear un parámetro que se pueda aprender junto con los demás parámetros de la red. ^[18] ${\displaystyle \alpha }$

${\displaystyle f(x)={\begin{cases}x&x>0,\\\alpha x&x\leq 0\end{cases}}\qquad \qquad \qquad f'(x)={\begin{cases}1&x>0,\\\alpha &x\leq 0\end{cases}}}$

Tenga en cuenta que para , esto es equivalente a ${\displaystyle \alpha \leq 1}$

${\displaystyle f(x)=\max(x,\alpha x)}$

y por lo tanto tiene una relación con las redes de "maximización". ^[18]

La ReLU concatenada (CReLU) conserva la información de fase positiva y negativa: ^[19]

${\displaystyle f(x)=[\operatorname {ReLU} (x),\operatorname {ReLU} (-x)]}$

Otras variantes no lineales

Unidad lineal de error gaussiano (GELU)

GELU es una aproximación suave al rectificador:

${\displaystyle f(x)=x\Phi (x),}$

${\displaystyle f'(x)=x\Phi '(x)+\Phi (x),}$

donde es la función de distribución acumulativa de la distribución normal estándar . ${\displaystyle \Phi (x)=P(X\leqslant x)}$

Esta función de activación se ilustra en la figura que aparece al comienzo de este artículo. Tiene una "protuberancia" a la izquierda de x < 0 y sirve como activación predeterminada para modelos como BERT . ^[20]

SiLU

La SiLU (unidad lineal sigmoidea) o función swish ^[21] es otra aproximación suave, acuñada por primera vez en el artículo de GELU: ^[20]

${\displaystyle f(x)=x\cdot \operatorname {sigmoid} (x),}$

${\displaystyle f'(x)=x\cdot \operatorname {sigmoid} '(x)+\operatorname {sigmoid} (x),}$

¿Dónde está la función sigmoidea ? ${\displaystyle \operatorname {sigmoid} (x)}$

Más suave

Una aproximación suave al rectificador es la función analítica

${\displaystyle f(x)=\ln(1+e^{x}),\qquad \qquad f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}},}$

que se llama función softplus ^{[22] [4]} o SmoothReLU . ^[23] Para grandes negativos es aproximadamente , por lo que justo por encima de 0, mientras que para grandes positivos es aproximadamente , por lo que justo por encima de . ${\displaystyle x}$ ${\displaystyle \ln 1}$ ${\displaystyle x}$ ${\displaystyle \ln(e^{x})}$ ${\displaystyle x}$

Esta función se puede aproximar como:

${\displaystyle \ln \left(1+e^{x}\right)\approx {\begin{cases}\ln 2,&x=0,\\[6pt]{\frac {x}{1-e^{-x/\ln 2}}},&x\neq 0\end{cases}}}$

Al realizar el cambio de variables , esto equivale a ${\displaystyle x=y\ln(2)}$

${\displaystyle \log _{2}(1+2^{y})\approx {\begin{cases}1,&y=0,\\[6pt]{\frac {y}{1-e^{-y}}},&y\neq 0.\end{cases}}}$

Se puede incluir un parámetro de nitidez : ${\displaystyle k}$

${\displaystyle f(x)={\frac {\ln(1+e^{kx})}{k}},\qquad \qquad f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}.}$

La derivada de softplus es la función logística .

La función sigmoidea logística es una aproximación suave de la derivada del rectificador, la función escalón de Heaviside .

La generalización multivariable del softplus de una sola variable es LogSumExp con el primer argumento establecido en cero:

${\displaystyle \operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\ln(1+e^{x_{1}}+\cdots +e^{x_{n}}).}$

La función LogSumExp es

${\displaystyle \operatorname {LSE} (x_{1},\dots ,x_{n})=\ln(e^{x_{1}}+\cdots +e^{x_{n}}),}$

y su gradiente es el softmax ; el softmax con el primer argumento establecido en cero es la generalización multivariable de la función logística. Tanto LogSumExp como softmax se utilizan en el aprendizaje automático.

ELU

Las unidades lineales exponenciales intentan hacer que las activaciones medias sean más cercanas a cero, lo que acelera el aprendizaje. Se ha demostrado que las ELU pueden obtener una mayor precisión de clasificación que las ReLU. ^[24]

${\displaystyle f(x)={\begin{cases}x&x>0,\\\alpha \left(e^{x}-1\right)&x\leq 0\end{cases}}\qquad \qquad f'(x)={\begin{cases}1&x>0,\\\alpha e^{x}&x\leq 0\end{cases}}}$

En estas fórmulas, es un hiperparámetro que debe ajustarse con la restricción . ${\displaystyle \alpha }$ ${\displaystyle \alpha \geq 0}$

Dada la misma interpretación de , ELU puede verse como una versión suavizada de una ReLU desplazada (SReLU), que tiene la forma . ${\displaystyle \alpha }$ ${\displaystyle f(x)=\max(-\alpha ,x)}$

Mezclar

La función mish también se puede utilizar como una aproximación suave del rectificador. ^[21] Se define como

${\displaystyle f(x)=x\tanh {\big (}\operatorname {softplus} (x){\big )},}$

donde es la tangente hiperbólica , y es la función softplus . ${\displaystyle \tanh(x)}$ ${\displaystyle \operatorname {softplus} (x)}$

Mish no es monótono y es autocontrolado . ^[25] Se inspiró en Swish , una variante de ReLU . ^[25]

Squareplus

Squareplus ^[26] es la función

${\displaystyle f(x)={\frac {x+{\sqrt {x^{2}+b}}}{2}}}$

donde es un hiperparámetro que determina el "tamaño" de la región curva cerca de . (Por ejemplo, al dejar que se obtiene ReLU, y al dejar que se obtiene la función de media metálica ). Squareplus comparte muchas propiedades con softplus: es monótona , estrictamente positiva , se acerca a 0 cuando , se acerca a la identidad cuando y es suave . Sin embargo, squareplus se puede calcular utilizando solo funciones algebraicas , lo que la hace adecuada para configuraciones donde los recursos computacionales o los conjuntos de instrucciones son limitados. Además, squareplus no requiere ninguna consideración especial para garantizar la estabilidad numérica cuando es grande. ${\displaystyle b\geq 0}$ ${\displaystyle x=0}$ ${\displaystyle b=0}$ ${\displaystyle b=4}$ ${\displaystyle x\to -\infty }$ ${\displaystyle x\to +\infty }$ ${\displaystyle C^{\infty }}$ ${\displaystyle x}$

Véase también

• Función Softmax
• Función sigmoidea
• Modelo de Tobit
• Capa (aprendizaje profundo)

Referencias

1. Brownlee, Jason (8 de enero de 2019). "Una introducción sencilla a la unidad lineal rectificada (ReLU)". Maestría en aprendizaje automático . Consultado el 8 de abril de 2021 .
2. Liu, Danqing (30 de noviembre de 2017). "Una guía práctica para ReLU". Medium . Consultado el 8 de abril de 2021 .
3. Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (16 de octubre de 2017). "Búsqueda de funciones de activación". arXiv : 1710.05941 [cs.NE].
4. Xavier Glorot; Antoine Bordes; Yoshua Bengio (2011). Redes neuronales rectificadoras dispersas profundas (PDF) . AISTATS. Funciones de activación rectificadoras y softplus. La segunda es una versión suave de la primera.
5. László Tóth (2013). Reconocimiento de teléfonos con redes neuronales rectificadoras dispersas profundas (PDF) . ICASSP .
6. Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). Las no linealidades del rectificador mejoran los modelos acústicos de redes neuronales.
7. Hansel, D.; van Vreeswijk, C. (2002). "Cómo el ruido contribuye a la invariancia del contraste en la orientación en la corteza visual del gato". J. Neurosci. 22 (12): 5118–5128. doi :10.1523/JNEUROSCI.22-12-05118.2002. PMC 6757721 . PMID  12077207.  
8. Kadmon, Jonathan; Sompolinsky, Haim (19 de noviembre de 2015). "Transición al caos en redes neuronales aleatorias". Physical Review X . 5 (4): 041030. arXiv : 1508.06486 . Código Bibliográfico :2015PhRvX...5d1030K. doi :10.1103/PhysRevX.5.041030. S2CID  7813832.
9. Engelken, Rainer; Wolf, Fred; Abbott, LF (3 de junio de 2020). "Espectros de Lyapunov de redes neuronales recurrentes caóticas". arXiv : 2006.02427 [nlin.CD].
10. Householder, Alston S. (junio de 1941). "Una teoría de la actividad en estado estacionario en redes de fibras nerviosas: I. Definiciones y lemas preliminares". Boletín de biofísica matemática . 3 (2): 63–69. doi :10.1007/BF02478220. ISSN  0007-4985.
11. Fukushima, K. (1969). "Extracción de características visuales mediante una red multicapa de elementos de umbral analógicos". IEEE Transactions on Systems Science and Cybernetics . 5 (4): 322–333. doi :10.1109/TSSC.1969.300225.
12. Fukushima, K.; Miyake, S. (1982). "Neocognitrón: un modelo de red neuronal autoorganizada para un mecanismo de reconocimiento visual de patrones". Competencia y cooperación en redes neuronales . Apuntes de clase en biomatemáticas. Vol. 45. Springer. págs. 267–285. doi :10.1007/978-3-642-46466-9_18. ISBN . 978-3-540-11574-8. {{cite book}}: |journal=ignorado ( ayuda )
13. Hahnloser, R.; Sarpeshkar, R.; Mahowald, MA; Douglas, RJ; Seung, HS (2000). "La selección digital y la amplificación analógica coexisten en un circuito de silicio inspirado en la corteza". Nature . 405 (6789): 947–951. Bibcode :2000Natur.405..947H. doi :10.1038/35016072. PMID  10879535. S2CID  4399014.
14. Hahnloser, R.; Seung, HS (2001). Conjuntos permitidos y prohibidos en redes lineales de umbral simétrico . NIPS 2001.
15. Yann LeCun ; Leon Bottou ; Genevieve B. Orr; Klaus-Robert Müller (1998). "BackProp eficiente" (PDF) . En G. Orr; K. Müller (eds.). Redes neuronales: trucos del oficio . Springer.
16. "Documentación de PyTorch Leaky ReLU".
17. "Documentación ReLU con fugas de TensorFlow".
18. He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2015). "Profundizando en los rectificadores: superando el rendimiento a nivel humano en la clasificación de redes de imágenes ". arXiv : 1502.01852 [cs.CV].
19. Shang, Wenling; Sohn, Kihyuk; Almeida, Diogo; Lee, Honglak (11 de junio de 2016). "Comprensión y mejora de las redes neuronales convolucionales mediante unidades lineales rectificadas concatenadas". Actas de la 33.ª Conferencia internacional sobre aprendizaje automático . PMLR: 2217–2225. arXiv : 1603.05201 .
20. Hendrycks, Dan; Gimpel, Kevin (2016). "Unidades lineales de error gaussiano (GELU)". arXiv : 1606.08415 [cs.LG].
21. Diganta Misra (23 de agosto de 2019), Mish: una función de activación no monótona autoregulada (PDF) , arXiv : 1908.08681v1 , consultado el 26 de marzo de 2022.
22. Dugas, Charles; Bengio, Yoshua; Bélisle, François; Nadeau, Claude; Garcia, René (1 de enero de 2000). "Incorporación de conocimiento funcional de segundo orden para una mejor fijación de precios de opciones" (PDF) . Actas de la 13.ª Conferencia Internacional sobre Sistemas de Procesamiento de Información Neural (NIPS'00) . MIT Press: 451–457. Dado que la sigmoidea h tiene una primera derivada positiva, su primitiva, que llamamos softplus, es convexa.
23. "Capa avanzada de la unidad lineal de rectificador suave (SmoothReLU)". Guía para desarrolladores de la biblioteca de aceleración de análisis de datos de Intel . 2017 . Consultado el 4 de diciembre de 2018 .
24. Inteligente, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (2015). "Aprendizaje de red profundo, rápido y preciso mediante unidades lineales exponenciales (ELU)". arXiv : 1511.07289 [cs.LG].
25. Shaw, Sweta (10 de mayo de 2020). "Funciones de activación comparadas con experimentos". W&B . Consultado el 11 de julio de 2022 .
26. Barron, Jonathan T. (22 de diciembre de 2021). «Squareplus: un rectificador algebraico similar a Softplus». arXiv : 2112.11687 [cs.NE].