stringtranslate.com

Propagación rápida

Quickprop es un método iterativo para determinar el mínimo de la función de pérdida de una red neuronal artificial , [1] siguiendo un algoritmo inspirado en el método de Newton . En ocasiones, el algoritmo se clasifica en el grupo de los métodos de aprendizaje de segundo orden. Sigue una aproximación cuadrática del paso de gradiente anterior y el gradiente actual, que se espera que sea cercano al mínimo de la función de pérdida, bajo el supuesto de que la función de pérdida es localmente aproximadamente cuadrada, tratando de describirla mediante una parábola abierta hacia arriba . El mínimo se busca en el vértice de la parábola. El procedimiento requiere solo información local de la neurona artificial a la que se aplica. El paso de aproximación -ésimo viene dado por:

Donde es el peso de la entrada de la neurona , y es la función de pérdida.

El algoritmo Quickprop es una implementación del algoritmo de retropropagación de errores , pero la red puede comportarse de manera caótica durante la fase de aprendizaje debido a los grandes tamaños de paso.

Referencias

  1. ^ "Evaluación de QuickProp para el aprendizaje de redes neuronales profundas: una revisión crítica".

Bibliografía