Método de Newton truncado

El método de Newton truncado , originado en un artículo de Ron Dembo y Trond Steihaug, ^[1] también conocido como optimización libre de Hesse , ^[2] es una familia de algoritmos de optimización diseñados para optimizar funciones no lineales con un gran número de variables independientes . Un método de Newton truncado consiste en la aplicación repetida de un algoritmo de optimización iterativo para resolver aproximadamente las ecuaciones de Newton , para determinar una actualización de los parámetros de la función. El solucionador interno está truncado , es decir, se ejecuta solo durante un número limitado de iteraciones. De ello se deduce que, para que los métodos de Newton truncados funcionen, el solucionador interno debe producir una buena aproximación en un número finito de iteraciones; ^[3] se ha sugerido y evaluado el gradiente conjugado como un bucle interno candidato. ^[2] Otro requisito previo es un buen preacondicionamiento para el algoritmo interno. ^[4]

Referencias

1. Dembo, Ron S.; Steihaug, Trond (1983). "Algoritmos de Newton truncados para optimización sin restricciones a gran escala". Programación matemática . 26 (2). Springer: 190–212. doi :10.1007/BF02592055. S2CID  40537623.Los resultados de convergencia para este algoritmo se pueden encontrar en Dembo, Ron S.; Eisenstat, Stanley C.; Steihaug, Trond (1982). "Inexact newton methods". SIAM Journal on Numerical Analysis . 19 (2): 400–408. Bibcode :1982SJNA...19..400D. doi :10.1137/0719025. JSTOR  2156954..
2. Martens, James (2010). Aprendizaje profundo mediante optimización sin hessiano (PDF) . Proc. Conferencia internacional sobre aprendizaje automático .
3. Nash, Stephen G. (2000). "Un estudio de los métodos de Newton truncado". Revista de Matemática Computacional y Aplicada . 124 (1–2): 45–59. Bibcode :2000JCoAM.124...45N. doi : 10.1016/S0377-0427(00)00426-X .
4. Nash, Stephen G. (1985). "Preacondicionamiento de métodos de Newton truncados" (PDF) . SIAM J. Sci. Stat. Comput . 6 (3): 599–616. doi :10.1137/0906042.

Lectura adicional

• Grippo, L.; Lampariello, F.; Lucidi, S. (1989). "Un método de Newton truncado con búsqueda de línea no monótona para optimización sin restricciones". J. Optimization Theory and Applications . 60 (3): 401–419. CiteSeerX  10.1.1.455.7495 . doi :10.1007/BF00940345. S2CID  18990650.
• Nash, Stephen G.; Nocedal, Jorge (1991). "Un estudio numérico del método BFGS de memoria limitada y el método de Newton truncado para optimización a gran escala". SIAM J. Optim . 1 (3): 358–372. CiteSeerX  10.1.1.474.3400 . doi :10.1137/0801023.