En optimización matemática , una región de confianza es el subconjunto de la región de la función objetivo que se aproxima utilizando una función modelo (a menudo una función cuadrática ). Si se encuentra un modelo adecuado de la función objetivo dentro de la región de confianza, la región se expande; por el contrario, si la aproximación es deficiente, la región se contrae.
El ajuste se evalúa comparando la proporción de la mejora esperada a partir de la aproximación del modelo con la mejora real observada en la función objetivo. Se utiliza un umbral simple de la proporción como criterio para la expansión y la contracción: una función del modelo es "confiable" solo en la región en la que proporciona una aproximación razonable.
Los métodos de región de confianza son en cierto sentido duales con los métodos de búsqueda lineal : los métodos de región de confianza primero eligen un tamaño de paso (el tamaño de la región de confianza) y luego una dirección de paso, mientras que los métodos de búsqueda lineal eligen primero una dirección de paso y luego un tamaño de paso.
La idea general detrás de los métodos de regiones de confianza se conoce con muchos nombres; el uso más temprano del término parece ser de Sorensen (1982). [1] Un popular libro de texto de Fletcher (1980) llama a estos algoritmos métodos de pasos restringidos . [2] Además, en un trabajo fundacional temprano sobre el método, Goldfeld , Quandt y Trotter (1966) se refieren a él como escalada cuadrática . [3]
Conceptualmente, en el algoritmo de Levenberg–Marquardt , la función objetivo se aproxima iterativamente mediante una superficie cuadrática y luego, utilizando un solucionador lineal, se actualiza la estimación. Esto por sí solo puede no converger bien si la estimación inicial está demasiado lejos del óptimo. Por esta razón, el algoritmo, en cambio, restringe cada paso, evitando que avance "demasiado lejos". Operacionaliza "demasiado lejos" de la siguiente manera. En lugar de resolver para , resuelve , donde es la matriz diagonal con la misma diagonal que A , y λ es un parámetro que controla el tamaño de la región de confianza. Geométricamente, esto agrega un paraboloide centrado en a la forma cuadrática , lo que da como resultado un paso más pequeño.
El truco consiste en cambiar el tamaño de la región de confianza (λ). En cada iteración, el ajuste cuadrático amortiguado predice una cierta reducción en la función de costo, , que esperaríamos que fuera una reducción menor que la reducción real. Dado , podemos evaluar
Al observar la relación , podemos ajustar el tamaño de la región de confianza. En general, esperamos que sea un poco más pequeño que , por lo que la relación estaría entre, digamos, 0,25 y 0,5. Si la relación es mayor que 0,5, entonces estamos amortiguando demasiado el paso, por lo que expandimos la región de confianza (disminuimos λ) e iteramos. Si la relación es menor que 0,25, entonces la función verdadera se está desviando "demasiado" de la aproximación de la región de confianza, por lo que reducimos la región de confianza (aumentamos λ) e intentamos nuevamente.
