Dirección de descenso

En optimización , una dirección de descenso es un vector que apunta hacia un mínimo local de una función objetivo . ${\displaystyle \mathbf {p} \in \mathbb {R} ^{n}}$ ${\displaystyle \mathbf {x} ^{*}}$ ${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} }$

Calcular mediante un método iterativo, como la búsqueda de líneas, define una dirección de descenso en la tercera iteración como tal que , donde denota el producto interno . La motivación para este enfoque es que los pequeños pasos garantizan que se reduzca, según el teorema de Taylor . ${\displaystyle \mathbf {x} ^{*}}$ ${\displaystyle \mathbf {p} _{k}\in \mathbb {R} ^{n}}$ ${\displaystyle k}$ ${\displaystyle \mathbf {p} _{k}}$ ${\displaystyle \langle \mathbf {p} _{k},\nabla f(\mathbf {x} _{k})\rangle <0}$ ${\displaystyle \langle ,\rangle }$ ${\displaystyle \mathbf {p} _{k}}$ ${\displaystyle \displaystyle f}$

Usando esta definición, el negativo de un gradiente distinto de cero es siempre una dirección de descenso, como . ${\displaystyle \langle -\nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle =-\langle \nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle <0}$

Existen numerosos métodos para calcular las direcciones de descenso, todos con diferentes ventajas, como el descenso de gradiente o el método de gradiente conjugado .

De manera más general, si es una matriz definida positiva , entonces hay una dirección de descenso en . ^[1] Esta generalidad se utiliza en métodos de descenso de gradiente precondicionados . ${\displaystyle P}$ ${\displaystyle p_{k}=-P\nabla f(x_{k})}$ ${\displaystyle x_{k}}$

Ver también

• Derivado direccional

Referencias

1. JM Ortega y WC Rheinbold (1970). Solución iterativa de ecuaciones no lineales en varias variables . pag. 243. doi : 10.1137/1.9780898719468.