Una función autoconcordante es una función que satisface una cierta desigualdad diferencial , lo que la hace particularmente fácil para la optimización utilizando el método de Newton [1] : Sub.6.2.4.2 Una barrera autoconcordante es una función autoconcordante particular, que también es una función de barrera para un conjunto convexo particular. Las barreras autoconcordantes son ingredientes importantes en los métodos de punto interior para la optimización.
Funciones autoconcordantes
Función autoconcordante multivariante
A continuación se presenta la definición general de una función autoconcordante. [2] : Def.2.0.1
Sea C un conjunto abierto no vacío convexo en R n . Sea f una función que es tres veces continuamente diferenciable definida en C . Decimos que f es autoconcordante en C si satisface las siguientes propiedades:
1. Propiedad de barrera : en cualquier secuencia de puntos en C que converge a un punto límite de C , f converge a ∞.
2. Desigualdad diferencial : para cada punto x en C , y cualquier dirección h en R n , sea g h la función f restringida a la dirección h , es decir: g h ( t ) = f ( x + t* h ). Entonces la función unidimensional g h debe satisfacer la siguiente desigualdad diferencial:
.
Equivalentemente: [3]
Función autoconcordante univariante
Una función es autoconcordante si:
Equivalentemente: si dondequiera que se cumpla:
y satisface en otros lugares.
Ejemplos
- Las funciones cuadráticas lineales y convexas son autoconcordantes, ya que su tercera derivada es cero.
- Cualquier función donde está definida y es convexa para todos y verifica , es autoconcordante en su dominio que es . Algunos ejemplos son
- para
- para
- Para cualquier función que satisfaga las condiciones, la función con también satisface las condiciones.
Algunas funciones que no son autoconcordantes:
Barreras autoconcordantes
A continuación se presenta la definición general de una barrera autoconcordante (SCB). [2] : Def.3.1.1
Sea C un conjunto cerrado convexo en R n con un interior no vacío. Sea f una función de interior( C ) a R. Sea M > 0 un parámetro real. Decimos que f es una barrera M -autoconcordante para C si satisface lo siguiente:
1. f es una función autoconcordante en el interior ( C ).
2. Para cada punto x en interior( C ), y cualquier dirección h en R n , sea g h la función f restringida a la dirección h , es decir: g h ( t ) = f ( x +t* h ). Entonces la función unidimensional g h debe satisfacer la siguiente desigualdad diferencial:
.
Construcción de SCB
Debido a la importancia de los SCB en los métodos de punto interior, es importante saber cómo construir SCB para varios dominios.
En teoría, se puede demostrar que todo dominio convexo cerrado en R n tiene una barrera autoconcordante con parámetro O( n ). Pero esta “barrera universal” está dada por algunas integrales multivariadas y es demasiado complicada para los cálculos reales. Por lo tanto, el objetivo principal es construir SCB que sean computables de manera eficiente. [4] : Sec.9.2.3.3
Los SCB se pueden construir a partir de algunos SCB básicos , que se combinan para producir SCB para dominios más complejos, utilizando varias reglas de combinación .
SCB básicos
Toda constante es una barrera autoconcordante para todo R n , con parámetro M=0. Es la única barrera autoconcordante para todo el espacio, y la única barrera autoconcordante con M < 1. [2] : Ejemplo 3.1.1 [Nótese que las funciones lineales y cuadráticas son funciones autoconcordantes, pero no son barreras autoconcordantes].
Para la semirrecta positiva ( ), es una barrera autoconcordante con parámetro . Esto se puede demostrar directamente a partir de la definición.
Regla de sustitución
Sea G un dominio convexo cerrado en R n , y g un M -SCB para G . Sea x = Ay + b una función afín de R k a R n con su imagen intersectando el interior de G . Sea H la imagen inversa de G bajo la función: H = { y en R k | Ay+b en G }. Sea h la función compuesta h ( y ) := g( Ay + b ). Entonces, h es un M -SCB para H . [2] : Prop.3.1.1
Por ejemplo, tome n = 1, G la semirrecta positiva y . Para cualquier k , sea a un vector de k elementos y b un escalar. Sea H = { y en R k | a T y+b ≥ 0} = un semiespacio k -dimensional. Por la regla de sustitución, es un 1-SCB para H . Un formato más común es H = { x en R k | a T x ≤ b}, para el cual el SCB es .
La regla de sustitución se puede extender desde aplicaciones afines a una cierta clase de aplicaciones "apropiadas", [2] : Thm.9.1.1 y a aplicaciones cuadráticas. [2] : Sub.9.3
Regla del producto cartesiano
Para todo i en 1,..., m , sea G i un dominio convexo cerrado en R ni , y sea g i un M i -SCB para G i . Sea G el producto cartesiano de todo G i . Sea g(x 1 ,...,x m ) := suma i g i ( x i ). Entonces, g es un SCB para G , con parámetro suma i M i . [2] : Prop.3.1.1
Por ejemplo, supongamos que todos los Gi son semirrectas positivas, de modo que G es el ortante positivo . Sea un m -SCB para G.
Ahora podemos aplicar la regla de sustitución. Obtenemos que, para el politopo definido por las desigualdades lineales a j T x ≤ b j para j en 1,..., m , si satisface la condición de Slater , entonces es un m -SCB. Las funciones lineales pueden ser reemplazadas por funciones cuadráticas .
Regla de intersección
Sean G 1 ,..., G m dominios convexos cerrados en R n . Para cada i en 1,..., m , sea g i un M i -SCB para G i , y r i un número real. Sea G la intersección de todos los G i , y supongamos que su interior no está vacío. Sea g := sum i r i *g i . Entonces, g es un SCB para G , con parámetro sum i r i *M i . [2] : Prop.3.1.1
Por lo tanto, si G está definido por una lista de restricciones, podemos encontrar un SCB para cada restricción por separado y luego simplemente sumarlas para obtener un SCB para G.
Por ejemplo, supongamos que el dominio está definido por m restricciones lineales de la forma a j T x ≤ b j , para j en 1,..., m . Entonces podemos usar la regla de intersección para construir el m -SCB (el mismo que calculamos previamente usando la regla del producto cartesiano).
SCB para epígrafes
El epígrafe de una función f ( x ) es el área que se encuentra por encima de la gráfica de la función, es decir, . El epígrafe de f es un conjunto convexo si y solo si f es una función convexa . Los siguientes teoremas presentan algunas funciones f para las cuales el epígrafe tiene un SCB.
Sea g ( t ) una función cóncava 3 veces continuamente diferenciable en t > 0, tal que está acotada por una constante (denotada 3* b ) para todo t > 0. Sea G el dominio convexo bidimensional: Entonces, la función f ( x , t ) = -ln(f(t)-x) - max[1,b 2 ]*ln(t) es una barrera autoconcordante para G , con parámetro (1+max[1,b 2 ]). [2] : Prop.9.2.1
Ejemplos:
- Sea g ( t ) = t 1/ p , para algún p ≥1, y b =(2 p -1)/(3 p ). Entonces tiene un 2-SCB. De manera similar, tiene un 2-SCB. Usando la regla de intersección, obtenemos que tiene un 4-SCB.
- Sea g ( t )=ln( t ) y b =2/3. Entonces tiene un 2-SCB.
Ahora podemos construir una SCB para el problema de minimizar la p -norma: , donde v j son escalares constantes, u j son vectores constantes y p >0 es una constante. Primero la convertimos en minimización de un objetivo lineal: , con las restricciones: para todo j en [ m ]. Para cada restricción, tenemos una 4-SCB por la regla de sustitución afín. Usando la regla de intersección, obtenemos una (4 n )-SCB para todo el dominio factible.
De manera similar, sea g una función convexa 3 veces continuamente diferenciable en el rayo x > 0, tal que: para todo x > 0. Sea G el dominio convexo bidimensional: closure({ ( t,x ) in R 2 : x>0, t ≥ g ( x ) }). Entonces, la función f ( x , t ) = -ln(tf(x)) - max[1,b 2 ]*ln(x) es una barrera autoconcordante para G, con parámetro (1+max[1,b 2 ]). [2] : Prop.9.2.2
Ejemplos:
- Sea g ( x ) = x - p , para algún p > 0, y b = (2+ p )/3. Entonces tiene un 2-SCB.
- Sea g ( x )= x ln( x ) y b = 1/3. Entonces tiene un 2-SCB.
SCB para conos
- Para el cono de segundo orden , la función es una barrera autoconcordante.
- Para el cono de matrices simétricas semidefinidas positivas m*m, la función es una barrera autoconcordante.
- Para la región cuadrática definida por donde es una matriz simétrica semidefinida positiva , la barrera logarítmica es autoconcordante con
- Para el cono exponencial , la función es una barrera autoconcordante.
- Para el cono de potencia , la función es una barrera autoconcordante.
Historia
Como se menciona en los "Comentarios de la bibliografía" [5] de su libro de 1994, [6] las funciones autoconcordantes fueron introducidas en 1988 por Yurii Nesterov [7] [8] y desarrolladas posteriormente por Arkadi Nemirovski . [9] Como se explica en [10] su observación básica fue que el método de Newton es invariante afín, en el sentido de que si para una función tenemos pasos de Newton entonces para una función donde es una transformación lineal no degenerada, a partir de tenemos los pasos de Newton que se pueden mostrar recursivamente.
- .
Sin embargo, el análisis estándar del método de Newton supone que la hessiana de es Lipschitz continua , es decir, para alguna constante . Si suponemos que es 3 veces continuamente diferenciable, entonces esto es equivalente a
- a pesar de
donde . Entonces, el lado izquierdo de la desigualdad anterior es invariante bajo la transformación afín , sin embargo, el lado derecho no lo es.
Los autores señalan que el lado derecho también puede hacerse invariante si reemplazamos la métrica euclidiana por el producto escalar definido por el hessiano de definido como para . Llegan entonces a la definición de una función autoconcordante como
- .
Propiedades
Combinación lineal
Si y son autoconcordantes con las constantes y y , entonces es autoconcordante con la constante .
Transformación afín
Si es autoconcordante con la constante y es una transformación afín de , entonces también es autoconcordante con el parámetro .
Conjugado convexo
Si es autoconcordante, entonces su conjugado convexo también es autoconcordante. [11] [12]
Hessiano no singular
Si es autoconcordante y el dominio de no contiene ninguna línea recta (infinito en ambas direcciones), entonces no es singular.
Por el contrario, si para algunos en el dominio de y tenemos , entonces para todos para los cuales está en el dominio de y entonces es lineal y no puede tener un máximo por lo que todos de está en el dominio de . Observamos también que no puede tener un mínimo dentro de su dominio.
Aplicaciones
Entre otras cosas, las funciones autoconcordantes son útiles en el análisis del método de Newton . Las funciones de barrera autoconcordantes se utilizan para desarrollar las funciones de barrera utilizadas en los métodos de punto interior para la optimización convexa y no lineal. El análisis habitual del método de Newton no funcionaría para las funciones de barrera, ya que su segunda derivada no puede ser Lipschitz continua, de lo contrario estarían acotadas en cualquier subconjunto compacto de .
Funciones de barrera autoconcordantes
- Son una clase de funciones que pueden usarse como barreras en métodos de optimización restringida.
- se puede minimizar utilizando el algoritmo de Newton con propiedades de convergencia demostrables análogas al caso habitual (pero estos resultados son algo más difíciles de derivar)
- Para tener ambas cosas anteriores, el límite constante habitual en la tercera derivada de la función (requerido para obtener los resultados de convergencia habituales para el método de Newton) se reemplaza por un límite relativo al hessiano.
Minimizar una función autoconcordante
Una función autoconcordante puede minimizarse con un método de Newton modificado en el que tenemos un límite en el número de pasos necesarios para la convergencia. Suponemos aquí que es una función autoconcordante estándar , es decir, es autoconcordante con el parámetro .
Definimos el decremento de Newton de at como el tamaño del paso de Newton en la norma local definida por el hessiano de at
Entonces , en el dominio de , si entonces es posible demostrar que la iteración de Newton
también estará en el dominio de . Esto se debe a que, en base a la autoconcordancia de , es posible dar algunos límites finitos al valor de . Además, tenemos
Entonces si tenemos
entonces también se garantiza que , de modo que podemos seguir usando el método de Newton hasta la convergencia. Nótese que para para algunos tenemos convergencia cuadrática de a 0 como . Esto entonces da convergencia cuadrática de a y de a , donde , por el siguiente teorema. Si entonces
con las siguientes definiciones
Si comenzamos el método de Newton desde algún punto con entonces tenemos que comenzar utilizando un método de Newton amortiguado definido por
Para esto se puede demostrar que con como se definió anteriormente. Nótese que es una función creciente para de modo que para cualquier , por lo que se garantiza que el valor de disminuirá en una cierta cantidad en cada iteración, lo que también demuestra que está en el dominio de .
Referencias
- ^ Nemirovsky y Ben-Tal (2023). "Optimización III: Optimización convexa" (PDF) .
- ^ abcdefghij Arkadi Nemirovsky (2004). "Métodos de tiempo polinomial de punto interior en programación convexa".
- ^ Boyd, Stephen P.; Vandenberghe, Lieven (2004). Optimización convexa (PDF) . Cambridge University Press. ISBN 978-0-521-83378-3. Recuperado el 15 de octubre de 2011 .
- ^ Nemirovsky y Ben-Tal (2023). "Optimización III: Optimización convexa" (PDF) .
- ^ Nesterov, Yurii; Nemirovskii, Arkadii (enero de 1994). Algoritmos polinomiales de punto interior en programación convexa (comentarios bibliográficos). Sociedad de Matemáticas Industriales y Aplicadas. doi :10.1137/1.9781611970791.bm. ISBN 978-0-89871-319-0.
- ^ Nesterov, I︠U︡. E. (1994). Algoritmos polinomiales de punto interior en programación convexa. Nemirovskiĭ, Arkadiĭ Semenovich. Filadelfia: Sociedad de Matemáticas Industriales y Aplicadas. ISBN 0-89871-319-6.OCLC 29310677 .
- ^ Yu. E. NESTEROV, Métodos de tiempo polinomial en programación lineal y cuadrática, Izvestija AN SSSR, Tekhnitcheskaya kibernetika, No. 3, 1988, pp. 324-326. (En ruso.)
- ^ Yu. E. NESTEROV, Métodos iterativos en tiempo polinomial en programación lineal y cuadrática, Voprosy kibernetiki, Moscú, 1988, págs. 102-125. (En ruso.)
- ^ YE Nesterov y AS Nemirovski, Funciones autoconcordantes y métodos de tiempo polinomial en programación convexa, Informe técnico, Instituto Central Económico y Matemático, Academia de Ciencias de la URSS, Moscú, URSS, 1989.
- ^ Nesterov, I︠U︡. E. Lecciones introductorias sobre optimización convexa: un curso básico. Boston. ISBN 978-1-4419-8853-9.OCLC 883391994 .
- ^ Nesterov, Yurii; Nemirovskii, Arkadii (1994). "Algoritmos polinomiales de punto interior en programación convexa". Estudios en matemáticas numéricas y aplicadas . doi :10.1137/1.9781611970791. ISBN . 978-0-89871-319-0.
- ^ Sun, Tianxiao; Tran-Dinh, Quoc (2018). "Funciones autoconcordantes generalizadas: una receta para métodos de tipo Newton". Programación matemática : Proposición 6. arXiv : 1703.04599 .