stringtranslate.com

Función autoconcordante

Una función autoconcordante es una función que satisface una cierta desigualdad diferencial , lo que la hace particularmente fácil para la optimización utilizando el método de Newton [1] : Sub.6.2.4.2  Una barrera autoconcordante es una función autoconcordante particular, que también es una función de barrera para un conjunto convexo particular. Las barreras autoconcordantes son ingredientes importantes en los métodos de punto interior para la optimización.

Funciones autoconcordantes

Función autoconcordante multivariante

A continuación se presenta la definición general de una función autoconcordante. [2] : Def.2.0.1 

Sea C un conjunto abierto no vacío convexo en R n . Sea f una función que es tres veces continuamente diferenciable definida en C . Decimos que f es autoconcordante en C si satisface las siguientes propiedades:

1. Propiedad de barrera : en cualquier secuencia de puntos en C que converge a un punto límite de C , f converge a ∞.

2. Desigualdad diferencial : para cada punto x en C , y cualquier dirección h en R n , sea g h la función f restringida a la dirección h , es decir: g h ( t ) = f ( x + t* h ). Entonces la función unidimensional g h debe satisfacer la siguiente desigualdad diferencial:

.

Equivalentemente: [3]

Función autoconcordante univariante

Una función es autoconcordante si:

Equivalentemente: si dondequiera que se cumpla:

y satisface en otros lugares.

Ejemplos

Algunas funciones que no son autoconcordantes:

Barreras autoconcordantes

A continuación se presenta la definición general de una barrera autoconcordante (SCB). [2] : Def.3.1.1 

Sea C un conjunto cerrado convexo en R n con un interior no vacío. Sea f una función de interior( C ) a R. Sea M > 0 un parámetro real. Decimos que f es una barrera M -autoconcordante para C si satisface lo siguiente:

1. f es una función autoconcordante en el interior ( C ).

2. Para cada punto x en interior( C ), y cualquier dirección h en R n , sea g h la función f restringida a la dirección h , es decir: g h ( t ) = f ( x +t* h ). Entonces la función unidimensional g h debe satisfacer la siguiente desigualdad diferencial:

.

Construcción de SCB

Debido a la importancia de los SCB en los métodos de punto interior, es importante saber cómo construir SCB para varios dominios.

En teoría, se puede demostrar que todo dominio convexo cerrado en R n tiene una barrera autoconcordante con parámetro O( n ). Pero esta “barrera universal” está dada por algunas integrales multivariadas y es demasiado complicada para los cálculos reales. Por lo tanto, el objetivo principal es construir SCB que sean computables de manera eficiente. [4] : Sec.9.2.3.3 

Los SCB se pueden construir a partir de algunos SCB básicos , que se combinan para producir SCB para dominios más complejos, utilizando varias reglas de combinación .

SCB básicos

Toda constante es una barrera autoconcordante para todo R n , con parámetro M=0. Es la única barrera autoconcordante para todo el espacio, y la única barrera autoconcordante con M < 1. [2] : Ejemplo 3.1.1  [Nótese que las funciones lineales y cuadráticas son funciones autoconcordantes, pero no son barreras autoconcordantes].

Para la semirrecta positiva ( ), es una barrera autoconcordante con parámetro . Esto se puede demostrar directamente a partir de la definición.

Regla de sustitución

Sea G un dominio convexo cerrado en R n , y g un M -SCB para G . Sea x = Ay + b una función afín de R k a R n con su imagen intersectando el interior de G . Sea H la imagen inversa de G bajo la función: H = { y en R k | Ay+b en G }. Sea h la función compuesta h ( y ) := g( Ay + b ). Entonces, h es un M -SCB para H . [2] : Prop.3.1.1 

Por ejemplo, tome n = 1, G la semirrecta positiva y . Para cualquier k , sea a un vector de k elementos y b un escalar. Sea H = { y en R k | a T y+b ≥ 0} = un semiespacio k -dimensional. Por la regla de sustitución, es un 1-SCB para H . Un formato más común es H = { x en R k | a T x ≤ b}, para el cual el SCB es .

La regla de sustitución se puede extender desde aplicaciones afines a una cierta clase de aplicaciones "apropiadas", [2] : Thm.9.1.1  y a aplicaciones cuadráticas. [2] : Sub.9.3 

Regla del producto cartesiano

Para todo i en 1,..., m , sea G i un dominio convexo cerrado en R ni , y sea g i un M i -SCB para G i . Sea G el producto cartesiano de todo G i . Sea g(x 1 ,...,x m )  := suma i g i ( x i ). Entonces, g es un SCB para G , con parámetro suma i M i . [2] : Prop.3.1.1 

Por ejemplo, supongamos que todos los Gi son semirrectas positivas, de modo que G es el ortante positivo . Sea un m -SCB para G.

Ahora podemos aplicar la regla de sustitución. Obtenemos que, para el politopo definido por las desigualdades lineales a j T xb j para j en 1,..., m , si satisface la condición de Slater , entonces es un m -SCB. Las funciones lineales pueden ser reemplazadas por funciones cuadráticas .

Regla de intersección

Sean G 1 ,..., G m dominios convexos cerrados en R n . Para cada i en 1,..., m , sea g i un M i -SCB para G i , y r i un número real. Sea G la intersección de todos los G i , y supongamos que su interior no está vacío. Sea g  := sum i r i *g i . Entonces, g es un SCB para G , con parámetro sum i r i *M i . [2] : Prop.3.1.1 

Por lo tanto, si G está definido por una lista de restricciones, podemos encontrar un SCB para cada restricción por separado y luego simplemente sumarlas para obtener un SCB para G.

Por ejemplo, supongamos que el dominio está definido por m restricciones lineales de la forma a j T xb j , para j en 1,..., m . Entonces podemos usar la regla de intersección para construir el m -SCB (el mismo que calculamos previamente usando la regla del producto cartesiano).

SCB para epígrafes

El epígrafe de una función f ( x ) es el área que se encuentra por encima de la gráfica de la función, es decir, . El epígrafe de f es un conjunto convexo si y solo si f es una función convexa . Los siguientes teoremas presentan algunas funciones f para las cuales el epígrafe tiene un SCB.

Sea g ( t ) una función cóncava 3 veces continuamente diferenciable en t > 0, tal que está acotada por una constante (denotada 3* b ) para todo t > 0. Sea G el dominio convexo bidimensional: Entonces, la función f ( x , t ) = -ln(f(t)-x) - max[1,b 2 ]*ln(t) es una barrera autoconcordante para G , con parámetro (1+max[1,b 2 ]). [2] : Prop.9.2.1 

Ejemplos:

Ahora podemos construir una SCB para el problema de minimizar la p -norma: , donde v j son escalares constantes, u j son vectores constantes y p >0 es una constante. Primero la convertimos en minimización de un objetivo lineal: , con las restricciones: para todo j en [ m ]. Para cada restricción, tenemos una 4-SCB por la regla de sustitución afín. Usando la regla de intersección, obtenemos una (4 n )-SCB ​​para todo el dominio factible.

De manera similar, sea g una función convexa 3 veces continuamente diferenciable en el rayo x > 0, tal que: para todo x > 0. Sea G el dominio convexo bidimensional: closure({ ( t,x ) in R 2 : x>0, tg ( x ) }). Entonces, la función f ( x , t ) = -ln(tf(x)) - max[1,b 2 ]*ln(x) es una barrera autoconcordante para G, con parámetro (1+max[1,b 2 ]). [2] : Prop.9.2.2 

Ejemplos:

SCB para conos

Historia

Como se menciona en los "Comentarios de la bibliografía" [5] de su libro de 1994, [6] las funciones autoconcordantes fueron introducidas en 1988 por Yurii Nesterov [7] [8] y desarrolladas posteriormente por Arkadi Nemirovski . [9] Como se explica en [10] su observación básica fue que el método de Newton es invariante afín, en el sentido de que si para una función tenemos pasos de Newton entonces para una función donde es una transformación lineal no degenerada, a partir de tenemos los pasos de Newton que se pueden mostrar recursivamente.

.

Sin embargo, el análisis estándar del método de Newton supone que la hessiana de es Lipschitz continua , es decir, para alguna constante . Si suponemos que es 3 veces continuamente diferenciable, entonces esto es equivalente a

a pesar de

donde . Entonces, el lado izquierdo de la desigualdad anterior es invariante bajo la transformación afín , sin embargo, el lado derecho no lo es.

Los autores señalan que el lado derecho también puede hacerse invariante si reemplazamos la métrica euclidiana por el producto escalar definido por el hessiano de definido como para . Llegan entonces a la definición de una función autoconcordante como

.

Propiedades

Combinación lineal

Si y son autoconcordantes con las constantes y y , entonces es autoconcordante con la constante .

Transformación afín

Si es autoconcordante con la constante y es una transformación afín de , entonces también es autoconcordante con el parámetro .

Conjugado convexo

Si es autoconcordante, entonces su conjugado convexo también es autoconcordante. [11] [12]

Hessiano no singular

Si es autoconcordante y el dominio de no contiene ninguna línea recta (infinito en ambas direcciones), entonces no es singular.

Por el contrario, si para algunos en el dominio de y tenemos , entonces para todos para los cuales está en el dominio de y entonces es lineal y no puede tener un máximo por lo que todos de está en el dominio de . Observamos también que no puede tener un mínimo dentro de su dominio.

Aplicaciones

Entre otras cosas, las funciones autoconcordantes son útiles en el análisis del método de Newton . Las funciones de barrera autoconcordantes se utilizan para desarrollar las funciones de barrera utilizadas en los métodos de punto interior para la optimización convexa y no lineal. El análisis habitual del método de Newton no funcionaría para las funciones de barrera, ya que su segunda derivada no puede ser Lipschitz continua, de lo contrario estarían acotadas en cualquier subconjunto compacto de .

Funciones de barrera autoconcordantes

Minimizar una función autoconcordante

Una función autoconcordante puede minimizarse con un método de Newton modificado en el que tenemos un límite en el número de pasos necesarios para la convergencia. Suponemos aquí que es una función autoconcordante estándar , es decir, es autoconcordante con el parámetro .

Definimos el decremento de Newton de at como el tamaño del paso de Newton en la norma local definida por el hessiano de at

Entonces , en el dominio de , si entonces es posible demostrar que la iteración de Newton

también estará en el dominio de . Esto se debe a que, en base a la autoconcordancia de , es posible dar algunos límites finitos al valor de . Además, tenemos

Entonces si tenemos

entonces también se garantiza que , de modo que podemos seguir usando el método de Newton hasta la convergencia. Nótese que para para algunos tenemos convergencia cuadrática de a 0 como . Esto entonces da convergencia cuadrática de a y de a , donde , por el siguiente teorema. Si entonces

con las siguientes definiciones

Si comenzamos el método de Newton desde algún punto con entonces tenemos que comenzar utilizando un método de Newton amortiguado definido por

Para esto se puede demostrar que con como se definió anteriormente. Nótese que es una función creciente para de modo que para cualquier , por lo que se garantiza que el valor de disminuirá en una cierta cantidad en cada iteración, lo que también demuestra que está en el dominio de .

Referencias

  1. ^ Nemirovsky y Ben-Tal (2023). "Optimización III: Optimización convexa" (PDF) .
  2. ^ abcdefghij Arkadi Nemirovsky (2004). "Métodos de tiempo polinomial de punto interior en programación convexa".
  3. ^ Boyd, Stephen P.; Vandenberghe, Lieven (2004). Optimización convexa (PDF) . Cambridge University Press. ISBN 978-0-521-83378-3. Recuperado el 15 de octubre de 2011 .
  4. ^ Nemirovsky y Ben-Tal (2023). "Optimización III: Optimización convexa" (PDF) .
  5. ^ Nesterov, Yurii; Nemirovskii, Arkadii (enero de 1994). Algoritmos polinomiales de punto interior en programación convexa (comentarios bibliográficos). Sociedad de Matemáticas Industriales y Aplicadas. doi :10.1137/1.9781611970791.bm. ISBN 978-0-89871-319-0.
  6. ^ Nesterov, I︠U︡. E. (1994). Algoritmos polinomiales de punto interior en programación convexa. Nemirovskiĭ, Arkadiĭ Semenovich. Filadelfia: Sociedad de Matemáticas Industriales y Aplicadas. ISBN 0-89871-319-6.OCLC 29310677  .
  7. ^ Yu. E. NESTEROV, Métodos de tiempo polinomial en programación lineal y cuadrática, Izvestija AN SSSR, Tekhnitcheskaya kibernetika, No. 3, 1988, pp. 324-326. (En ruso.)
  8. ^ Yu. E. NESTEROV, Métodos iterativos en tiempo polinomial en programación lineal y cuadrática, Voprosy kibernetiki, Moscú, 1988, págs. 102-125. (En ruso.)
  9. ^ YE Nesterov y AS Nemirovski, Funciones autoconcordantes y métodos de tiempo polinomial en programación convexa, Informe técnico, Instituto Central Económico y Matemático, Academia de Ciencias de la URSS, Moscú, URSS, 1989.
  10. ^ Nesterov, I︠U︡. E. Lecciones introductorias sobre optimización convexa: un curso básico. Boston. ISBN 978-1-4419-8853-9.OCLC 883391994  .
  11. ^ Nesterov, Yurii; Nemirovskii, Arkadii (1994). "Algoritmos polinomiales de punto interior en programación convexa". Estudios en matemáticas numéricas y aplicadas . doi :10.1137/1.9781611970791. ISBN . 978-0-89871-319-0.
  12. ^ Sun, Tianxiao; Tran-Dinh, Quoc (2018). "Funciones autoconcordantes generalizadas: una receta para métodos de tipo Newton". Programación matemática : Proposición 6. arXiv : 1703.04599 .