stringtranslate.com

Función autoconcordante

Una función autoconcordante es una función que satisface una cierta desigualdad diferencial , lo que hace que sea particularmente fácil de optimizar usando el método de Newton [1] : Sub.6.2.4.2  Una barrera autoconcordante es una función autoconcordante particular, que también es una función de barrera para un conjunto convexo particular. Las barreras autoconcordantes son ingredientes importantes en los métodos de optimización de puntos interiores .

Funciones autoconcordantes

Función multivariante autoconcordante

Aquí está la definición general de una función autoconcordante. [2] : Definición 2.0.1 

Sea C un conjunto abierto no vacío convexo en R n . Sea f una función tres veces diferenciable continuamente definida en C . Decimos que f es autoconcordante con C si satisface las siguientes propiedades:

1. Propiedad de barrera : en cualquier secuencia de puntos en C que converge a un punto límite de C , f converge a ∞.

2. Desigualdad diferencial : para todo punto x en C , y cualquier dirección h en R n , sea g h la función f restringida a la dirección h , es decir: g h ( t ) = f ( x +t* h ) . Entonces la función unidimensional g h debería satisfacer la siguiente desigualdad diferencial:

.

Equivalentemente: [3]

Función univariada autoconcordante

Una función es autoconcordante si:

Equivalentemente: si dondequiera que satisfaga:

y satisface en otros lugares.

Ejemplos

Algunas funciones que no son autoconcordantes:

Barreras autoconcordantes

Aquí está la definición general de barrera autoconcordante (SCB). [2] : Definición 3.1.1 

Sea C un conjunto cerrado convexo en R n con un interior no vacío. Sea f una función desde el interior ( C ) hasta R. Sea M > 0 un parámetro real. Decimos que f es una barrera M -autoconcordante para C si satisface lo siguiente:

1. f es una función autoconcordante en el interior ( C ).

2. Para cada punto x en el interior ( C ), y cualquier dirección h en R n , sea g h la función f restringida a la dirección h , es decir: g h ( t ) = f ( x +t* h ) . Entonces la función unidimensional g h debería satisfacer la siguiente desigualdad diferencial:

.

Construyendo SCB

Debido a la importancia de los SCB en los métodos de puntos interiores, es importante saber cómo construir SCB para diversos dominios.

En teoría, se puede demostrar que todo dominio convexo cerrado en R n tiene una barrera autoconcordante con el parámetro O( n ). Pero esta “barrera universal” viene dada por algunas integrales multivariadas y es demasiado complicada para realizar cálculos reales. Por lo tanto, el objetivo principal es construir SCB que sean computables de manera eficiente. [4] : Sección 9.2.3.3 

Los SCB se pueden construir a partir de algunos SCB básicos , que se combinan para producir SCB para dominios más complejos, utilizando varias reglas de combinación .

SCB básicos

Cada constante es una barrera autoconcordante para todo R n , con parámetro M=0. Es la única barrera autoconcordante para todo el espacio, y la única barrera autoconcordante con M < 1. [2] : Ejemplo 3.1.1  [Tenga en cuenta que las funciones lineales y cuadráticas son funciones autoconcordantes, pero no lo son barreras autoconcordantes].

Para la media línea positiva ( ), es una barrera autoconcordante con el parámetro . Esto se puede demostrar directamente a partir de la definición.

Regla de sustitución

Sea G un dominio convexo cerrado en R n y g un M -SCB para G . Sea x = Ay + b una aplicación afín de R k a R n con su imagen intersectando el interior de G . Sea H la imagen inversa de G bajo el mapeo: H = { y en R k | Ay+b en Sol }. Sea h la función compuesta h ( y ) := g ( Ay + b ). Entonces, h es un M -SCB para H. [2] : Proposición 3.1.1 

Por ejemplo, tome n =1, G la media línea positiva y . Para cualquier k , sea a un vector de k elementos y b un escalar. Sea H = { y en R k | a T y+b ≥ 0} = un semiespacio k -dimensional. Por la regla de sustitución, es un 1-SCB para H. Un formato más común es H = { x en R k | a T x ≤ b}, para el cual el SCB es .

La regla de sustitución se puede extender desde asignaciones afines a una cierta clase de asignaciones "apropiadas", [2] : Thm.9.1.1  y a asignaciones cuadráticas. [2] : Sub.9.3 

regla del producto cartesiano

Para todo i en 1,..., m , sea G i un dominio convexo cerrado en R ni , y sea g i un M i -SCB para G i . Sea G el producto cartesiano de todo G i . Sea g(x 1 ,...,x m )  := suma i g i ( x i ). Entonces, g es un SCB para G , con suma de parámetros i M i . [2] : Proposición 3.1.1 

Por ejemplo, tome todo G i como la media línea positiva, de modo que G sea el ortante positivo . Sea un m -SCB para G.

Ahora podemos aplicar la regla de sustitución. Obtenemos que, para el politopo definido por las desigualdades lineales a j T xb j para j en 1,..., m , si satisface la condición de Slater , entonces es un m -SCB. Las funciones lineales se pueden sustituir por funciones cuadráticas .

regla de intersección

Sean G 1 ,..., G m dominios convexos cerrados en R n . Para cada i en 1,..., m , sea g i un M i -SCB para G i , y r i un número real. Sea G la intersección de todo G i y supongamos que su interior no está vacío. Sea g  := suma i r i *g i . Entonces, g es un SCB para G , con suma de parámetros i r i *M i . [2] : Proposición 3.1.1 

Por lo tanto, si G se define mediante una lista de restricciones, podemos encontrar un SCB para cada restricción por separado y luego simplemente sumarlos para obtener un SCB para G.

Por ejemplo, supongamos que el dominio está definido por m restricciones lineales de la forma a j T xb j , para j en 1,..., m . Luego podemos usar la regla de intersección para construir el m -SCB (el mismo que calculamos previamente usando la regla del producto cartesiano).

SCB para epígrafes

El epígrafe de una función f ( x ) es el área sobre la gráfica de la función, es decir, . El epígrafe de f es un conjunto convexo si y sólo si f es una función convexa . Los siguientes teoremas presentan algunas funciones f para las cuales el epígrafe tiene un SCB.

Sea g ( t ) una función cóncava continuamente diferenciable 3 veces en t >0, tal que esté acotada por una constante (denotada como 3* b ) para todo t >0. Sea G el dominio convexo bidimensional: Entonces, la función f ( x , t ) = -ln(f(t)-x) - max[1,b 2 ]*ln(t) es una barrera autoconcordante para G , con parámetro (1+max[1,b 2 ]). [2] : Proposición 9.2.1 

Ejemplos:

Ahora podemos construir un SCB para el problema de minimizar la norma p : , donde v j son escalares constantes, u j son vectores constantes y p > 0 es una constante. Primero lo convertimos en minimización de un objetivo lineal: , con las restricciones: para todo j en [ m ]. Para cada restricción, tenemos un 4-SCB según la regla de sustitución afín. Usando la regla de intersección, obtenemos un (4 n ) -SCB para todo el dominio factible.

De manera similar, sea g una función convexa 3 veces continuamente diferenciable en el rayo x >0, tal que: para todo x >0. Sea G el dominio convexo bidimensional: cierre({ ( t,x ) en R 2 : x>0, tg ( x ) }). Entonces, la función f ( x , t ) = -ln(tf(x)) - max[1,b 2 ]*ln(x) es una barrera autoconcordante para G, con parámetro (1+max[1, b 2 ]). [2] : Proposición 9.2.2 

Ejemplos:

SCB para conos

Historia

Como se menciona en los "Comentarios de la bibliografía" [5] de su libro de 1994, [6] las funciones autoconcordantes fueron introducidas en 1988 por Yurii Nesterov [7] [8] y desarrolladas con Arkadi Nemirovski . [9] Como se explica en [10] su observación básica fue que el método de Newton es invariante afín, en el sentido de que si para una función tenemos pasos de Newton, entonces para una función donde es una transformación lineal no degenerada, a partir de tenemos los pasos de Newton que se pueden mostrar de forma recursiva

.

Sin embargo, el análisis estándar del método de Newton supone que la hessiana de Lipschitz es continua , es decir, para alguna constante . Si suponemos que es 3 veces continuamente diferenciable, entonces esto equivale a

para todos

dónde . Entonces, el lado izquierdo de la desigualdad anterior es invariante bajo la transformación afín , sin embargo, el lado derecho no lo es.

Los autores señalan que el lado derecho también puede hacerse invariante si reemplazamos la métrica euclidiana por el producto escalar definido por el hessiano de definido como para . Luego llegan a la definición de una función autoconcordante como

.

Propiedades

Combinación lineal

Si y son autoconcordantes con constantes y y , entonces son autoconcordantes con constantes .

Transformacion afin

Si es autoconcordante con la constante y es una transformación afín de , entonces también es autoconcordante con el parámetro .

conjugado convexo

Si es autoconcordante, entonces su conjugado convexo también lo es. [11] [12]

Arpillera no singular

Si es autoconcordante y el dominio de no contiene una línea recta (infinita en ambas direcciones), entonces no es singular.

Por el contrario, si para algunos en el dominio de y tenemos , entonces para todos los cuales están en el dominio de y entonces es lineal y no puede tener un máximo, por lo que todos están en el dominio de . Observamos también que no puede tener un mínimo dentro de su dominio.

Aplicaciones

Entre otras cosas, las funciones autoconcordantes son útiles en el análisis del método de Newton . Las funciones de barrera autoconcordantes se utilizan para desarrollar las funciones de barrera utilizadas en métodos de puntos interiores para optimización convexa y no lineal. El análisis habitual del método de Newton no funcionaría para funciones de barrera ya que su segunda derivada no puede ser continua de Lipschitz, de lo contrario estarían acotadas en cualquier subconjunto compacto de .

Funciones de barrera autoconcordantes

Minimizar una función autoconcordante

Una función autoconcordante se puede minimizar con un método de Newton modificado donde tenemos un límite en el número de pasos necesarios para la convergencia. Suponemos aquí que es una función autoconcordante estándar , es decir, que es autoconcordante con el parámetro .

Definimos el decremento de Newton de at como el tamaño del paso de Newton en la norma local definida por el hessiano de at

Entonces para en el dominio de , si entonces es posible demostrar que la iteración de Newton

también estará en el dominio de . Esto se debe a que, basándose en la autoconcordancia de , es posible dar algunos límites finitos al valor de . Además tenemos

Entonces si tenemos

entonces también se garantiza que , de modo que podamos continuar usando el método de Newton hasta la convergencia. Tenga en cuenta que para algunos tenemos convergencia cuadrática de a 0 como . Esto da entonces una convergencia cuadrática de to y de to , donde , según el siguiente teorema. si entonces

con las siguientes definiciones

Si comenzamos el método de Newton desde algunos entonces tenemos que comenzar usando un método de Newton amortiguado definido por

Para esto se puede demostrar que con como se definió anteriormente. Tenga en cuenta que es una función creciente para so que para cualquiera , por lo que se garantiza que el valor de disminuirá en una cierta cantidad en cada iteración, lo que también demuestra que está en el dominio de .

Referencias

  1. ^ Nemirovsky y Ben-Tal (2023). "Optimización III: Optimización convexa" (PDF) .
  2. ^ abcdefghij Arkadi Nemirovsky (2004). "Métodos de tiempo polinomial de punto interior en programación convexa".
  3. ^ Boyd, Stephen P.; Vandenberghe, Lieven (2004). Optimización convexa (PDF) . Prensa de la Universidad de Cambridge. ISBN 978-0-521-83378-3. Consultado el 15 de octubre de 2011 .
  4. ^ Nemirovsky y Ben-Tal (2023). "Optimización III: Optimización convexa" (PDF) .
  5. ^ Nesterov, Yurii; Nemirovskii, Arkadii (enero de 1994). Algoritmos polinomiales de punto interior en programación convexa (comentarios de la bibliografía). Sociedad de Matemática Industrial y Aplicada. doi :10.1137/1.9781611970791.bm. ISBN 978-0-89871-319-0.
  6. ^ Nesterov, I︠U︡. E. (1994). Algoritmos polinómicos de punto interior en programación convexa. Nemirovskiĭ, Arkadiĭ Semenovich. Filadelfia: Sociedad de Matemáticas Industriales y Aplicadas. ISBN 0-89871-319-6. OCLC  29310677.
  7. ^ Yu. E. NESTEROV, Métodos de tiempo polinomial en programación lineal y cuadrática, Izvestija AN SSSR, Tekhnitcheskaya kibernetika, No. 3, 1988, págs. 324-326. (En ruso.)
  8. ^ Yu. E. NESTEROV, Métodos iterativos de tiempo polinómico en programación lineal y cuadrática, Voprosy kibernetiki, Moscú, 1988, págs. 102-125. (En ruso.)
  9. ^ YE Nesterov y AS Nemirovski, Funciones autoconcordantes y métodos de tiempo polinómico en programación convexa, Informe técnico, Instituto Central Económico y Matemático, Academia de Ciencias de la URSS, Moscú, URSS, 1989.
  10. ^ Nesterov, I︠U︡. E. Conferencias introductorias sobre optimización convexa: un curso básico. Bostón. ISBN 978-1-4419-8853-9. OCLC  883391994.
  11. ^ Nesterov, Yurii; Nemirovskii, Arkadii (1994). "Algoritmos polinomiales de punto interior en programación convexa". Estudios en Matemática Aplicada y Numérica . doi :10.1137/1.9781611970791. ISBN 978-0-89871-319-0.
  12. ^ Sol, Tianxiao; Tran-Dinh, Quoc (2018). "Funciones autoconcordantes generalizadas: una receta para métodos de tipo Newton". Programación Matemática : Proposición 6. arXiv : 1703.04599 .