La optimización sin derivadas (a veces denominada optimización de caja negra ) es una disciplina de la optimización matemática que no utiliza información derivada en el sentido clásico para encontrar soluciones óptimas: a veces, la información sobre la derivada de la función objetivo f no está disponible, no es confiable o no es práctica de obtener. Por ejemplo, f puede no ser uniforme, o requerir mucho tiempo para evaluar, o de alguna manera ser ruidosa, de modo que los métodos que se basan en derivadas o las aproximan mediante diferencias finitas son de poca utilidad. El problema de encontrar puntos óptimos en tales situaciones se conoce como optimización sin derivadas, los algoritmos que no utilizan derivadas o diferencias finitas se denominan algoritmos sin derivadas . [1]
El problema a resolver es optimizar numéricamente una función objetivo para un conjunto determinado (normalmente ), es decir encontrar tal que sin pérdida de generalidad para todos los .
Cuando es aplicable, un enfoque común es mejorar iterativamente una estimación de parámetro mediante el ascenso local de colinas en el paisaje de la función objetivo. Los algoritmos basados en derivadas usan información derivada de para encontrar una buena dirección de búsqueda, ya que, por ejemplo, el gradiente da la dirección del ascenso más pronunciado. La optimización basada en derivadas es eficiente para encontrar óptimos locales para problemas monomodales suaves de dominio continuo. Sin embargo, pueden tener problemas cuando eg está desconectado, o es entero (mixto), o cuando es costoso de evaluar, o no es suave, o ruidoso, de modo que las (aproximaciones numéricas de) derivadas no brindan información útil. Un problema ligeramente diferente es cuando es multimodal, en cuyo caso los métodos basados en derivadas locales solo brindan óptimos locales, pero pueden pasar por alto el global.
En la optimización sin derivadas, se emplean varios métodos para abordar estos desafíos utilizando solo valores de función de , pero sin derivadas. Se puede demostrar que algunos de estos métodos descubren óptimos, pero algunos son más bien metaheurísticos ya que los problemas son en general más difíciles de resolver en comparación con la optimización convexa . Para estos, la ambición es más bien encontrar de manera eficiente valores de parámetros "buenos" que puedan ser casi óptimos dados los recursos suficientes, pero las garantías de optimalidad generalmente no se pueden dar. Uno debe tener en cuenta que los desafíos son diversos, por lo que generalmente no se puede usar un algoritmo para todo tipo de problemas.
Entre los algoritmos de optimización sin derivadas más destacados se incluyen:
Existen puntos de referencia para algoritmos de optimización de caja negra, véanse, por ejemplo, las pruebas bbob-biobj. [2]
