En el aprendizaje automático , la optimización de hiperparámetros [1] o ajuste es el problema de elegir un conjunto de hiperparámetros óptimos para un algoritmo de aprendizaje. Un hiperparámetro es un parámetro cuyo valor se utiliza para controlar el proceso de aprendizaje, que debe configurarse antes de que comience el proceso. [2]
La optimización de hiperparámetros determina el conjunto de hiperparámetros que produce un modelo óptimo que minimiza una función de pérdida predefinida en un conjunto de datos dado . [3] La función objetivo toma un conjunto de hiperparámetros y devuelve la pérdida asociada. [3] La validación cruzada se utiliza a menudo para estimar el rendimiento de esta generalización y, por lo tanto, elegir el conjunto de valores para los hiperparámetros que lo maximizan. [4]
El método tradicional para la optimización de hiperparámetros ha sido la búsqueda en cuadrícula o el barrido de parámetros , que es simplemente una búsqueda exhaustiva a través de un subconjunto especificado manualmente del espacio de hiperparámetros de un algoritmo de aprendizaje. Un algoritmo de búsqueda en cuadrícula debe guiarse por alguna métrica de rendimiento, que normalmente se mide mediante una validación cruzada en el conjunto de entrenamiento [5] o una evaluación en un conjunto de validación de reserva. [6]
Dado que el espacio de parámetros de un aprendiz automático puede incluir espacios de valores reales o ilimitados para ciertos parámetros, puede ser necesario establecer límites y discretizar manualmente antes de aplicar la búsqueda en cuadrícula.
Por ejemplo, un clasificador SVM de margen suave típico equipado con un núcleo RBF tiene al menos dos hiperparámetros que deben ajustarse para obtener un buen rendimiento con datos no vistos: una constante de regularización C y un hiperparámetro de núcleo γ. Ambos parámetros son continuos, por lo que para realizar una búsqueda en cuadrícula, se selecciona un conjunto finito de valores "razonables" para cada uno, por ejemplo
Luego, la búsqueda en cuadrícula entrena un SVM con cada par ( C , γ) en el producto cartesiano de estos dos conjuntos y evalúa su desempeño en un conjunto de validación reservado (o mediante una validación cruzada interna en el conjunto de entrenamiento, en cuyo caso se entrenan múltiples SVM por par). Finalmente, el algoritmo de búsqueda en cuadrícula genera las configuraciones que obtuvieron el puntaje más alto en el procedimiento de validación.
La búsqueda en cuadrícula sufre la maldición de la dimensionalidad , pero a menudo es vergonzosamente paralela porque las configuraciones de hiperparámetros que evalúa son típicamente independientes entre sí. [4]
La búsqueda aleatoria reemplaza la enumeración exhaustiva de todas las combinaciones seleccionándolas aleatoriamente. Esto se puede aplicar simplemente a la configuración discreta descrita anteriormente, pero también se generaliza a espacios continuos y mixtos. Un beneficio sobre la búsqueda en cuadrícula es que la búsqueda aleatoria puede explorar muchos más valores que la búsqueda en cuadrícula para hiperparámetros continuos. Puede superar a la búsqueda en cuadrícula, especialmente cuando solo una pequeña cantidad de hiperparámetros afecta el rendimiento final del algoritmo de aprendizaje automático. [4] En este caso, se dice que el problema de optimización tiene una dimensionalidad intrínseca baja. [7] La búsqueda aleatoria también es vergonzosamente paralela y, además, permite la inclusión de conocimiento previo al especificar la distribución de la cual tomar la muestra. A pesar de su simplicidad, la búsqueda aleatoria sigue siendo una de las líneas de base importantes con las que comparar el rendimiento de los nuevos métodos de optimización de hiperparámetros.
La optimización bayesiana es un método de optimización global para funciones de caja negra ruidosas. Aplicada a la optimización de hiperparámetros, la optimización bayesiana construye un modelo probabilístico de la función que asigna los valores de los hiperparámetros al objetivo evaluado en un conjunto de validación. Al evaluar iterativamente una configuración de hiperparámetros prometedora basada en el modelo actual y luego actualizarlo, la optimización bayesiana tiene como objetivo recopilar observaciones que revelen la mayor cantidad de información posible sobre esta función y, en particular, la ubicación del óptimo. Intenta equilibrar la exploración (hiperparámetros para los que el resultado es más incierto) y la explotación (hiperparámetros esperados cerca del óptimo). En la práctica, se ha demostrado [8] [9] [10] [11] que la optimización bayesiana obtiene mejores resultados en menos evaluaciones en comparación con la búsqueda en cuadrícula y la búsqueda aleatoria, debido a la capacidad de razonar sobre la calidad de los experimentos antes de ejecutarlos.
Para algoritmos de aprendizaje específicos, es posible calcular el gradiente con respecto a los hiperparámetros y luego optimizar los hiperparámetros utilizando el descenso de gradiente . El primer uso de estas técnicas se centró en las redes neuronales. [12] Desde entonces, estos métodos se han extendido a otros modelos como las máquinas de vectores de soporte [13] o la regresión logística. [14]
Un enfoque diferente para obtener un gradiente con respecto a los hiperparámetros consiste en diferenciar los pasos de un algoritmo de optimización iterativo utilizando la diferenciación automática . [15] [16] [17] [18] Un trabajo más reciente en esta dirección utiliza el teorema de la función implícita para calcular hipergradientes y propone una aproximación estable del hessiano inverso. El método escala a millones de hiperparámetros y requiere memoria constante. [19]
En un enfoque diferente, [20] se entrena una hiperred para aproximarse a la función de mejor respuesta. Una de las ventajas de este método es que también puede manejar hiperparámetros discretos. Las redes autoajustables [21] ofrecen una versión de este enfoque que ahorra memoria al elegir una representación compacta para la hiperred. Más recientemente, Δ-STN [22] ha mejorado aún más este método mediante una ligera reparametrización de la hiperred que acelera el entrenamiento. Δ-STN también produce una mejor aproximación del jacobiano de mejor respuesta al linealizar la red en los pesos, eliminando así los efectos no lineales innecesarios de grandes cambios en los pesos.
Además de los enfoques de hiperred, se pueden utilizar métodos basados en gradientes para optimizar hiperparámetros discretos también adoptando una relajación continua de los parámetros. [23] Dichos métodos se han utilizado ampliamente para la optimización de hiperparámetros de arquitectura en la búsqueda de arquitectura neuronal .
La optimización evolutiva es una metodología para la optimización global de funciones de caja negra ruidosas. En la optimización de hiperparámetros, la optimización evolutiva utiliza algoritmos evolutivos para buscar en el espacio de hiperparámetros un algoritmo determinado. [9] La optimización evolutiva de hiperparámetros sigue un proceso inspirado en el concepto biológico de evolución :
La optimización evolutiva se ha utilizado en la optimización de hiperparámetros para algoritmos de aprendizaje automático estadístico, [9] aprendizaje automático automatizado , red neuronal típica [24] y búsqueda de arquitectura de red neuronal profunda , [25] [26] así como entrenamiento de pesos en redes neuronales profundas. [27]
El entrenamiento basado en la población (PBT) aprende tanto los valores de los hiperparámetros como los pesos de la red. Varios procesos de aprendizaje funcionan de forma independiente y utilizan diferentes hiperparámetros. Al igual que con los métodos evolutivos, los modelos de bajo rendimiento se reemplazan iterativamente con modelos que adoptan valores y pesos de hiperparámetros modificados en función de los de mejor rendimiento. Este arranque en caliente del modelo de reemplazo es el principal diferenciador entre PBT y otros métodos evolutivos. Por lo tanto, PBT permite que los hiperparámetros evolucionen y elimina la necesidad de realizar un hiperajuste manual. El proceso no hace suposiciones sobre la arquitectura del modelo, las funciones de pérdida o los procedimientos de entrenamiento.
Los métodos PBT y sus variantes son métodos adaptativos: actualizan los hiperparámetros durante el entrenamiento de los modelos. Por el contrario, los métodos no adaptativos tienen la estrategia subóptima de asignar un conjunto constante de hiperparámetros durante todo el entrenamiento. [28]
Una clase de algoritmos de optimización de hiperparámetros basados en detención temprana está diseñada específicamente para grandes espacios de búsqueda de hiperparámetros continuos y discretos, particularmente cuando el costo computacional para evaluar el rendimiento de un conjunto de hiperparámetros es alto. Irace implementa el algoritmo de carrera iterada, que enfoca la búsqueda en las configuraciones más prometedoras, utilizando pruebas estadísticas para descartar las que funcionan mal. [29] [30] Otro algoritmo de optimización de hiperparámetros de detención temprana es la reducción a la mitad sucesiva (SHA), [31] que comienza como una búsqueda aleatoria pero periódicamente poda los modelos de bajo rendimiento, enfocando así los recursos computacionales en modelos más prometedores. La reducción a la mitad sucesiva asincrónica (ASHA) [32] mejora aún más el perfil de utilización de recursos de SHA al eliminar la necesidad de evaluar y podar sincrónicamente los modelos de bajo rendimiento. Hyperband [33] es un algoritmo basado en detención temprana de nivel superior que invoca SHA o ASHA varias veces con diferentes niveles de agresividad de poda, para ser más ampliamente aplicable y con menos entradas requeridas.
También se han desarrollado enfoques RBF [34] y espectral [35] .
Cuando se realiza la optimización de hiperparámetros, el conjunto de hiperparámetros se ajusta a menudo a un conjunto de entrenamiento y se selecciona en función del rendimiento de generalización, o puntuación, de un conjunto de validación. Sin embargo, este procedimiento corre el riesgo de sobreajustar los hiperparámetros al conjunto de validación. Por lo tanto, la puntuación del rendimiento de generalización del conjunto de validación (que puede ser varios conjuntos en el caso de un procedimiento de validación cruzada) no se puede utilizar para estimar simultáneamente el rendimiento de generalización del modelo final. Para ello, el rendimiento de generalización debe evaluarse en un conjunto independiente (que no tenga intersección) del conjunto (o conjuntos) utilizado para la optimización de los hiperparámetros; de lo contrario, el rendimiento podría dar un valor demasiado optimista (demasiado grande). Esto se puede hacer en un segundo conjunto de prueba o mediante un procedimiento de validación cruzada externo llamado validación cruzada anidada, que permite una estimación imparcial del rendimiento de generalización del modelo, teniendo en cuenta el sesgo debido a la optimización de hiperparámetros.
