se asumen que han sido extraídas de la distribución verdadera
Un modelo puramente online de esta categoría aprendería basándose sólo en la nueva entrada
Para muchas formulaciones, por ejemplo los métodos kernel no lineales, el verdadero aprendizaje online no es posible, aunque puede utilizarse una forma de aprendizaje online híbrido con algoritmos recursivos donde
Una estrategia común para superar los problemas anteriores es aprender utilizando minilotes, que procesan un pequeño lote de
puntos de datos a la vez, esto puede considerarse como pseudoaprendizaje online para
El sencillo ejemplo de los mínimos cuadrados lineales se utiliza para explicar diversas ideas del aprendizaje online.
Las ideas son lo suficientemente generales como para aplicarse a otros entornos, por ejemplo, con otras funciones de pérdida convexas.
al problema lineal de mínimos cuadrados viene dado por
[1] El algoritmo de mínimos cuadrados recursivos (en inglés: recursive least squares, RLS) considera un enfoque online al problema de mínimos cuadrados.
, la solución del problema lineal de mínimos cuadrados dado en la sección anterior puede calcularse mediante la siguiente iteración:
debe elegirse cuidadosamente para resolver el problema de minimización del riesgo esperado, como se ha detallado anteriormente.
[1] En la práctica, se pueden realizar múltiples pasadas de gradiente estocástico (también llamadas ciclos o épocas) sobre los datos.
El algoritmo así obtenido se denomina método de gradiente incremental y corresponde a una iteración
La principal diferencia con el método del gradiente estocástico es que aquí una secuencia
[3] Las técnicas incrementales pueden ser ventajosas cuando se consideran funciones objetivo compuestas por una suma de muchos términos, por ejemplo, un error empírico correspondiente a un conjunto de datos muy grande.
La expresión anterior requiere almacenar todos los datos para actualizar
a una característica de dimensión posiblemente infinita representada por el kernel
Como ejemplo, consideremos el caso de la regresión lineal por mínimos cuadrados online.
Aquí, los vectores de peso provienen del conjunto convexo
Algunos algoritmos sencillos de optimización convexa online son: La regla de aprendizaje más sencilla que se puede probar es seleccionar (en el paso actual) la hipótesis que tenga la menor pérdida en todas las rondas pasadas.
A este algoritmo se le llama Seguir al líder (en inglés: Follow the leader, FTL), y simplemente se le da la ronda
Seguir al líder regularizado (en inglés: follow the regularised leader, FTRL) es una modificación natural del FTL que se utiliza para estabilizar las soluciones FTL y obtener mejores límites de arrepentimiento.
, que se parece exactamente a un descenso de gradiente online.
Este algoritmo se conoce como proyección perezosa, ya que el vector
Para generalizar el algoritmo a cualquier función de pérdida convexa, el subgradiente
, dando lugar al algoritmo de descenso subgradiente online: Inicializar el parámetro
La regularización óptima en retrospectiva puede derivarse para funciones de pérdida lineales, lo que conduce al algoritmo AdaGrad.
para funciones de pérdida fuertemente convexas y expocóncavas.
Esta interpretación también está relacionada con el método de descenso de gradiente estocástico, pero aplicado para minimizar el riesgo empírico en lugar del riesgo esperado.
Dado que esta interpretación se refiere al riesgo empírico y no al riesgo esperado, se permiten fácilmente múltiples pasadas a través de los datos y, de hecho, conducen a límites más estrictos en las desviaciones