Funciones de pérdida para la clasificación

Concepto en el aprendizaje automático

Funciones de pérdida consistentes de Bayes: pérdida cero-uno (gris), pérdida salvaje (verde), pérdida logística (naranja), pérdida exponencial (violeta), pérdida tangente (marrón), pérdida cuadrada (azul)

En el aprendizaje automático y la optimización matemática , las funciones de pérdida para la clasificación son funciones de pérdida computacionalmente factibles que representan el precio que se paga por la inexactitud de las predicciones en los problemas de clasificación (problemas de identificar a qué categoría pertenece una observación particular). ^[1] Dado como el espacio de todas las entradas posibles (generalmente ), y como el conjunto de etiquetas (salidas posibles), un objetivo típico de los algoritmos de clasificación es encontrar una función que prediga mejor una etiqueta para una entrada dada . ^[2] Sin embargo, debido a la información incompleta, el ruido en la medición o los componentes probabilísticos en el proceso subyacente, es posible que lo mismo genere diferentes . ^[3] Como resultado, el objetivo del problema de aprendizaje es minimizar la pérdida esperada (también conocida como riesgo), definida como ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {X}}\subset \mathbb {R} ^{d}}$ ${\displaystyle {\mathcal {Y}}=\{-1,1\}}$ ${\displaystyle f:{\mathcal {X}}\to {\mathcal {Y}}}$ ${\displaystyle y}$ ${\displaystyle {\vec {x}}}$ ${\displaystyle {\vec {x}}}$ ${\displaystyle y}$

${\displaystyle I[f]=\displaystyle \int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy}$

donde es una función de pérdida dada, y es la función de densidad de probabilidad del proceso que generó los datos, que puede escribirse de manera equivalente como ${\displaystyle V(f({\vec {x}}),y)}$ ${\displaystyle p({\vec {x}},y)}$

${\displaystyle p({\vec {x}},y)=p(y\mid {\vec {x}})p({\vec {x}}).}$

Dentro de la clasificación, varias funciones de pérdida de uso común se escriben únicamente en términos del producto de la etiqueta verdadera y la etiqueta predicha . Por lo tanto, se pueden definir como funciones de una sola variable , de modo que con una función elegida adecuadamente . Estas se denominan funciones de pérdida basadas en márgenes . Elegir una función de pérdida basada en márgenes equivale a elegir . La selección de una función de pérdida dentro de este marco afecta al óptimo que minimiza el riesgo esperado, consulte minimización de riesgo empírico . ${\displaystyle y}$ ${\displaystyle f({\vec {x}})}$ ${\displaystyle \upsilon =yf({\vec {x}})}$ ${\displaystyle V(f({\vec {x}}),y)=\phi (yf({\vec {x}}))=\phi (\upsilon )}$ ${\displaystyle \phi :\mathbb {R} \to \mathbb {R} }$ ${\displaystyle \phi }$ ${\displaystyle f_{\phi }^{*}}$

En el caso de la clasificación binaria, es posible simplificar el cálculo del riesgo esperado a partir de la integral especificada anteriormente. En concreto,

${\displaystyle {\begin{aligned}I[f]&=\int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy\\[6pt]&=\int _{\mathcal {X}}\int _{\mathcal {Y}}\phi (yf({\vec {x}}))\,p(y\mid {\vec {x}})\,p({\vec {x}})\,dy\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))\,p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))\,p(-1\mid {\vec {x}})]\,p({\vec {x}})\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))\,p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))\,(1-p(1\mid {\vec {x}}))]\,p({\vec {x}})\,d{\vec {x}}\end{aligned}}}$

La segunda igualdad se deriva de las propiedades descritas anteriormente. La tercera igualdad se deriva del hecho de que 1 y −1 son los únicos valores posibles para , y la cuarta porque . El término entre corchetes se conoce como riesgo condicional. ${\displaystyle y}$ ${\displaystyle p(-1\mid x)=1-p(1\mid x)}$ ${\displaystyle [\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))(1-p(1\mid {\vec {x}}))]}$

Se puede resolver el minimizador de tomando la derivada funcional de la última igualdad con respecto a y estableciendo la derivada igual a 0. Esto dará como resultado la siguiente ecuación ${\displaystyle I[f]}$ ${\displaystyle f}$

${\displaystyle {\frac {\partial \phi (f)}{\partial f}}\eta +{\frac {\partial \phi (-f)}{\partial f}}(1-\eta )=0,\;\;\;\;\;(1)}$^{[ cita necesaria ] [ aclaración necesaria ]}

donde , lo que también equivale a establecer la derivada del riesgo condicional igual a cero. ${\displaystyle \eta =p(y=1|{\vec {x}})}$

Dada la naturaleza binaria de la clasificación, una selección natural para una función de pérdida (asumiendo un costo igual para los falsos positivos y los falsos negativos ) sería la función de pérdida 0-1 ( función indicadora 0–1 ), que toma el valor de 0 si la clasificación predicha es igual a la de la clase verdadera o 1 si la clasificación predicha no coincide con la clase verdadera. Esta selección está modelada por

${\displaystyle V(f({\vec {x}}),y)=H(-yf({\vec {x}}))}$

donde indica la función de paso de Heaviside . Sin embargo, esta función de pérdida no es convexa ni suave, y la solución óptima es un problema de optimización combinatoria NP-hard . ^[4] Como resultado, es mejor sustituir los sustitutos de la función de pérdida que son manejables para los algoritmos de aprendizaje de uso común, ya que tienen propiedades convenientes como ser convexos y suaves. Además de su manejabilidad computacional, se puede demostrar que las soluciones al problema de aprendizaje utilizando estos sustitutos de pérdida permiten la recuperación de la solución real al problema de clasificación original. ^[5] Algunos de estos sustitutos se describen a continuación. ${\displaystyle H}$

En la práctica, la distribución de probabilidad es desconocida. Por lo tanto, se utiliza un conjunto de entrenamiento de puntos de muestra distribuidos de forma independiente e idéntica. ${\displaystyle p({\vec {x}},y)}$ ${\displaystyle n}$

${\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}}$

A partir del espacio muestral de datos , se busca minimizar el riesgo empírico.

${\displaystyle I_{S}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})}$

como un indicador del riesgo esperado. ^[3] (Véase la teoría del aprendizaje estadístico para una descripción más detallada).

Consistencia bayesiana

Utilizando el teorema de Bayes , se puede demostrar que el óptimo , es decir, el que minimiza el riesgo esperado asociado con la pérdida cero-uno, implementa la regla de decisión óptima de Bayes para un problema de clasificación binaria y tiene la forma de ${\displaystyle f_{0/1}^{*}}$

${\displaystyle f_{0/1}^{*}({\vec {x}})\;=\;{\begin{cases}\;\;\;1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\\;\;\;0&{\text{if }}p(1\mid {\vec {x}})=p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$.

Se dice que una función de pérdida está calibrada para la clasificación o es consistente con Bayes si su valor óptimo es tal que y, por lo tanto, es óptima según la regla de decisión de Bayes. Una función de pérdida consistente con Bayes nos permite encontrar la función de decisión óptima de Bayes al minimizar directamente el riesgo esperado y sin tener que modelar explícitamente las funciones de densidad de probabilidad. ${\displaystyle f_{\phi }^{*}}$ ${\displaystyle f_{0/1}^{*}({\vec {x}})=\operatorname {sgn} (f_{\phi }^{*}({\vec {x}}))}$ ${\displaystyle f_{\phi }^{*}}$

Para la pérdida de margen convexa , se puede demostrar que es consistente con Bayes si y solo si es diferenciable en 0 y . ^{[6] [1]} Sin embargo, este resultado no excluye la existencia de funciones de pérdida consistentes con Bayes no convexas. Un resultado más general establece que las funciones de pérdida consistentes con Bayes se pueden generar utilizando la siguiente formulación ^[7] ${\displaystyle \phi (\upsilon )}$ ${\displaystyle \phi (\upsilon )}$ ${\displaystyle \phi '(0)<0}$

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]\;\;\;\;\;(2)}$,

donde es cualquier función invertible tal que y es cualquier función estrictamente cóncava diferenciable tal que . La Tabla I muestra las funciones de pérdida consistentes de Bayes generadas para algunas opciones de ejemplo de y . Tenga en cuenta que la pérdida de Savage y Tangent no son convexas. Se ha demostrado que tales funciones de pérdida no convexas son útiles para tratar con valores atípicos en la clasificación. ^{[7] [8]} Para todas las funciones de pérdida generadas a partir de (2), la probabilidad posterior se puede encontrar utilizando la función de enlace invertible como . Dichas funciones de pérdida donde la probabilidad posterior se puede recuperar utilizando el enlace invertible se denominan funciones de pérdida propias . ${\displaystyle f(\eta ),(0\leq \eta \leq 1)}$ ${\displaystyle f^{-1}(-v)=1-f^{-1}(v)}$ ${\displaystyle C(\eta )}$ ${\displaystyle C(\eta )=C(1-\eta )}$ ${\displaystyle C(\eta )}$ ${\displaystyle f^{-1}(v)}$ ${\displaystyle p(y=1|{\vec {x}})}$ ${\displaystyle p(y=1|{\vec {x}})=\eta =f^{-1}(v)}$

El único minimizador del riesgo esperado, , asociado con las funciones de pérdida generadas anteriormente se puede encontrar directamente a partir de la ecuación (1) y se puede demostrar que es igual al . Esto se aplica incluso a las funciones de pérdida no convexas, lo que significa que se pueden utilizar algoritmos basados ​​en el descenso de gradiente, como el aumento de gradiente, para construir el minimizador. ${\displaystyle f_{\phi }^{*}}$ ${\displaystyle f(\eta )}$

Funciones de pérdida adecuadas, margen de pérdida y regularización

(Rojo) Pérdida logística estándar ( ) y (Azul) Pérdida logística de margen incrementado ( ). ${\displaystyle \gamma =1,\mu =2}$ ${\displaystyle \gamma =0.2}$

Para funciones de pérdida adecuadas, el margen de pérdida se puede definir como y se muestra que está directamente relacionado con las propiedades de regularización del clasificador. ^[9] Específicamente, una función de pérdida de margen mayor aumenta la regularización y produce mejores estimaciones de la probabilidad posterior. Por ejemplo, el margen de pérdida se puede aumentar para la pérdida logística introduciendo un parámetro y escribiendo la pérdida logística como donde menor aumenta el margen de la pérdida. Se muestra que esto es directamente equivalente a disminuir la tasa de aprendizaje en el refuerzo de gradiente donde la disminución mejora la regularización del clasificador reforzado. La teoría deja en claro que cuando se utiliza una tasa de aprendizaje de, la fórmula correcta para recuperar la probabilidad posterior es ahora . ${\displaystyle \mu _{\phi }=-{\frac {\phi '(0)}{\phi ''(0)}}}$ ${\displaystyle \gamma }$ ${\displaystyle {\frac {1}{\gamma }}\log(1+e^{-\gamma v})}$ ${\displaystyle 0<\gamma <1}$ ${\displaystyle F_{m}(x)=F_{m-1}(x)+\gamma h_{m}(x),}$ ${\displaystyle \gamma }$ ${\displaystyle \gamma }$ ${\displaystyle \eta =f^{-1}(\gamma F(x))}$

En conclusión, al elegir una función de pérdida con mayor margen (menor ) aumentamos la regularización y mejoramos nuestras estimaciones de la probabilidad posterior, lo que a su vez mejora la curva ROC del clasificador final. ${\displaystyle \gamma }$

Pérdida cuadrada

Aunque se utiliza más comúnmente en regresión, la función de pérdida cuadrática se puede reescribir como una función y utilizarla para la clasificación. Se puede generar utilizando (2) y la Tabla I de la siguiente manera ${\displaystyle \phi (yf({\vec {x}}))}$

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4({\frac {1}{2}}(v+1))(1-{\frac {1}{2}}(v+1))+(1-{\frac {1}{2}}(v+1))(4-8({\frac {1}{2}}(v+1)))=(1-v)^{2}.}$

La función de pérdida cuadrada es a la vez convexa y suave. Sin embargo, la función de pérdida cuadrada tiende a penalizar excesivamente los valores atípicos, lo que lleva a tasas de convergencia más lentas (con respecto a la complejidad de la muestra) que para las funciones de pérdida logística o de pérdida de bisagra. ^[1] Además, las funciones que arrojan valores altos de para algunos tendrán un rendimiento deficiente con la función de pérdida cuadrada, ya que los valores altos de serán penalizados severamente, independientemente de si los signos de y coinciden. ${\displaystyle f({\vec {x}})}$ ${\displaystyle x\in X}$ ${\displaystyle yf({\vec {x}})}$ ${\displaystyle y}$ ${\displaystyle f({\vec {x}})}$

Una ventaja de la función de pérdida cuadrada es que su estructura se presta a una fácil validación cruzada de los parámetros de regularización. Específicamente para la regularización de Tikhonov , se puede resolver el parámetro de regularización utilizando la validación cruzada de dejar uno fuera en el mismo tiempo que tomaría resolver un solo problema. ^[10]

El minimizador de la función de pérdida cuadrada se puede encontrar directamente a partir de la ecuación (1) como ${\displaystyle I[f]}$

${\displaystyle f_{\text{Square}}^{*}=2\eta -1=2p(1\mid x)-1.}$

Pérdida logística

La función de pérdida logística se puede generar utilizando (2) y la Tabla I de la siguiente manera

${\displaystyle {\begin{aligned}\phi (v)&=C[f^{-1}(v)]+\left(1-f^{-1}(v)\right)\,C'\left[f^{-1}(v)\right]\\&={\frac {1}{\log(2)}}\left[{\frac {-e^{v}}{1+e^{v}}}\log {\frac {e^{v}}{1+e^{v}}}-\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\log \left(1-{\frac {e^{v}}{1+e^{v}}}\right)\right]+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left[{\frac {-1}{\log(2)}}\log \left({\frac {\frac {e^{v}}{1+e^{v}}}{1-{\frac {e^{v}}{1+e^{v}}}}}\right)\right]\\&={\frac {1}{\log(2)}}\log(1+e^{-v}).\end{aligned}}}$

La pérdida logística es convexa y crece linealmente para valores negativos, lo que la hace menos sensible a los valores atípicos. La pérdida logística se utiliza en el algoritmo LogitBoost .

El minimizador de la función de pérdida logística se puede encontrar directamente a partir de la ecuación (1) como ${\displaystyle I[f]}$

${\displaystyle f_{\text{Logistic}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

Esta función no está definida cuando o (tiende hacia ∞ y −∞ respectivamente), pero predice una curva suave que crece cuando aumenta y es igual a 0 cuando . ^[3] ${\displaystyle p(1\mid x)=1}$ ${\displaystyle p(1\mid x)=0}$ ${\displaystyle p(1\mid x)}$ ${\displaystyle p(1\mid x)=0.5}$

Es fácil comprobar que la pérdida logística y la pérdida de entropía cruzada binaria (pérdida logarítmica) son, de hecho, las mismas (hasta una constante multiplicativa ). La pérdida de entropía cruzada está estrechamente relacionada con la divergencia de Kullback-Leibler entre la distribución empírica y la distribución predicha. La pérdida de entropía cruzada es omnipresente en las redes neuronales profundas modernas . ${\displaystyle {\frac {1}{\log(2)}}}$

Pérdida exponencial

La función de pérdida exponencial se puede generar utilizando (2) y la Tabla I de la siguiente manera

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=2{\sqrt {\left({\frac {e^{2v}}{1+e^{2v}}}\right)\left(1-{\frac {e^{2v}}{1+e^{2v}}}\right)}}+\left(1-{\frac {e^{2v}}{1+e^{2v}}}\right)\left({\frac {1-{\frac {2e^{2v}}{1+e^{2v}}}}{\sqrt {{\frac {e^{2v}}{1+e^{2v}}}(1-{\frac {e^{2v}}{1+e^{2v}}})}}}\right)=e^{-v}}$

La pérdida exponencial es convexa y crece exponencialmente para valores negativos, lo que la hace más sensible a los valores atípicos. La pérdida exponencial ponderada de 0 a 1 se utiliza en el algoritmo AdaBoost, lo que da lugar implícitamente a la pérdida exponencial.

El minimizador de la función de pérdida exponencial se puede encontrar directamente a partir de la ecuación (1) como ${\displaystyle I[f]}$

${\displaystyle f_{\text{Exp}}^{*}={\frac {1}{2}}\log \left({\frac {\eta }{1-\eta }}\right)={\frac {1}{2}}\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

Pérdida salvaje

La pérdida de Savage ^[7] se puede generar utilizando (2) y la Tabla I de la siguiente manera

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=\left({\frac {e^{v}}{1+e^{v}}}\right)\left(1-{\frac {e^{v}}{1+e^{v}}}\right)+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left(1-{\frac {2e^{v}}{1+e^{v}}}\right)={\frac {1}{(1+e^{v})^{2}}}.}$

La pérdida de Savage es cuasi convexa y está limitada a valores negativos grandes, lo que la hace menos sensible a los valores atípicos. La pérdida de Savage se ha utilizado en el aumento de gradiente y en el algoritmo SavageBoost.

El minimizador de la función de pérdida de Savage se puede encontrar directamente a partir de la ecuación (1) como ${\displaystyle I[f]}$

${\displaystyle f_{\text{Savage}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

Pérdida de tangente

La pérdida tangente ^[11] se puede generar utilizando (2) y la Tabla I de la siguiente manera

${\displaystyle {\begin{aligned}\phi (v)&=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4(\arctan(v)+{\frac {1}{2}})(1-(\arctan(v)+{\frac {1}{2}}))+(1-(\arctan(v)+{\frac {1}{2}}))(4-8(\arctan(v)+{\frac {1}{2}}))\\&=(2\arctan(v)-1)^{2}.\end{aligned}}}$

La pérdida tangente es cuasi convexa y está limitada para valores negativos grandes, lo que la hace menos sensible a los valores atípicos. Curiosamente, la pérdida tangente también asigna una penalización limitada a los puntos de datos que se han clasificado "demasiado correctamente". Esto puede ayudar a evitar el sobreentrenamiento en el conjunto de datos. La pérdida tangente se ha utilizado en el aumento de gradiente , el algoritmo TangentBoost y los bosques de decisión alternados. ^[12]

El minimizador de la función de pérdida tangente se puede encontrar directamente a partir de la ecuación (1) como ${\displaystyle I[f]}$

${\displaystyle f_{\text{Tangent}}^{*}=\tan(\eta -{\frac {1}{2}})=\tan(p(1\mid x)-{\frac {1}{2}}).}$

Pérdida de bisagra

La función de pérdida de bisagra se define con , donde es la función de la parte positiva . ${\displaystyle \phi (\upsilon )=\max(0,1-\upsilon )=[1-\upsilon ]_{+}}$ ${\displaystyle [a]_{+}=\max(0,a)}$

${\displaystyle V(f({\vec {x}}),y)=\max(0,1-yf({\vec {x}}))=[1-yf({\vec {x}})]_{+}.}$

La pérdida de bisagra proporciona un límite superior convexo relativamente ajustado en la función indicadora 0-1 . Específicamente, la pérdida de bisagra es igual a la función indicadora 0-1 cuando y . Además, la minimización del riesgo empírico de esta pérdida es equivalente a la formulación clásica para las máquinas de vectores de soporte (SVM). Los puntos clasificados correctamente que se encuentran fuera de los límites marginales de los vectores de soporte no son penalizados, mientras que los puntos dentro de los límites marginales o en el lado incorrecto del hiperplano son penalizados de manera lineal en comparación con su distancia desde el límite correcto. ^[4] ${\displaystyle \operatorname {sgn} (f({\vec {x}}))=y}$ ${\displaystyle |yf({\vec {x}})|\geq 1}$

Si bien la función de pérdida de bisagra es convexa y continua, no es suave (no es diferenciable) en . En consecuencia, la función de pérdida de bisagra no se puede utilizar con métodos de descenso de gradiente o métodos de descenso de gradiente estocástico que se basan en la diferenciabilidad en todo el dominio. Sin embargo, la pérdida de bisagra tiene un subgradiente en , lo que permite la utilización de métodos de descenso de subgradiente . ^[4] Las SVM que utilizan la función de pérdida de bisagra también se pueden resolver utilizando programación cuadrática . ${\displaystyle yf({\vec {x}})=1}$ ${\displaystyle yf({\vec {x}})=1}$

El minimizador de la función de pérdida de bisagra es ${\displaystyle I[f]}$

${\displaystyle f_{\text{Hinge}}^{*}({\vec {x}})\;=\;{\begin{cases}1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$

cuando , que coincide con el de la función indicadora 0–1. Esta conclusión hace que la pérdida de bisagra sea bastante atractiva, ya que se pueden establecer límites en la diferencia entre el riesgo esperado y el signo de la función de pérdida de bisagra. ^[1] La pérdida de bisagra no se puede derivar de (2) ya que no es invertible. ${\displaystyle p(1\mid x)\neq 0.5}$ ${\displaystyle f_{\text{Hinge}}^{*}}$

Pérdida generalizada de la bisagra lisa

La función de pérdida de bisagra suave generalizada con parámetro se define como ${\displaystyle \alpha }$

${\displaystyle f_{\alpha }^{*}(z)\;=\;{\begin{cases}{\frac {\alpha }{\alpha +1}}-z&{\text{if }}z\leq 0\\{\frac {1}{\alpha +1}}z^{\alpha +1}-z+{\frac {\alpha }{\alpha +1}}&{\text{if }}0<z<1\\0&{\text{if }}z\geq 1\end{cases}},}$

dónde

${\displaystyle z=yf({\vec {x}}).}$

Es monótonamente creciente y llega a 0 cuando . ${\displaystyle z=1}$

Véase también

• Programación diferenciable
• Función de puntuación

Referencias

1. Rosasco, L.; De Vito, ED; Caponnetto, A.; Piana, M.; Verri, A. (2004). "¿Son todas las funciones de pérdida iguales?" (PDF) . Computación neuronal . 16 (5): 1063–1076. CiteSeerX  10.1.1.109.6786 . doi :10.1162/089976604773135104. PMID  15070510. S2CID  11845688.
2. Shen, Yi (2005), Funciones de pérdida para la clasificación binaria y la estimación de probabilidad de clase (PDF) , Universidad de Pensilvania , consultado el 6 de diciembre de 2014
3. Rosasco, Lorenzo; Poggio, Tomaso (2014), Un recorrido de regularización del aprendizaje automático , MIT-9.520 Lectures Notes, vol. Manuscrito
4. Piyush, Rai (13 de septiembre de 2011), Support Vector Machines (Continuación), Classification Loss Functions and Regularizers (PDF) , Utah CS5350/6350: Machine Learning , consultado el 4 de mayo de 2021
5. Ramanan, Deva (27 de febrero de 2008), Conferencia 14 (PDF) , UCI ICS273A: Machine Learning , consultado el 6 de diciembre de 2014
6. Bartlett, Peter L.; Jordan, Michael I.; Mcauliffe, Jon D. (2006). "Convexidad, clasificación y límites de riesgo". Revista de la Asociación Estadounidense de Estadística . 101 (473): 138–156. doi :10.1198/016214505000000907. ISSN  0162-1459. JSTOR  30047445. S2CID  2833811.
7. Masnadi-Shirazi, Hamed; Vasconcelos, Nuno (2008). "Sobre el diseño de funciones de pérdida para la clasificación: teoría, robustez ante valores atípicos y SavageBoost" (PDF) . Actas de la 21.ª Conferencia internacional sobre sistemas de procesamiento de información neuronal . NIPS'08. EE. UU.: Curran Associates Inc.: 1049–1056. ISBN 9781605609492.
8. Leistner, C.; Saffari, A.; Roth, PM; Bischof, H. (septiembre de 2009). "Sobre la solidez del boosting en línea: un estudio competitivo". Talleres de la 12.ª Conferencia Internacional sobre Visión por Computador del IEEE de 2009, Talleres del ICCV . págs. 1362–1369. doi :10.1109/ICCVW.2009.5457451. ISBN. 978-1-4244-4442-7.S2CID6032045  .​
9. Vasconcelos, Nuno; Masnadi-Shirazi, Hamed (2015). "Una visión de las pérdidas de margen como regularizadores de estimaciones de probabilidad". Revista de investigación en aprendizaje automático . 16 (85): 2751–2795. ISSN  1533-7928.
10. Rifkin, Ryan M.; Lippert, Ross A. (1 de mayo de 2007), Notas sobre mínimos cuadrados regularizados (PDF) , Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT
11. Masnadi-Shirazi, H.; Mahadevan, V.; Vasconcelos, N. (junio de 2010). "Sobre el diseño de clasificadores robustos para visión artificial". Conferencia de la IEEE Computer Society sobre visión artificial y reconocimiento de patrones de 2010. págs. 779–786. CiteSeerX 10.1.1.172.6416 . doi :10.1109/CVPR.2010.5540136. ISBN .  978-1-4244-6984-0.S2CID632758  .​
12. Schulter, S.; Wohlhart, P.; Leistner, C.; Saffari, A.; Roth, PM; Bischof, H. (junio de 2013). "Bosques de decisión alternados". Conferencia IEEE de 2013 sobre visión artificial y reconocimiento de patrones . págs. 508–515. CiteSeerX 10.1.1.301.1305 . doi :10.1109/CVPR.2013.72. ISBN .  978-0-7695-4989-7.S2CID6557162  .​