Aprendiendo a clasificar

Uso del aprendizaje automático para clasificar elementos

Aprender a clasificar ^[1] o clasificación aprendida por máquina ( MLR ) es la aplicación del aprendizaje automático , típicamente supervisado , semisupervisado o aprendizaje de refuerzo , en la construcción de modelos de clasificación para sistemas de recuperación de información . ^[2] Los datos de entrenamiento pueden, por ejemplo, consistir en listas de elementos con algún orden parcial especificado entre los elementos de cada lista. Este orden generalmente se induce dando una puntuación numérica u ordinal o un juicio binario (por ejemplo, "relevante" o "no relevante") para cada elemento. El objetivo de construir el modelo de clasificación es clasificar listas nuevas, no vistas, de una manera similar a las clasificaciones en los datos de entrenamiento.

Aplicaciones

En la recuperación de información

Una posible arquitectura de un motor de búsqueda con aprendizaje automático

La clasificación es una parte central de muchos problemas de recuperación de información , como la recuperación de documentos , el filtrado colaborativo , el análisis de sentimientos y la publicidad en línea .

En la figura adjunta se muestra una posible arquitectura de un motor de búsqueda con aprendizaje automático.

Los datos de entrenamiento consisten en consultas y documentos que las emparejan junto con el grado de relevancia de cada coincidencia. Pueden ser preparados manualmente por evaluadores humanos (o calificadores , como los llama Google ), que verifican los resultados de algunas consultas y determinan la relevancia de cada resultado. No es factible verificar la relevancia de todos los documentos, por lo que generalmente se utiliza una técnica llamada agrupación: solo se verifican los primeros documentos, recuperados por algunos modelos de clasificación existentes. Esta técnica puede introducir sesgo de selección. Alternativamente, los datos de entrenamiento pueden derivarse automáticamente analizando los registros de clics (es decir, los resultados de búsqueda que obtuvieron clics de los usuarios), [ ^3] cadenas de consultas ^[4] o características de motores de búsqueda como SearchWiki de Google (desde entonces reemplazado) . Los registros de clics pueden estar sesgados por la tendencia de los usuarios a hacer clic en los resultados de búsqueda principales asumiendo que ya están bien clasificados.

Los datos de entrenamiento son utilizados por un algoritmo de aprendizaje para producir un modelo de clasificación que calcula la relevancia de los documentos para consultas reales.

Por lo general, los usuarios esperan que una consulta de búsqueda se complete en poco tiempo (como unos pocos cientos de milisegundos para una búsqueda web), lo que hace imposible evaluar un modelo de clasificación complejo en cada documento del corpus, por lo que se utiliza un esquema de dos fases. ^[5] Primero, se identifica una pequeña cantidad de documentos potencialmente relevantes utilizando modelos de recuperación más simples que permiten una evaluación rápida de la consulta, como el modelo de espacio vectorial , el modelo booleano , AND ponderado, ^[6] o BM25 . Esta fase se denomina recuperación de documentos superiores ${\displaystyle k}$ y se propusieron muchas heurísticas en la literatura para acelerarla, como el uso de la puntuación de calidad estática de un documento e índices escalonados. ^[7] En la segunda fase, se utiliza un modelo de aprendizaje automático más preciso pero computacionalmente costoso para volver a clasificar estos documentos.

En otras áreas

Los algoritmos de aprendizaje de clasificación se han aplicado en áreas distintas a la recuperación de información:

• En la traducción automática para clasificar un conjunto de traducciones hipotéticas; ^[8]
• En biología computacional para clasificar estructuras 3D candidatas en problemas de predicción de estructura de proteínas. ^[8]
• En sistemas de recomendación para identificar una lista clasificada de artículos de noticias relacionados para recomendar a un usuario después de que haya leído un artículo de noticias actual. ^[9]

Vectores de características

Para la conveniencia de los algoritmos MLR, los pares consulta-documento se representan generalmente mediante vectores numéricos, que se denominan vectores de características . Este enfoque a veces se denomina bolsa de características y es análogo al modelo de bolsa de palabras y al modelo de espacio vectorial que se utilizan en la recuperación de información para la representación de documentos.

Los componentes de estos vectores se denominan características , factores o señales de clasificación . Se pueden dividir en tres grupos (las características de la recuperación de documentos se muestran como ejemplos):

• Características independientes de la consulta o estáticas : aquellas características que dependen únicamente del documento, pero no de la consulta. Por ejemplo, el PageRank o la longitud del documento. Estas características se pueden calcular previamente en modo fuera de línea durante la indexación. Se pueden utilizar para calcular la puntuación de calidad estática del documento (o rango estático ), que a menudo se utiliza para acelerar la evaluación de la consulta de búsqueda. ^{[7] [10]}
• Características dependientes de la consulta o dinámicas : aquellas características que dependen tanto del contenido del documento como de la consulta, como la puntuación TF-IDF u otras funciones de clasificación no aprendidas por máquina.
• Características a nivel de consulta o características de consulta , que dependen únicamente de la consulta. Por ejemplo, la cantidad de palabras de una consulta.

Algunos ejemplos de características que se utilizaron en el conocido conjunto de datos LETOR:

• Puntuaciones de TF, TF-IDF , BM25 y modelado de lenguaje de las zonas del documento (título, cuerpo, texto de anclaje, URL) para una consulta determinada;
• Longitudes y sumas IDF de las zonas del documento;
• PageRank del documento , rankings HITS y sus variantes.

La selección y el diseño de buenas características es un área importante en el aprendizaje automático, que se denomina ingeniería de características .

Medidas de evaluación

Existen varias medidas (métricas) que se utilizan habitualmente para evaluar el rendimiento de un algoritmo con los datos de entrenamiento y para comparar el rendimiento de diferentes algoritmos MLR. A menudo, un problema de aprendizaje de clasificación se reformula como un problema de optimización con respecto a una de estas métricas.

Ejemplos de medidas de calidad de clasificación:

• Precisión media promedio (MAP);
• DCG y NDCG ;
• Precisión @ n , NDCG@ n , donde "@ n " denota que las métricas se evalúan solo en los n documentos principales;
• Rango recíproco medio ;
• Tau de Kendall ;
• Rho de Spearman .

El DCG y su variante normalizada NDCG suelen preferirse en la investigación académica cuando se utilizan múltiples niveles de relevancia. ^[11] Otras métricas como MAP, MRR y precisión se definen solo para juicios binarios.

Recientemente, se han propuesto varias métricas de evaluación nuevas que pretenden modelar la satisfacción del usuario con los resultados de búsqueda mejor que la métrica DCG:

• Rango recíproco esperado (ERR); ^[12]
• Pfound de Yandex . ^[13]

Ambas métricas se basan en el supuesto de que es más probable que el usuario deje de mirar los resultados de búsqueda después de examinar un documento más relevante que después de uno menos relevante.

Aproches

Tie-Yan Liu de Microsoft Research Asia ha analizado los algoritmos existentes para aprender a clasificar problemas en su libro Learning to Rank for Information Retrieval [Aprender a clasificar para la recuperación de información] . ^[1] Los clasificó en tres grupos según sus espacios de entrada, espacios de salida, espacios de hipótesis (la función principal del modelo) y funciones de pérdida : el enfoque puntual, el de pares y el de listas. En la práctica, los enfoques de listas suelen superar a los enfoques de pares y a los enfoques puntuales. Esta afirmación fue respaldada además por un experimento a gran escala sobre el rendimiento de diferentes métodos de aprendizaje para clasificar en una gran colección de conjuntos de datos de referencia. ^[14]

En esta sección, sin previo aviso, denota un objeto a evaluar, por ejemplo, un documento o una imagen, denota una hipótesis de valor único, denota una función bivariada o multivariada y denota la función de pérdida. ${\displaystyle x}$ ${\displaystyle f(x)}$ ${\displaystyle h(\cdot )}$ ${\displaystyle L(\cdot )}$

Enfoque puntual

En este caso, se supone que cada par de consulta-documento en los datos de entrenamiento tiene una puntuación numérica u ordinal. Luego, el problema de aprendizaje de la clasificación se puede aproximar mediante un problema de regresión: dado un único par de consulta-documento, predecir su puntuación. Formalmente hablando, el enfoque puntual apunta a aprender una función que prediga el valor real o la puntuación ordinal de un documento utilizando la función de pérdida . ${\displaystyle f(x)}$ ${\displaystyle x}$ ${\displaystyle L(f;x_{j},y_{j})}$

Para este fin, se pueden utilizar fácilmente varios algoritmos de aprendizaje automático supervisado existentes. Los algoritmos de regresión ordinal y de clasificación también se pueden utilizar en un enfoque puntual cuando se utilizan para predecir la puntuación de un único par de consulta-documento, y se necesita una cantidad pequeña y finita de valores.

Enfoque por pares

En este caso, el problema de aprendizaje de la clasificación se aproxima a un problema de clasificación: aprender un clasificador binario que pueda determinar qué documento es mejor en un par de documentos determinado. El clasificador tomará dos documentos como entrada y el objetivo es minimizar una función de pérdida . La función de pérdida generalmente refleja la cantidad y la magnitud de las inversiones en la clasificación inducida. ${\displaystyle h(x_{u},x_{v})}$ ${\displaystyle L(h;x_{u},x_{v},y_{u,v})}$

En muchos casos, el clasificador binario se implementa con una función de puntuación . Como ejemplo, RankNet ^[15] adapta un modelo de probabilidad y define como la probabilidad estimada de que el documento tenga mayor calidad que : ${\displaystyle h(x_{u},x_{v})}$ ${\displaystyle f(x)}$ ${\displaystyle h(x_{u},x_{v})}$ ${\displaystyle x_{u}}$ ${\displaystyle x_{v}}$

${\displaystyle P_{u,v}(f)={\text{CDF}}(f(x_{u})-f(x_{v})),}$

donde es una función de distribución acumulativa , por ejemplo, la CDF logística estándar , es decir ${\displaystyle {\text{CDF}}(\cdot )}$

${\displaystyle {\text{CDF}}(x)={\frac {1}{1+\exp \left[-x\right]}}.}$

Enfoque de lista

Estos algoritmos intentan optimizar directamente el valor de una de las medidas de evaluación anteriores, promediado sobre todas las consultas en los datos de entrenamiento. Esto suele ser difícil en la práctica porque la mayoría de las medidas de evaluación no son funciones continuas con respecto a los parámetros del modelo de clasificación, y por lo tanto se deben utilizar aproximaciones continuas o límites en las medidas de evaluación. Por ejemplo, el algoritmo SoftRank. ^[16] LambdaMART es un algoritmo por pares que se ha demostrado empíricamente que aproxima funciones objetivo por lista. ^[17]

Lista de métodos

A continuación se muestra una lista parcial de algoritmos de aprendizaje para clasificar publicados con los años de la primera publicación de cada método:

Nota: como la mayoría de los algoritmos de aprendizaje supervisado para clasificar se pueden aplicar a casos puntuales, por pares y por listas, arriba solo se muestran aquellos métodos que están diseñados específicamente teniendo en cuenta la clasificación.

Historia

Norbert Fuhr introdujo la idea general de MLR en 1992, describiendo los enfoques de aprendizaje en la recuperación de información como una generalización de la estimación de parámetros; ^[39] una variante específica de este enfoque (usando regresión polinomial ) había sido publicada por él tres años antes. ^[18] Bill Cooper propuso la regresión logística para el mismo propósito en 1992 ^[19] y la usó con su grupo de investigación de Berkeley para entrenar una función de clasificación exitosa para TREC . Manning et al. ^[40] sugieren que estos primeros trabajos lograron resultados limitados en su tiempo debido a los pocos datos de entrenamiento disponibles y las técnicas de aprendizaje automático deficientes.

Varias conferencias, como NeurIPS , SIGIR e ICML, han realizado talleres dedicados al problema de aprender a clasificar desde mediados de la década de 2000.

Uso práctico por parte de los motores de búsqueda

Los motores de búsqueda web comerciales comenzaron a utilizar sistemas de clasificación con aprendizaje automático desde la década de 2000. Uno de los primeros motores de búsqueda que comenzó a utilizarlo fue AltaVista (más tarde su tecnología fue adquirida por Overture y luego por Yahoo ), que lanzó una función de clasificación entrenada con gradient boosting en abril de 2003. ^{[41] [42]}

Se dice que la búsqueda de Bing está impulsada por el algoritmo RankNet, ^{[43] [¿ cuándo? ]} que fue inventado en Microsoft Research en 2005.

En noviembre de 2009, el motor de búsqueda ruso Yandex anunció ^[44] que había aumentado significativamente la calidad de sus búsquedas gracias a la implementación de un nuevo algoritmo patentado , MatrixNet , una variante del método de aumento de gradiente que utiliza árboles de decisión inconscientes. ^[45] Recientemente, también han patrocinado una competición de clasificación basada en aprendizaje automático "Internet Mathematics 2009" ^[46] basada en los datos de producción de su propio motor de búsqueda. Yahoo ha anunciado una competición similar en 2010. ^[47]

En 2008, Peter Norvig de Google negó que su motor de búsqueda dependiera exclusivamente de clasificaciones aprendidas por máquinas. ^{[48] El director ejecutivo de} Cuil , Tom Costello, sugiere que prefieren los modelos creados a mano porque pueden superar a los modelos aprendidos por máquinas cuando se los mide con métricas como la tasa de clics o el tiempo en la página de destino, lo que se debe a que los modelos aprendidos por máquinas "aprenden lo que la gente dice que le gusta, no lo que a la gente realmente le gusta". ^[49]

En enero de 2017, la tecnología se incluyó en el motor de búsqueda de código abierto Apache Solr . ^[50] También está disponible en OpenSearch de código abierto y Elasticsearch disponible en código fuente . ^{[51] [52]} Estas implementaciones hacen que aprender a clasificar sea ampliamente accesible para la búsqueda empresarial.

Vulnerabilidades

De manera similar a las aplicaciones de reconocimiento en la visión artificial , también se ha descubierto que los algoritmos de clasificación basados ​​en redes neuronales recientes son susceptibles a ataques adversarios encubiertos , tanto a los candidatos como a las consultas. ^[53] Con pequeñas perturbaciones imperceptibles para los seres humanos, el orden de clasificación podría alterarse arbitrariamente. Además, se ha descubierto que son posibles ejemplos adversarios transferibles independientes del modelo, lo que permite ataques adversarios de caja negra a sistemas de clasificación profunda sin necesidad de acceder a sus implementaciones subyacentes. ^{[53] [54]}

Por el contrario, la solidez de dichos sistemas de clasificación se puede mejorar mediante defensas adversarias como la defensa Madry. ^[55]

Véase también

• Recuperación de imágenes basada en contenido
• Recuperación de información multimedia
• Recuperación de imágenes
• Pérdida de tripletes

Referencias

1. Tie-Yan Liu (2009), "Aprender a clasificar para la recuperación de información", Fundamentos y tendencias en la recuperación de información , 3 (3): 225–331, doi :10.1561/1500000016, ISBN 978-1-60198-244-5Las diapositivas de la charla de Tie-Yan Liu en la conferencia WWW 2009 están disponibles en línea Archivado el 8 de agosto de 2017 en Wayback Machine.
2. Mehryar Mohri , Afshin Rostamizadeh, Ameet Talwalkar (2012) Fundamentos del aprendizaje automático , The MIT Press ISBN 9780262018258 . 
3. Joachims, T. (2002), "Optimización de motores de búsqueda mediante datos de clics" (PDF) , Actas de la Conferencia ACM sobre descubrimiento de conocimiento y minería de datos , archivado (PDF) del original el 29 de diciembre de 2009 , consultado el 11 de noviembre de 2009
4. Joachims T.; Radlinski F. (2005), "Cadenas de consulta: aprender a clasificar a partir de retroalimentación implícita" (PDF) , Actas de la Conferencia ACM sobre descubrimiento de conocimiento y minería de datos , arXiv : cs/0605035 , Bibcode :2006cs........5035R, archivado (PDF) desde el original el 2011-07-27 , consultado el 2009-12-19
5. B. Cambazoglu; H. Zaragoza; O. Chapelle; J. Chen; C. Liao; Z. Zheng; J. Degenhardt., "Optimizaciones de salida temprana para sistemas de clasificación de aprendizaje automático aditivo" (PDF) , WSDM '10: Actas de la Tercera Conferencia Internacional de la ACM sobre Búsqueda Web y Minería de Datos, 2010. , archivado desde el original (PDF) el 28 de agosto de 2019 , consultado el 23 de diciembre de 2009
6. Broder A. ; Carmel D.; Herscovici M.; Soffer A. ; Zien J. (2003), "Evaluación eficiente de consultas mediante un proceso de recuperación de dos niveles", Actas de la duodécima conferencia internacional sobre gestión de la información y el conocimiento (PDF) , págs. 426–434, doi :10.1145/956863.956944, ISBN 978-1-58113-723-1, S2CID  2432701, archivado desde el original (PDF) el 21 de mayo de 2009 , consultado el 15 de diciembre de 2009
7. Manning C.; Raghavan P.; Schütze H. (2008), Introducción a la recuperación de información , Cambridge University PressSección 7.1 Archivado el 19 de julio de 2009 en Wayback Machine .
8. Kevin K. Duh (2009), Aprendiendo a clasificar con datos parcialmente etiquetados (PDF) , archivado (PDF) del original el 20 de julio de 2011 , consultado el 27 de diciembre de 2009
9. Yuanhua Lv, Taesup Moon, Pranam Kolari, Zhaohui Zheng, Xuanhui Wang y Yi Chang, Aprendiendo a modelar la relación para la recomendación de noticias Archivado el 27 de agosto de 2011 en Wayback Machine , en Conferencia Internacional sobre la World Wide Web (WWW), 2011.
10. Richardson, M.; Prakash, A.; Brill, E. (2006). "Beyond PageRank: Machine Learning for Static Ranking" (PDF) . Actas de la 15.ª Conferencia Internacional sobre la World Wide Web . págs. 707–715. Archivado (PDF) desde el original el 15 de agosto de 2009 . Consultado el 18 de noviembre de 2009 .
11. "Copia archivada". Archivado desde el original el 4 de enero de 2011. Consultado el 14 de diciembre de 2009 .{{cite web}}: CS1 maint: archived copy as title (link)
12. Olivier Chapelle; Donald Metzler; Ya Zhang; Pierre Grinspan (2009), "Rango recíproco esperado para relevancia graduada" (PDF) , CIKM , archivado desde el original (PDF) el 24 de febrero de 2012
13. Gulin A.; Karpovich P.; Raskovalov D.; Segalovich I. (2009), "Yandex en ROMIP'2009: optimización de algoritmos de clasificación mediante métodos de aprendizaje automático" (PDF) , Actas de ROMIP'2009 : 163–168, archivado (PDF) desde el original el 22 de noviembre de 2009 , consultado el 13 de noviembre de 2009(en ruso)
14. Tax, Niek; Bockting, Sander; Hiemstra, Djoerd (2015), "Una comparación entre puntos de referencia de 87 métodos de aprendizaje para clasificar" (PDF) , Information Processing & Management , 51 (6): 757–772, doi :10.1016/j.ipm.2015.07.002, S2CID  22782599, archivado desde el original (PDF) el 2017-08-09 , consultado el 2017-10-15
15. Burges, Chris JC; Shaked, Tal; Renshaw, Erin; Lazier, Ari; Deeds, Matt; Hamilton, Nicole; Hullender, Greg (1 de agosto de 2005). "Aprendiendo a clasificar usando el descenso de gradiente". Archivado desde el original el 26 de febrero de 2021. Consultado el 31 de marzo de 2021 . {{cite journal}}: Requiere citar revista |journal=( ayuda )
16. Taylor, MJ, Guiver, J., Robertson, SE y Minka, TP (2008). SoftRank: optimización de métricas de clasificación no uniformes. Búsqueda web y minería de datos.
17. Burges, Chris JC (23 de junio de 2010). "De RankNet a LambdaRank y LambdaMART: una visión general". {{cite journal}}: Requiere citar revista |journal=( ayuda )
18. Fuhr, Norbert (1989), "Funciones óptimas de recuperación polinómica basadas en el principio de clasificación de probabilidad", ACM Transactions on Information Systems , 7 (3): 183–204, doi : 10.1145/65943.65944 , S2CID  16632383
19. Cooper, William S.; Gey, Frederic C.; Dabney, Daniel P. (1992), "Recuperación probabilística basada en regresión logística por etapas", Actas de la 15.ª conferencia anual internacional ACM SIGIR sobre investigación y desarrollo en recuperación de información - SIGIR '92 , págs. 198-210, doi : 10.1145/133160.133199, ISBN 978-0897915236, S2CID125993 ​
20. Bartell, Brian T.; Cottrell Garrison W.; Belew, Richard K. (1994), "Combinación automática de sistemas de recuperación de datos clasificados múltiples", Sigir '94, págs. 173-181, doi :10.1007/978-1-4471-2099-5_18, ISBN 978-0387198897, S2CID  18606472, archivado desde el original el 13 de junio de 2018 , consultado el 12 de octubre de 2020
21. "Bromas". 2001: 641–647. CiteSeerX 10.1.1.20.378 .  {{cite journal}}: Requiere citar revista |journal=( ayuda )
22. "RankingGP". CiteSeerX 10.1.1.90.220 .  {{cite journal}}: Requiere citar revista |journal=( ayuda )
23. Pahikkala, Tapio; Tsivtsivadze, Evgeni; Airola, Antti; Järvinen, Jouni; Boberg, Jorma (2009), "Un algoritmo eficaz para aprender a clasificar a partir de gráficos de preferencias", Machine Learning , 75 (1): 129–165, doi : 10.1007/s10994-008-5097-z .
24. C. Burges. (2010). De RankNet a LambdaRank y luego a LambdaMART: una descripción general Archivado el 10 de noviembre de 2017 en Wayback Machine .
25. Rong Jin, Hamed Valizadegan, Hang Li, Refinamiento de clasificación y su aplicación para la recuperación de información Archivado el 6 de abril de 2012 en Wayback Machine , en Conferencia Internacional sobre la World Wide Web (WWW), 2008.
26. Massih-Reza Amini, Vinh Truong, Cyril Goutte, Un algoritmo de refuerzo para el aprendizaje de funciones de clasificación bipartita con datos parcialmente etiquetados Archivado el 2 de agosto de 2010 en Wayback Machine , Conferencia internacional ACM SIGIR, 2008. El código Archivado el 23 de julio de 2010 en Wayback Machine está disponible para fines de investigación.
27. Leonardo Rigutini, Tiziano Papini, Marco Maggini, Franco Scarselli, "SortNet: aprendiendo a clasificar mediante un algoritmo de clasificación basado en neuronas" Archivado el 25 de noviembre de 2011 en Wayback Machine , Taller SIGIR 2008: Aprendiendo a clasificar para la recuperación de información, 2008
28. Hamed Valizadegan, Rong Jin, Ruofei Zhang, Jianchang Mao , Aprendiendo a clasificar mediante la optimización de la medida NDCG Archivado el 6 de abril de 2012 en Wayback Machine , en Proceeding of Neural Information Processing Systems (NIPS), 2010.
29. Ai, Qingyao; Bi, Keping; Jiafeng, Guo; Croft, W. Bruce (2018), "Aprendizaje de un modelo de contexto de lista profunda para el refinamiento de la clasificación", 41.ª Conferencia internacional ACM SIGIR sobre investigación y desarrollo en recuperación de información , págs. 135-144, arXiv : 1804.05936 , doi : 10.1145/3209978.3209985 , ISBN 9781450356572, Número de identificación del sujeto  4956076
30. Davidov, Ori; Ailon, Nir; Oliveira, Ivo FD (2018). "Un enfoque nuevo y flexible para el análisis de datos de comparación por pares". Journal of Machine Learning Research . 19 (60): 1–29. ISSN  1533-7928. Archivado desde el original el 2019-10-03 . Consultado el 2019-09-17 .
31. Pfannschmidt, Karlson; Gupta, Pritha; Hüllermeier, Eyke (2018). "Arquitecturas profundas para el aprendizaje de funciones de clasificación dependientes del contexto". arXiv : 1803.05796 [stat.ML].
32. Fatih Cakir, Kun He, Xide Xia, Brian Kulis, Stan Sclaroff, Aprendizaje métrico profundo para clasificar Archivado el 14 de mayo de 2019 en Wayback Machine , en Proc. Conferencia IEEE sobre visión artificial y reconocimiento de patrones (CVPR), 2019.
33. Ai, Qingyao; Wang, Xuanhui; Bruch, Sebastian; Golbandi, Nadav; Bendersky, Michael; Najork, Marc (2019), "Aprendizaje de funciones de puntuación multivariante grupales mediante redes neuronales profundas", Actas de la Conferencia internacional ACM SIGIR de 2019 sobre teoría de la recuperación de información , págs. 85–92, arXiv : 1811.04415 , doi : 10.1145/3341981.3344218 , ISBN 9781450368810, S2CID  199441954
34. Rolínek, Michal; Musil, Vít; Paulus, Anselm; Vlastelica, Marin; Michaelis, Claudio; Martius, Georg (18 de marzo de 2020). "Optimización de métricas basadas en rangos con diferenciación de caja negra". arXiv : 1912.03500 [cs.LG].
35. Vlastelica, Marin; Paulus, Anselm; Musil, Vít; Martius, Georg; Rolínek, Michal (4 de diciembre de 2019). "Diferenciación de solucionadores combinatorios de caja negra". arXiv : 1912.02175 . {{cite journal}}: Requiere citar revista |journal=( ayuda )
36. Liu, Weiwen; Liu, Qing; Tang, Ruiming; Chen, Junyang; He, Xiuqiang; Heng, Pheng Ann (19 de octubre de 2020). "Reclasificación personalizada con relaciones de artículos para el comercio electrónico". Actas de la 29.ª Conferencia internacional de la ACM sobre gestión de la información y el conocimiento . CIKM '20. Evento virtual, Irlanda: Association for Computing Machinery. págs. 925–934. doi :10.1145/3340531.3412332. ISBN 978-1-4503-6859-9. S2CID  224281012. Archivado desde el original el 17 de octubre de 2021. Consultado el 26 de abril de 2021 .
37. Pang, Liang; Xu, Jun; Ai, Qingyao; Lan, Yanyan; Cheng, Xueqi; Wen, Jirong (2020), "SetRank", Actas de la 43.ª Conferencia internacional ACM SIGIR sobre investigación y desarrollo en recuperación de información , págs. 499–508, doi :10.1145/3397271.3401104, ISBN 9781450380164, Identificador único  241534531
38. Swezey, Robin; Grover, Aditya; Charron, Bruno; Ermon, Stefano (27 de noviembre de 2021). "PiRank: aprendizaje escalable para clasificar mediante ordenamiento diferenciable". Avances en sistemas de procesamiento de información neuronal . NeurIPS '21. 34. Evento virtual, Irlanda. arXiv : 2012.06731 .
39. Fuhr, Norbert (1992), "Modelos probabilísticos en la recuperación de información", Computer Journal , 35 (3): 243–255, doi : 10.1093/comjnl/35.3.243
40. Manning C.; Raghavan P.; Schütze H. (2008), Introducción a la recuperación de información , Cambridge University PressSecciones 7.4 Archivado el 21 de julio de 2009 en Wayback Machine y 15.5 Archivado el 9 de mayo de 2010 en Wayback Machine
41. Jan O. Pedersen. La historia de MLR Archivado el 13 de julio de 2011 en Wayback Machine
42. Patente estadounidense 7.197.497
43. "Blog de búsqueda de Bing: necesidades de los usuarios, características y la ciencia detrás de Bing". Archivado desde el original el 25 de noviembre de 2009. Consultado el 19 de noviembre de 2009 .
44. Entrada del blog corporativo de Yandex sobre el nuevo modelo de clasificación "Snezhinsk" Archivado el 1 de marzo de 2012 en Wayback Machine (en ruso)
45. El algoritmo no fue revelado, pero algunos detalles se hicieron públicos en [1] Archivado el 1 de junio de 2010 en Wayback Machine y [2] Archivado el 1 de junio de 2010 en Wayback Machine .
46. "Página del concurso Yandex Internet Mathematics 2009". Archivado desde el original el 17 de marzo de 2015. Consultado el 11 de noviembre de 2009 .
47. "Desafío de Yahoo para aprender a clasificar". Archivado desde el original el 1 de marzo de 2010. Consultado el 26 de febrero de 2010 .
48. Rajaraman, Anand (24 de mayo de 2008). "¿Son los modelos de aprendizaje automático propensos a errores catastróficos?". Archivado desde el original el 1 de julio de 2012. Consultado el 11 de noviembre de 2009 .
49. Costello, Tom (26 de junio de 2009). "Cuil Blog: ¿Cómo le va a Bing?". Archivado desde el original el 27 de junio de 2009.
50. "Cómo Bloomberg integró Learning-to-Rank en Apache Solr | Tech at Bloomberg". Tech at Bloomberg . 2017-01-23. Archivado desde el original el 2017-03-01 . Consultado el 2017-02-28 .
51. "Aprender a posicionarse en Amazon OpenSearch Service - Amazon OpenSearch Service". docs.aws.amazon.com . Consultado el 22 de septiembre de 2023 .
52. "Elasticsearch Learning to Rank: la documentación — Documentación de Elasticsearch Learning to Rank". elasticsearch-learning-to-rank.readthedocs.io . Consultado el 22 de septiembre de 2023 .
53. Zhou, Mo; Niu, Zhenxing; Wang, Le; Zhang, Qilin; Hua, Gang (2020). "Ataque y defensa de clasificación adversaria". arXiv : 2002.11293v2 [cs.CV].
54. Li, Jie; Ji, Rongrong; Liu, Hong; Hong, Xiaopeng; Gao, Yue; Tian, ​​Qi (2019). "Ataque de perturbación universal contra la recuperación de imágenes". Conferencia internacional sobre visión artificial (ICCV 2019) : 4899–4908. arXiv : 1812.00552 . Archivado desde el original el 2020-07-06 . Consultado el 2020-07-04 .
55. Madry, Aleksander; Makelov, Aleksandar; Schmidt, Ludwig; Tsipras, Dimitris; Vladu, Adrian (19 de junio de 2017). "Hacia modelos de aprendizaje profundo resistentes a ataques adversarios". arXiv : 1706.06083v4 [stat.ML].

Enlaces externos

Competiciones y conjuntos de datos públicos

• LETOR: Una colección de referencia para la investigación sobre el aprendizaje de la clasificación para la recuperación de información
• Matemáticas de Internet de Yandex 2009
• Desafío de aprendizaje de Yahoo! para clasificar
• Microsoft Learning para clasificar conjuntos de datos