stringtranslate.com

Bernhard Schölkopf

Bernhard Schölkopf (nacido el 20 de febrero de 1968) es un científico informático alemán conocido por su trabajo en aprendizaje automático, especialmente en métodos kernel y causalidad . Es director del Instituto Max Planck de Sistemas Inteligentes en Tübingen , Alemania , donde dirige el Departamento de Inferencia Empírica. También es profesor afiliado en ETH Zürich , profesor honorario en la Universidad de Tübingen y la Technische Universität Berlin , y presidente del Laboratorio Europeo de Aprendizaje y Sistemas Inteligentes (ELLIS).

Investigación

Métodos del núcleo

Schölkopf desarrolló métodos SVM que lograron un rendimiento récord mundial en el punto de referencia de reconocimiento de patrones MNIST en ese momento. [2] Con la introducción de kernel PCA , Schölkopf y coautores argumentaron que los SVM son un caso especial de una clase mucho más grande de métodos, y todos los algoritmos que se pueden expresar en términos de productos puntuales se pueden generalizar a un entorno no lineal por medio de lo que se conoce como kernels de reproducción. [3] [4] [5] Otra observación significativa fue que los datos en los que se define el kernel no necesitan ser vectoriales, siempre que la matriz de Gram del kernel sea definida positiva. [3] Ambos conocimientos juntos llevaron a la fundación del campo de los métodos kernel , que abarca los SVM y muchos otros algoritmos. Los métodos kernel son ahora conocimiento de los libros de texto y uno de los principales paradigmas de aprendizaje automático en investigación y aplicaciones.

Al desarrollar el PCA de kernel, Schölkopf lo extendió para extraer características invariantes y diseñar kernels invariantes [4] [6] [7] y mostró cómo ver otros métodos importantes de reducción de dimensionalidad como LLE e Isomap como casos especiales . En trabajos posteriores con Alex Smola y otros, extendió el método SVM a la regresión y clasificación con escasez preespecificada [8] y estimación de cuantiles/soporte. [9] Demostró un teorema de representante que implica que los SVM, el PCA de kernel y la mayoría de los demás algoritmos de kernel, regularizados por una norma en un espacio de Hilbert de kernel de reproducción , tienen soluciones que toman la forma de expansiones de kernel en los datos de entrenamiento, reduciendo así un problema de optimización de dimensión infinita a uno de dimensión finita. Fue co-desarrollador de incrustaciones de kernel de métodos de distribuciones para representar distribuciones de probabilidad en espacios de Hilbert , [10] [11] [12] [13] con vínculos con la difracción de Fraunhofer [14] así como aplicaciones para pruebas de independencia. [15] [16] [17]

Causalidad

A partir de 2005, Schölkopf centró su atención en la inferencia causal . Los mecanismos causales en el mundo dan lugar a dependencias estadísticas como epifenómenos, pero solo estas últimas son explotadas por los algoritmos de aprendizaje automático populares. El conocimiento sobre las estructuras y los mecanismos causales es útil porque nos permite predecir no solo los datos futuros que provengan de la misma fuente, sino también el efecto de las intervenciones en un sistema y facilita la transferencia de regularidades detectadas a nuevas situaciones. [18]

Schölkopf y sus colaboradores abordaron (y en ciertos entornos resolvieron) el problema del descubrimiento causal para el entorno de dos variables [19] [20] [21] [22] [23] y conectaron la causalidad con la complejidad de Kolmogorov . [24]

Alrededor de 2010, Schölkopf comenzó a explorar cómo usar la causalidad para el aprendizaje automático, explotando los supuestos de independencia de los mecanismos e invariancia. [25] Su trabajo inicial sobre aprendizaje causal se expuso a una audiencia más amplia de aprendizaje automático durante su conferencia Posner [26] en NeurIPS 2011, así como en una charla magistral en ICML 2017. [27] Ensayó cómo explotar las estructuras causales subyacentes para hacer que los métodos de aprendizaje automático sean más robustos con respecto a los cambios de distribución [18] [28] [29] y los errores sistemáticos, [30] este último condujo al descubrimiento de varios exoplanetas nuevos [31], incluido K2-18b , que posteriormente se descubrió que contenía vapor de agua en su atmósfera, una novedad para un exoplaneta en la zona habitable .

Educación y empleo

Schölkopf estudió matemáticas, física y filosofía en Tubinga y Londres. Recibió el apoyo de la Studienstiftung y ganó el Premio Lionel Cooper Memorial al mejor Máster en Matemáticas en la Universidad de Londres . [32] Completó un diploma en Física y luego se trasladó a Bell Labs en Nueva Jersey, donde trabajó con Vladimir Vapnik , quien se convirtió en coasesor de su tesis doctoral en la TU Berlín (con Stefan Jähnichen). Su tesis, defendida en 1997, ganó el premio anual de la Asociación Alemana de Informática . [33] En 2001, tras ocupar puestos en Berlín, Cambridge y Nueva York, fundó el Departamento de Inferencia Empírica en el Instituto Max Planck de Cibernética Biológica , que se convirtió en un centro líder de investigación en aprendizaje automático. En 2011, se convirtió en director fundador del Instituto Max Planck de Sistemas Inteligentes . [34] [35]

Junto con Alex Smola, Schölkopf cofundó la serie de escuelas de verano sobre aprendizaje automático. [36] También cofundó un programa de doctorado en Cambridge-Tübingen [37] y el Centro Max Planck-ETH para sistemas de aprendizaje. [38] En 2016, cofundó el consorcio de investigación Cyber ​​Valley. [39] Participó en la Iniciativa Global IEEE sobre "Diseño éticamente alineado". [40]

Schölkopf es coeditor en jefe del Journal of Machine Learning Research , una revista que ayudó a fundar, siendo parte de una renuncia masiva del consejo editorial de Machine Learning (revista) . Es uno de los científicos informáticos más citados del mundo. [41] Entre los ex alumnos de su laboratorio se incluyen Ulrike von Luxburg , Carl Rasmussen, Matthias Hein, Arthur Gretton, Gunnar Rätsch, Matthias Bethge, Stefanie Jegelka, Jason Weston, Olivier Bousquet, Olivier Chapelle, Joaquin Quinonero-Candela y Sebastian Nowozin. [42]

Desde finales de 2023, Schölkopf también es asesor científico del grupo de investigación francés Kyutai, que está financiado por Xavier Niel , Rodolphe Saadé , Eric Schmidt y otros. [43]

Premios

Entre los premios que ha recibido Schölkopf se encuentran el premio Milner de la Royal Society y, compartido con Isabelle Guyon y Vladimir Vapnik, el premio Fundación BBVA Fronteras del Conocimiento en la categoría de Tecnologías de la Información y la Comunicación. Fue el primer científico que trabajaba en Europa en recibir este galardón. [44]

Referencias

  1. ^ "Premio a la causalidad en la enseñanza de la estadística". www.amstat.org .
  2. ^ Decoste, Dennis; Schölkopf, Bernhard (1 de enero de 2002). "Entrenamiento de máquinas de vectores de soporte invariantes". Aprendizaje automático . 46 (1): 161–190. doi :10.1023/A:1012454411458. hdl : 11858/00-001M-0000-0013-E06A-A . S2CID  85843 – vía Springer Link.
  3. ^ ab Schölkopf, Bernhard (1997). Admite el aprendizaje de vectores . GMD-Berichte. Múnich Viena: Oldenburg. ISBN 978-3-486-24632-2.
  4. ^ ab Schölkopf, Bernhard; Smola, Alejandro; Müller, Klaus-Robert (1 de julio de 1998). "Análisis de componentes no lineales como un problema de valores propios del núcleo". Computación neuronal . 10 (5): 1299-1319. doi :10.1162/089976698300017467. ISSN  0899-7667. S2CID  6674407.
  5. ^ Burges, Christopher JC (1 de junio de 1998). "Un tutorial sobre máquinas de vectores de soporte para el reconocimiento de patrones". Minería de datos y descubrimiento de conocimiento . 2 (2): 121–167. doi :10.1023/A:1009715923555. S2CID  221627509 – vía Springer Link.
  6. ^ Schölkopf, P. Simard, AJ Smola y V. Vapnik. Conocimientos previos en núcleos de vectores de soporte. En M. Jordan, M. Kearns y S. Solla , editores, Advances in Neural Information Processing Systems 10, páginas 640–646, Cambridge, MA, EE. UU., 1998d. MIT Press
  7. ^ Chapelle y B. Schölkopf. Incorporación de invariancias en SVM no lineales. En TG Dietterich, S. Becker y Z. Ghahramani, editores, Advances in Neural Information Processing Systems 14, páginas 609–616, Cambridge, MA, EE. UU., 2002. MIT Press
  8. ^ B. Schölkopf, AJ Smola, RC Williamson y PL Bartlett. Nuevos algoritmos de vectores de soporte. Neural Computation, 12(5):1207–1245, 2000a
  9. ^ B. Schölkopf, JC Platt, J. Shawe-Taylor, AJ Smola y RC Williamson. Estimación del soporte de una distribución de alta dimensión. Neural Computation, 13(7):1443–1471, 2001b
  10. ^ A. Gretton, K. Borgwardt, M. Rasch, B. Schölkopf y A. Smola. Un método de núcleo para el problema de dos muestras. Advances in Neural Information Processing Systems 19: 513-520, 2007
  11. ^ AJ Smola y A. Gretton y L. Song y B. Schölkopf. Una incrustación de espacios de Hilbert para distribuciones. Teoría del aprendizaje algorítmico: 18.ª conferencia internacional: 13-31 de 2007
  12. ^ B. Sriperumbudur, A. Gretton, K. Fukumizu, B. Schölkopf y G. Lanckriet. Integraciones y métricas del espacio de Hilbert sobre medidas de probabilidad. Journal of Machine Learning Research, 11: 1517—1561, 2010
  13. ^ A. Gretton, K. Borgwardt, M. Rasch, B. Schölkopf y AJ Smola. Una prueba de dos muestras de kernel. Journal of Machine Learning Research, 13: 723—773, 2012
  14. ^ S. Harmeling, M. Hirsch y B. Schölkopf. Sobre un vínculo entre los mapas de media de núcleo y la difracción de Fraunhofer, con una aplicación a la superresolución más allá del límite de difracción. En Computer Vision and Pattern Recognition (CVPR), páginas 1083–1090. IEEE, 2013
  15. ^ A. Gretton, R. Herbrich, AJ Smola, O. Bousquet y B. Schölkopf. Métodos de kernel para medir la independencia. Journal of Machine Learning Research, 6:2075–2129, 2005a
  16. ^ A. Gretton, O. Bousquet, AJ Smola y B. Schölkopf. Medición de la dependencia estadística con normas de Hilbert-Schmidt. Teoría del aprendizaje algorítmico: 16.ª conferencia internacional, 2005b
  17. ^ A. Gretton, K. Fukumizu, CH Teo, L. Song, B. Schölkopf y AJ Smola. Una prueba estadística de independencia de núcleo. Avances en sistemas de procesamiento de información neuronal 20, 2007
  18. ^ ab B. Schölkopf, D. Janzing, J. Peters, E. Sgouritsa, K. Zhang y J. Mooij. Sobre el aprendizaje causal y anticausal. En J. Langford y J. Pineau, editores, Actas de la 29.ª Conferencia Internacional sobre Aprendizaje Automático (ICML), páginas 1255-1262, Nueva York, NY, EE. UU., 2012. Omnipress
  19. ^ PO Hoyer, D. Janzing, JM Mooij, J. Peters y B. Schölkopf. Descubrimiento causal no lineal con modelos de ruido aditivo. En D. Koller, D. Schuurmans, Y. Bengio y L. Bottou, editores, Advances in Neural Information Processing Systems 21, páginas 689–696, Red Hook, NY, EE. UU., 2009. Curran
  20. ^ D. Janzing, P. Hoyer y B. Schölkopf. Cómo distinguir la causa del efecto a partir de observaciones de alta dimensión. En J. Fu ̈rnkranz y T. Joachims, editores, Proceedings of the 27th International Conference on Machine Learning, páginas 479–486, Madison, WI, EE. UU., 2010. International Machine Learning Society
  21. ^ JM Mooij, J. Peters, D. Janzing, J. Zscheischler y B. Schölkopf. Distinguir causa de efecto utilizando datos observacionales: métodos y puntos de referencia. Journal of Machine Learning Research, 17(32):1–102, 2016
  22. ^ J. Peters, JM. Mooij, D. Janzing y B. Schölkopf. Descubrimiento causal con modelos de ruido aditivo continuo. Journal of Machine Learning Research, 15:2009–2053, 2014
  23. ^ P. Daniusis, D. Janzing, J. Mooij, J. Zscheischler, B. Steudel, K. Zhang y B. Schölkopf. Inferring deterministic causal relationships. En P. Grünwald y P. Spirtes, editores, 26th Conference on Uncertainty in Artificial Intelligence, páginas 143–150, Corvallis, OR, 2010. AUAI Press. Premio al mejor artículo de estudiante
  24. ^ Janzing, Dominik; Schölkopf, Bernhard (6 de octubre de 2010). "Inferencia causal utilizando la condición algorítmica de Markov". IEEE Transactions on Information Theory . 56 (10): 5168–5194. arXiv : 0804.3678 . doi :10.1109/TIT.2010.2060095. S2CID  11867432 – vía IEEE Xplore.
  25. ^ Schölkopf, Bernhard; Janzing, Dominik; Peters, Jonas; Sgouritsa, Eleni; Zhang, Kun (27 de junio de 2012). "Sobre el aprendizaje causal y anticausal" (PDF) . Conferencia internacional sobre aprendizaje automático .
  26. ^ "De los núcleos a la inferencia causal". videolectures.net .
  27. ^ "Aprendizaje causal --- Bernhard Schölkopf". 15 de octubre de 2017 – vía Vimeo.
  28. ^ K. Zhang, B. Schölkopf, K. Muandet y Z. Wang. Adaptación de dominios bajo desplazamientos condicionales y de destino. En S. Dasgupta y D. McAllester, editores, Actas de la 30.ª Conferencia Internacional sobre Aprendizaje Automático, volumen 28 de las Actas de talleres y conferencias de JMLR, páginas 819-827, 2013
  29. ^ Schölkopf, Bernhard (6 de febrero de 2015). "Aprender a ver y actuar". Nature . 518 (7540): 486–487. doi :10.1038/518486a. PMID  25719660. S2CID  4461791 – vía www.nature.com.
  30. ^ Schölkopf, Bernhard; Hogg, David W.; Wang, Dun; Foreman-Mackey, Daniel; Janzing, Dominik; Simon-Gabriel, Carl-Johann; Peters, Jonas (5 de julio de 2016). "Modelado de la confusión mediante regresión de medio hermanos". Actas de la Academia Nacional de Ciencias . 113 (27): 7391–7398. Bibcode :2016PNAS..113.7391S. doi : 10.1073/pnas.1511656113 . PMC 4941423 . PMID  27382154. 
  31. ^ D. Foreman-Mackey, BT Montet, DW Hogg, TD Morton, D. Wang y B. Schölkopf. Una búsqueda sistemática de planetas en tránsito en los datos de K2. The Astrophysical Journal, 806(2), 2015
  32. ^ "Curriculum Vitae Prof. Dr. Bernhard Schölkopf" (PDF) . Leopoldina (en alemán).
  33. ^ "TU Berlín - Medieninformation Nr. 209 - 17 de septiembre de 1998". archiv.pressestelle.tu-berlin.de .
  34. ^ "Historia del Instituto". www.kyb.tuebingen.mpg.de .
  35. ^ "Recetas para la medicina del mañana" (PDF) . Revista científica de la Sociedad Max Planck . 2011.
  36. ^ "Escuelas de verano sobre aprendizaje automático – MLSS". mlss.cc .
  37. ^ "Grupo de aprendizaje automático de Cambridge". Grupo de aprendizaje automático de Cambridge .
  38. ^ Williams, Jonathan. "Centro Max Planck ETH para sistemas de aprendizaje". cls-staging.is.localnet .
  39. ^ "Servicio". Baden-Württemberg.de . 15 de diciembre de 2016.
  40. ^ "Diseño éticamente alineado" (PDF) . IEEE . 13 de diciembre de 2016.
  41. ^ "Los mejores científicos informáticos del mundo: ranking de ciencias de la computación según el índice H". www.guide2research.com .
  42. ^ "Antiguos alumnos". people.tuebingen.mpg.de .
  43. ^ Dillet, Romain (17 de noviembre de 2023). "Kyutai es un laboratorio de investigación de inteligencia artificial francés con un presupuesto de 330 millones de dólares que hará que todo sea de código abierto". TechCrunch . Consultado el 16 de junio de 2024 .
  44. ^ Williams, Jon. «Bernhard Schölkopf recibe el premio Fronteras del Conocimiento | Inferencia empírica». Instituto Max Planck de Sistemas Inteligentes .

Enlaces externos

Scholia tiene un perfil de autor para Bernhard Schölkopf .