stringtranslate.com

Sepp Hochreiter

Josef "Sepp" Hochreiter (nacido el 14 de febrero de 1967) es un informático alemán . Desde 2018 dirige el Instituto de Aprendizaje Automático de la Universidad Johannes Kepler de Linz, después de haber dirigido el Instituto de Bioinformática de 2006 a 2018. En 2017 se convirtió en director del Laboratorio de IA del Instituto Tecnológico de Linz (LIT). Hochreiter también es director fundador del Instituto de Investigación Avanzada en Inteligencia Artificial (IARAI). [1] Anteriormente, estuvo en la Universidad Técnica de Berlín , en la Universidad de Colorado Boulder y en la Universidad Técnica de Munich . Es presidente de la conferencia Evaluación Crítica del Análisis Masivo de Datos (CAMDA). [2]

Hochreiter ha hecho contribuciones en los campos del aprendizaje automático , el aprendizaje profundo y la bioinformática , en particular el desarrollo de la arquitectura de red neuronal de memoria a corto plazo (LSTM), [3] [4] pero también en metaaprendizaje , [5] aprendizaje por refuerzo [6] [7] y biclustering con aplicación a datos bioinformáticos .

carrera científica

Memoria larga a corto plazo (LSTM)

Hochreiter desarrolló la arquitectura de red neuronal de memoria a corto plazo (LSTM) en su tesis de diploma en 1991, que condujo a la publicación principal en 1997. [3] [4] LSTM supera el problema de la inestabilidad numérica en el entrenamiento de redes neuronales recurrentes (RNN) que les impide aprender de secuencias largas ( gradiente que desaparece o explota ). [3] [8] [9] En 2007, Hochreiter y otros aplicaron con éxito LSTM con una arquitectura optimizada para una detección muy rápida de homología de proteínas sin requerir una alineación de secuencia . [10] Las redes LSTM también se han utilizado en Google Voice para transcripción [11] y búsqueda, [12] y en la aplicación de chat Google Allo para generar sugerencias de respuesta con baja latencia. [13]

Otras contribuciones al aprendizaje automático

Más allá de LSTM, Hochreiter ha desarrollado una "búsqueda mínima plana" para aumentar la generalización de las redes neuronales [14] e introdujo redes de factores rectificados (RFN) para codificación dispersa [15] [16] que se han aplicado en bioinformática y genética. [17] Hochreiter introdujo las redes Hopfield modernas con estados continuos [18] y las aplicó a la tarea de clasificación del repertorio inmunológico. [19]

Hochreiter trabajó con Jürgen Schmidhuber en el campo del aprendizaje por refuerzo en sistemas actor-crítico que aprenden mediante "propagación hacia atrás a través de un modelo". [6] [20]

Hochreiter ha estado involucrado en el desarrollo de métodos de análisis factorial con aplicación a la bioinformática, incluido FABIA para biclustering , [21] HapFABIA para detectar segmentos cortos de identidad por descendencia [22] y FARMS para preprocesar y resumir microarrays de ADN de oligonucleótidos de alta densidad para analizar Expresión de genes de ARN . [23]

En 2006, Hochreiter y otros propusieron una extensión de la máquina de vectores de soporte (SVM), la "Máquina de vectores de soporte potencial" (PSVM), [24] que se puede aplicar a matrices de núcleos no cuadrados y se puede utilizar con núcleos que son no positivo definido. Hochreiter y sus colaboradores han aplicado PSVM para seleccionar funciones , incluida la selección de genes para datos de microarrays. [25] [26] [27]

Premios

Hochreiter recibió el premio IEEE CIS Neural Networks Pioneer en 2021 por su trabajo en LSTM. [28]

Referencias

  1. ^ "IARAI - INSTITUTO DE INVESTIGACIÓN AVANZADA EN INTELIGENCIA ARTIFICIAL". www.iarai.ac.at . Consultado el 13 de febrero de 2021 .
  2. ^ "CAMDA 2021". XX Congreso Internacional sobre Evaluación Crítica del Análisis de Datos Masivos . Consultado el 13 de febrero de 2021 .
  3. ^ abc Hochreiter, S. (1991). Untersuchungen zu dynamischen neuronalen Netzen (PDF) (tesis de diploma). Universidad Técnica de Munich, Instituto de Ciencias de la Computación.
  4. ^ ab Hochreiter, S.; Schmidhuber, J. (1997). "Memoria a largo plazo". Computación neuronal . 9 (8): 1735–1780. doi :10.1162/neco.1997.9.8.1735. PMID  9377276. S2CID  1915014.
  5. ^ Hochreiter, S.; Más joven, AS; Conwell, PR (2001). "Aprender a aprender utilizando el descenso de gradientes". Redes neuronales artificiales: ICANN 2001 (PDF) . Apuntes de conferencias sobre informática. vol. 2130, págs. 87–94. CiteSeerX 10.1.1.5.323 . doi :10.1007/3-540-44668-0_13. ISBN  978-3-540-42486-4. ISSN  0302-9743. S2CID  52872549.
  6. ^ ab Hochreiter, S. (1991). Implementierung und Anwendung eines neuronalen Echtzeit-Lernalgorithmus für reaktive Umgebungen (PDF) (Reporte). Universidad Técnica de Munich, Instituto de Ciencias de la Computación.
  7. ^ Arjona-Medina, JA; Gillhofer, M.; Widrich, M.; Unterthiner, T.; Hochreiter, S. (2018). "TIMÓN: Descomposición de retorno para recompensas retrasadas". arXiv : 1806.07857 [cs.LG].
  8. ^ Hochreiter, S. (1998). "El problema del gradiente desaparecido durante el aprendizaje de redes neuronales recurrentes y soluciones a problemas". Revista internacional de incertidumbre, confusión y sistemas basados ​​en el conocimiento . 06 (2): 107–116. doi :10.1142/S0218488598000094. ISSN  0218-4885. S2CID  18452318.
  9. ^ Hochreiter, S.; Bengio, Y.; Frasconi, P.; Schmidhuber, J. (2000). Kolen, JF; Kremer, Carolina del Sur (eds.). "Flujo gradiente en redes recurrentes: la dificultad de aprender dependencias a largo plazo" . Una guía de campo para redes dinámicas recurrentes. Ciudad de Nueva York: IEEE Press. págs. 237–244. CiteSeerX 10.1.1.24.7321 . 
  10. ^ Hochreiter, S.; Heusel, M.; Obermayer, K. (2007). "Detección rápida de homología de proteínas basada en modelos sin alineación". Bioinformática . 23 (14): 1728-1736. doi : 10.1093/bioinformática/btm247 . PMID  17488755.
  11. ^ "Las redes neuronales detrás de la transcripción de Google Voice". 11 de agosto de 2015.
  12. ^ "Búsqueda por voz de Google: más rápida y precisa". 24 de septiembre de 2015.
  13. ^ Khaitan, Pranav (18 de mayo de 2016). "Chatea de forma más inteligente con Allo". Blog de IA de Google . Consultado el 20 de octubre de 2021 .
  14. ^ Hochreiter, S.; Schmidhuber, J. (1997). "Mínimo plano". Computación neuronal . 9 (1): 1–42. doi :10.1162/neco.1997.9.1.1. PMID  9117894. S2CID  733161.
  15. ^ Inteligente, D.-A.; Mayr, A.; Unterthiner, T.; Hochreiter, S. (2015). "Redes de factores rectificados". arXiv : 1502.06464v2 [cs.LG].
  16. ^ Inteligente, D.-A.; Mayr, A.; Unterthiner, T.; Hochreiter, S. (2015). Redes de Factores Rectificados . Avances en sistemas de procesamiento de información neuronal 29. arXiv : 1502.06464 .
  17. ^ Inteligente, D.-A.; Unterthiner, T.; Povysil, G.; Hochreiter, S. (2017). "Redes de factores rectificados para biclustering de datos ómicos". Bioinformática . 33 (14): i59-i66. doi : 10.1093/bioinformática/btx226. PMC 5870657 . PMID  28881961. 
  18. ^ Ramsauer, H.; Schäfl, B.; Lehner, J.; Seidl, P.; Widrich, M.; Gruber, L.; Holzleitner, M.; Pavlović, M.; Sandve, GK; Greiff, V.; Kreil, D.; Kopp, M.; Klambauer, G.; Brandstetter, J.; Hochreiter, S. (2020). "Hopfield Networks es todo lo que necesita". arXiv : 2008.02217 [cs.NE].
  19. ^ Widrich, M.; Schäfl, B.; Ramsauer, H.; Pavlović, M.; Gruber, L.; Holzleitner, M.; Brandstetter, J.; Sandve, GK; Greiff, V.; Hochreiter, S.; Klambauer, G. (2020). "Redes modernas de Hopfield y atención a la clasificación del repertorio inmunológico". arXiv : 2007.13505 [cs.LG].
  20. ^ Schmidhuber, J. (1990). Hacer que el mundo sea diferenciable: sobre el uso de redes neuronales autosupervisadas totalmente recurrentes para el aprendizaje y la planificación por refuerzo dinámico en entornos no estacionarios (PDF) (Reporte técnico). Universidad Técnica de Munich, Instituto de Ciencias de la Computación. FKI-126-90 (revisado).
  21. ^ Hochreiter, Sepp; Bodenhofer, Ulrich; Heusel, Martín; Mayr, Andrés; Mitterecker, Andreas; Kasim, Adetayo; Khamiakova, Tatsiana; Van Sanden, Suzy; Lin, Dan; Talloen, Willem; Bijnens, Luc; Göhlmann, Hinrich WH; Shkedy, Ziv; Inteligente, Djork-Arné (15 de junio de 2010). "FABIA: análisis factorial para adquisición de bicluster". Bioinformática . 26 (12): 1520-1527. doi : 10.1093/bioinformática/btq227. PMC 2881408 . PMID  20418340. 
  22. ^ Hochreiter, S. (2013). "HapFABIA: Identificación de segmentos muy cortos de identidad por descendencia caracterizados por variantes raras en grandes datos de secuenciación". Investigación de ácidos nucleicos . 41 (22): e202. doi : 10.1093/nar/gkt1013. PMC 3905877 . PMID  24174545. 
  23. ^ Hochreiter, S.; Inteligente, D.-A.; Obermayer, K. (2006). "Un nuevo método de resumen para datos a nivel de sonda affymetrix". Bioinformática . 22 (8): 943–949. doi : 10.1093/bioinformática/btl033 . PMID  16473874.
  24. ^ Hochreiter, S.; Obermayer, K. (2006). "Máquinas de vectores de soporte para datos diádicos". Computación neuronal . 18 (6): 1472-1510. CiteSeerX 10.1.1.228.5244 . doi :10.1162/neco.2006.18.6.1472. PMID  16764511. S2CID  26201227. 
  25. ^ Hochreiter, S.; Obermayer, K. (2006). "Selección de características no lineales con la máquina de vectores de soporte potencial" . Extracción de características, estudios en borrosidad y computación blanda. págs. 419–438. doi :10.1007/978-3-540-35488-8_20. ISBN 978-3-540-35487-1.
  26. ^ Hochreiter, S.; Obermayer, K. (2003). "Clasificación y selección de características en datos matriciales con aplicación al análisis de expresión genética". 54º período de sesiones del Instituto Internacional de Estadística . Archivado desde el original el 25 de marzo de 2012.
  27. ^ Hochreiter, S.; Obermayer, K. (2004). "Selección de genes para datos de microarrays". Métodos del kernel en biología computacional . Prensa del MIT: 319–355. doi : 10.7551/mitpress/4057.003.0020. ISBN 978-0-262-25692-6. Archivado desde el original el 25 de marzo de 2012.
  28. ^ "Sepp Hochreiter recibe el premio al pionero de redes neuronales IEEE CIS 2021 - IARAI". www.iarai.ac.at . 24 de julio de 2020 . Consultado el 3 de junio de 2021 .

enlaces externos