stringtranslate.com

Máquina de Turing neuronal

Una máquina de Turing neuronal ( NTM ) es un modelo de red neuronal recurrente de una máquina de Turing . El enfoque fue publicado por Alex Graves et al. en 2014. [1] Las NTM combinan las capacidades de coincidencia de patrones difusos de las redes neuronales con el poder algorítmico de las computadoras programables .

Una NTM tiene un controlador de red neuronal acoplado a recursos de memoria externos , con los que interactúa a través de mecanismos de atención. Las interacciones de memoria son diferenciables de extremo a extremo, lo que hace posible optimizarlas mediante el descenso de gradiente . [2] Una NTM con un controlador de red de memoria a corto plazo (LSTM) puede inferir algoritmos simples como copiar, ordenar y recordar asociativamente solo a partir de ejemplos. [1]

Los autores del artículo original de NTM no publicaron su código fuente . [1] La primera implementación estable de código abierto se publicó en 2018 en la 27.ª Conferencia Internacional sobre Redes Neuronales Artificiales, recibiendo un premio al mejor artículo. [3] [4] [5] Existen otras implementaciones de código abierto de NTM, pero a partir de 2018 no son lo suficientemente estables para su uso en producción. [6] [7] [8] [9] [10] [11] [12] Los desarrolladores informan que los gradientes de su implementación a veces se vuelven NaN durante el entrenamiento por razones desconocidas y hacen que el entrenamiento falle; [10] [11] [9] informan de una convergencia lenta; [7] [6] o no informan de la velocidad de aprendizaje de su implementación. [12] [8]

Las computadoras neuronales diferenciables son una consecuencia de las máquinas de Turing neuronales, con mecanismos de atención que controlan dónde está activa la memoria y mejoran el rendimiento. [13]

Referencias

  1. ^ abc Graves, Alex; Wayne, Greg; Danihelka, Ivo (2014). "Máquinas de Turing neuronales". arXiv : 1410.5401 [cs.NE].
  2. ^ "Deep Minds: Entrevista con Alex Graves y Koray Kavukcuoglu de Google" . Consultado el 17 de mayo de 2016 .
  3. ^ Collier, Mark; Beel, Joeran (2018), "Implementación de máquinas de Turing neuronales", Redes neuronales artificiales y aprendizaje automático – ICANN 2018 , Springer International Publishing, págs. 94-104, arXiv : 1807.08518 , Bibcode :2018arXiv180708518C, doi :10.1007/978-3-030-01424-7_10, ISBN 9783030014230, Número de identificación del sujeto  49908746
  4. ^ "MarkPKCollier/NeuralTuringMachine". GitHub . Consultado el 20 de octubre de 2018 .
  5. ^ Beel, Joeran (20 de octubre de 2018). "Premio al mejor artículo por nuestra publicación "Implementación de máquinas de Turing neuronales" en la 27.ª Conferencia internacional sobre redes neuronales artificiales | Prof. Joeran Beel (TCD Dublin)". Blog de la Facultad de Ciencias de la Computación y Estadística del Trinity College de Dublín . Consultado el 20 de octubre de 2018 .
  6. ^ ab "snowkylin/ntm". GitHub . Consultado el 20 de octubre de 2018 .
  7. ^ ab "chiggum/Neural-Turing-Machines". GitHub . Consultado el 20 de octubre de 2018 .
  8. ^ ab "yeoedward/Neural-Turing-Machine". GitHub . 13 de septiembre de 2017 . Consultado el 20 de octubre de 2018 .
  9. ^ ab "camigord/Neural-Turing-Machine". GitHub . Consultado el 20 de octubre de 2018 .
  10. ^ ab "carpedm20/NTM-tensorflow". GitHub . Consultado el 20 de octubre de 2018 .
  11. ^ ab "snipsco/ntm-lasagne". GitHub . Consultado el 20 de octubre de 2018 .
  12. ^ ab "loudinthecloud/pytorch-ntm". GitHub . Consultado el 20 de octubre de 2018 .
  13. ^ Administrador. "La red neuronal diferenciable de DeepMind piensa profundamente". www.i-programmer.info . Consultado el 20 de octubre de 2016 .