Aprendizaje profundo

Rama del aprendizaje automático

Representar imágenes en múltiples capas de abstracción en aprendizaje profundo ^[1]

El aprendizaje profundo es el subconjunto de métodos de aprendizaje automático basados ​​en redes neuronales artificiales (RNA) con aprendizaje de representación . El adjetivo "profundo" se refiere al uso de múltiples capas en la red. Los métodos utilizados pueden ser supervisados , semisupervisados ​​o no supervisados . ^[2]

Las arquitecturas de aprendizaje profundo, como las redes neuronales profundas, las redes de creencias profundas , las redes neuronales recurrentes , las redes neuronales convolucionales y los transformadores , se han aplicado a campos que incluyen la visión por computadora , el reconocimiento de voz , el procesamiento del lenguaje natural , la traducción automática , la bioinformática , el diseño de fármacos y el análisis de imágenes médicas . , ciencia climática , inspección de materiales y programas de juegos de mesa , donde han producido resultados comparables y en algunos casos superando el desempeño humano experto. ^{[3] [4] [5]}

Las redes neuronales artificiales se inspiraron en el procesamiento de información y los nodos de comunicación distribuidos en los sistemas biológicos . Las RNA tienen varias diferencias con los cerebros biológicos. En concreto, las redes neuronales artificiales tienden a ser estáticas y simbólicas, mientras que el cerebro biológico de la mayoría de los organismos vivos es dinámico (plástico) y analógico. ^{[6] [7]} Las RNA generalmente se consideran modelos de baja calidad para la función cerebral. ^[8]

Definición

El aprendizaje profundo es una clase de algoritmos de aprendizaje automático que ^{[9] : 199–200} utiliza múltiples capas para extraer progresivamente características de nivel superior a partir de la entrada sin procesar. Por ejemplo, en el procesamiento de imágenes , las capas inferiores pueden identificar bordes, mientras que las capas superiores pueden identificar conceptos relevantes para un ser humano, como dígitos, letras o rostros.

Desde otro ángulo de visión del aprendizaje profundo, el aprendizaje profundo se refiere a "simular por computadora" o "automatizar" procesos de aprendizaje humano desde una fuente (por ejemplo, una imagen de perros) hasta un objeto aprendido (perros). Por tanto, tiene sentido una noción acuñada como aprendizaje “más profundo” o aprendizaje “más profundo” ^{[10] .} El aprendizaje más profundo se refiere al aprendizaje totalmente automático desde una fuente hasta un objeto aprendido final. Por tanto, un aprendizaje más profundo se refiere a un proceso de aprendizaje mixto: un proceso de aprendizaje humano desde una fuente hasta un semiobjeto aprendido, seguido de un proceso de aprendizaje por computadora desde el semiobjeto aprendido humano hasta un objeto aprendido final.

Descripción general

La mayoría de los modelos modernos de aprendizaje profundo se basan en redes neuronales artificiales de múltiples capas, como redes neuronales convolucionales y transformadores , aunque también pueden incluir fórmulas proposicionales o variables latentes organizadas por capas en modelos generativos profundos , como los nodos en redes de creencias profundas y redes neuronales profundas . Máquinas Boltzmann . ^[11]

En el aprendizaje profundo, cada nivel aprende a transformar sus datos de entrada en una representación ligeramente más abstracta y compuesta. En una aplicación de reconocimiento de imágenes, la entrada sin procesar puede ser una matriz de píxeles; la primera capa de representación puede abstraer los píxeles y codificar bordes; la segunda capa puede componer y codificar disposiciones de bordes; la tercera capa puede codificar una nariz y ojos; y la cuarta capa puede reconocer que la imagen contiene una cara. Es importante destacar que un proceso de aprendizaje profundo puede aprender por sí solo qué características ubicar de manera óptima en qué nivel . Esto no elimina la necesidad de realizar ajustes manualmente; por ejemplo, distintos números de capas y tamaños de capa pueden proporcionar diferentes grados de abstracción. ^{[12] [13]}

La palabra "profundo" en "aprendizaje profundo" se refiere a la cantidad de capas a través de las cuales se transforman los datos. Más precisamente, los sistemas de aprendizaje profundo tienen una profundidad sustancial en la ruta de asignación de créditos (CAP). La PAC es la cadena de transformaciones del insumo al producto. Los CAP describen conexiones potencialmente causales entre insumos y resultados. Para una red neuronal feedforward , la profundidad de los CAP es la de la red y es el número de capas ocultas más una (ya que la capa de salida también está parametrizada). Para las redes neuronales recurrentes , en las que una señal puede propagarse a través de una capa más de una vez, la profundidad del CAP es potencialmente ilimitada. ^[14] Ningún umbral de profundidad universalmente acordado divide el aprendizaje superficial del aprendizaje profundo, pero la mayoría de los investigadores están de acuerdo en que el aprendizaje profundo implica una profundidad de CAP superior a 2. Se ha demostrado que un CAP de profundidad 2 es un aproximador universal en el sentido de que puede emular cualquier función. ^[15] Más allá de eso, más capas no se suman a la capacidad de aproximación de funciones de la red. Los modelos profundos (CAP > 2) pueden extraer mejores características que los modelos superficiales y, por lo tanto, las capas adicionales ayudan a aprender las características de manera efectiva.

Las arquitecturas de aprendizaje profundo se pueden construir con un método codicioso capa por capa. ^[16] El aprendizaje profundo ayuda a desenredar estas abstracciones y seleccionar qué características mejoran el rendimiento. ^[12]

Para las tareas de aprendizaje supervisado , los métodos de aprendizaje profundo permiten la eliminación de la ingeniería de características , al traducir los datos en representaciones intermedias compactas similares a los componentes principales , y derivar estructuras en capas que eliminan la redundancia en la representación.

Los algoritmos de aprendizaje profundo se pueden aplicar a tareas de aprendizaje no supervisadas. Este es un beneficio importante porque los datos sin etiquetar son más abundantes que los datos etiquetados. Ejemplos de estructuras profundas que pueden entrenarse sin supervisión son las redes de creencias profundas . ^{[12] [17]}

Los modelos de aprendizaje automático ahora son expertos en identificar patrones complejos en los datos del mercado financiero. Debido a los beneficios de la inteligencia artificial, los inversores utilizan cada vez más técnicas de aprendizaje profundo para pronosticar y analizar tendencias en los mercados de valores y de divisas. ^[18]

Interpretaciones

Las redes neuronales profundas generalmente se interpretan en términos del teorema de aproximación universal ^{[19] [20] [21] [22] [23]} o inferencia probabilística . ^{[24] [9] [12] [14] [25]}

El clásico teorema de aproximación universal se refiere a la capacidad de las redes neuronales feedforward con una única capa oculta de tamaño finito para aproximar funciones continuas . ^{[19] [20] [21] [22] En 1989,} George Cybenko publicó la primera prueba de las funciones de activación sigmoidea ^[19] y Kurt Hornik la generalizó para alimentar arquitecturas multicapa en 1991. ^[20] Un trabajo reciente también demostró que la aproximación universal también es válida para funciones de activación no acotadas, como la unidad lineal rectificada de Kunihiko Fukushima . ^{[26] [27]}

El teorema de aproximación universal para redes neuronales profundas se refiere a la capacidad de las redes con un ancho limitado pero se permite que la profundidad crezca. Lu y col. ^[23] demostraron que si el ancho de una red neuronal profunda con activación ReLU es estrictamente mayor que la dimensión de entrada, entonces la red puede aproximarse a cualquier función integrable de Lebesgue ; si el ancho es menor o igual a la dimensión de entrada, entonces una red neuronal profunda no es un aproximador universal.

La interpretación probabilística ^[25] deriva del campo del aprendizaje automático . Presenta inferencia, ^{[9] [11] [12] [14] [17] [25]} así como los conceptos de optimización de entrenamiento y prueba , relacionados con el ajuste y la generalización , respectivamente. Más específicamente, la interpretación probabilística considera la no linealidad de activación como una función de distribución acumulativa . ^[25] La interpretación probabilística condujo a la introducción del abandono como regularizador en las redes neuronales. La interpretación probabilística fue introducida por investigadores como Hopfield , Widrow y Narendra y popularizada en encuestas como la de Bishop . ^[28]

Historia

Hay dos tipos de redes neuronales artificiales (ANN): redes neuronales de avance (FNN) y redes neuronales recurrentes (RNN). Los RNN tienen ciclos en su estructura de conectividad, los FNN no. En la década de 1920, Wilhelm Lenz y Ernst Ising crearon y analizaron el modelo de Ising ^[29] , que es esencialmente una arquitectura RNN sin aprendizaje que consta de elementos de umbral similares a neuronas. En 1972, Shun'ichi Amari hizo que esta arquitectura fuera adaptativa. ^{[30] [31]} Su aprendizaje de RNN fue popularizado por John Hopfield en 1982. ^[32] Los RNN se han vuelto fundamentales para el reconocimiento de voz y el procesamiento del lenguaje .

Charles Tappert escribe que Frank Rosenblatt desarrolló y exploró todos los ingredientes básicos de los sistemas de aprendizaje profundo actuales, ^[33] refiriéndose al libro de Rosenblatt de 1962 ^[34] que introdujo el perceptrón multicapa (MLP) con 3 capas: una capa de entrada, una capa oculta capa con pesos aleatorios que no aprendieron, y una capa de salida. También introdujo variantes, incluida una versión con perceptrones de cuatro capas donde las dos últimas capas han aprendido pesos (y por lo tanto un perceptrón multicapa adecuado). ^{[34] : sección 16} Además, el término aprendizaje profundo fue propuesto en 1986 por Rina Dechter ^[35] aunque la historia de su aparición es aparentemente más complicada. ^[36]

El primer algoritmo general de aprendizaje funcional para perceptrones multicapa supervisados, profundos y de retroalimentación fue publicado por Alexey Ivakhnenko y Lapa en 1967. ^[37] Un artículo de 1971 describió una red profunda con ocho capas entrenadas mediante el método grupal de manejo de datos . ^[38]

El primer perceptrón multicapa de aprendizaje profundo entrenado mediante descenso de gradiente estocástico ^[39] fue publicado en 1967 por Shun'ichi Amari . ^{[40] [31]} En experimentos informáticos realizados por Saito, estudiante de Amari, un MLP de cinco capas con dos capas modificables aprendió representaciones internas para clasificar clases de patrones no linealmente separables. ^[31] En 1987, Matthew Brand informó que los perceptrones no lineales de 12 capas anchas podían entrenarse completamente de extremo a extremo para reproducir funciones lógicas de profundidad de circuito no trivial mediante descenso de gradiente en pequeños lotes de muestras aleatorias de entrada/salida, pero concluyó que el tiempo de entrenamiento en hardware contemporáneo (computadoras sub-megaflop) hizo que la técnica no fuera práctica y propuso el uso de primeras capas aleatorias fijas como hash de entrada para una única capa modificable. ^[41] En cambio, los desarrollos posteriores en hardware y ajustes de hiperparámetros han hecho del descenso de gradiente estocástico de extremo a extremo la técnica de entrenamiento actualmente dominante.

En 1970, Seppo Linnainmaa publicó el modo inverso de diferenciación automática de redes discretas conectadas de funciones diferenciables anidadas . ^{[42] [43] [44]} Esto se conoció como retropropagación . ^[14] Es una aplicación eficiente de la regla de la cadena derivada por Gottfried Wilhelm Leibniz en 1673 ^[45] a redes de nodos diferenciables. ^[31] La terminología "errores de retropropagación" fue introducida en 1962 por Rosenblatt, ^{[34] [31]} pero no sabía cómo implementarla, aunque Henry J. Kelley ya tenía un precursor continuo de la retropropagación ^[46]. en 1960 en el contexto de la teoría del control . ^[31] En 1982, Paul Werbos aplicó la retropropagación a los MLP en la forma que se ha convertido en estándar. ^{[47] [48] [31]} En 1985, David E. Rumelhart et al. publicó un análisis experimental de la técnica. ^[49]

Las arquitecturas de aprendizaje profundo para redes neuronales convolucionales (CNN) con capas convolucionales y capas de reducción de resolución comenzaron con el Neocognitron introducido por Kunihiko Fukushima en 1980. ^[50] En 1969, también introdujo la función de activación ReLU (unidad lineal rectificada) . ^{[26] [31]} El rectificador se ha convertido en la función de activación más popular para las CNN y el aprendizaje profundo en general. ^[51] Las CNN se han convertido en una herramienta esencial para la visión por computadora .

El término aprendizaje profundo fue introducido en la comunidad de aprendizaje automático por Rina Dechter en 1986 ^[35] y en las redes neuronales artificiales por Igor Aizenberg y sus colegas en 2000, en el contexto de las neuronas de umbral booleano . ^{[52] [53]}

En 1988, Wei Zhang et al. aplicó el algoritmo de retropropagación a una red neuronal convolucional (un Neocognitron simplificado con interconexiones convolucionales entre las capas de características de la imagen y la última capa completamente conectada) para el reconocimiento del alfabeto. También propusieron una implementación de la CNN con un sistema de computación óptica. ^{[54] [55]} En 1989, Yann LeCun et al. aplicó retropropagación a una CNN con el propósito de reconocer códigos postales escritos a mano en el correo. Mientras el algoritmo funcionaba, el entrenamiento requirió 3 días. ^[56] Posteriormente, Wei Zhang, et al. Modificó su modelo eliminando la última capa completamente conectada y lo aplicó para la segmentación de objetos de imágenes médicas en 1991 ^[57] y la detección de cáncer de mama en mamografías en 1994. ^[58] LeNet-5 (1998), una CNN de 7 niveles de Yann LeCun et al., ^[59] que clasifica los dígitos, fue aplicado por varios bancos para reconocer números escritos a mano en cheques digitalizados en imágenes de 32x32 píxeles.

En la década de 1980, la retropropagación no funcionó bien para el aprendizaje profundo con rutas largas de asignación de créditos. Para superar este problema, Jürgen Schmidhuber (1992) propuso una jerarquía de RNN preentrenados un nivel a la vez mediante aprendizaje autosupervisado . ^[60] Utiliza codificación predictiva para aprender representaciones internas en múltiples escalas de tiempo autoorganizadas. Esto puede facilitar sustancialmente el aprendizaje profundo posterior. La jerarquía RNN se puede colapsar en un solo RNN, destilando una red fragmentadora de nivel superior en una red automatizadora de nivel inferior . ^{[60] [31]} En 1993, un fragmentador resolvió una tarea de aprendizaje profundo cuya profundidad excedía los 1000. ^[61]

En 1992, Jürgen Schmidhuber también publicó una alternativa a los RNN ^[62] que ahora se llama Transformador lineal o Transformador con autoatención linealizada ^{[63] [64] [31]} (salvo un operador de normalización). Aprende focos de atención internos : ^[65] una red neuronal de avance lento aprende mediante descenso de gradiente a controlar los pesos rápidos de otra red neuronal a través de productos externos de patrones de activación autogenerados DESDE y HACIA (que ahora se denominan clave y valor para uno mismo) . -atención ). ^[63] Este rápido mapeo de atención de peso se aplica a un patrón de consulta.

El transformador moderno fue introducido por Ashish Vaswani et al. en su artículo de 2017 "La atención es todo lo que necesitas". ^[66] Combina esto con un operador softmax y una matriz de proyección. ^[31] Los transformadores se han convertido cada vez más en el modelo elegido para el procesamiento del lenguaje natural . ^[67] Muchos modelos modernos de lenguajes grandes, como ChatGPT , GPT-4 y BERT , lo utilizan. Los transformadores también se utilizan cada vez más en la visión por ordenador . ^[68]

En 1991, Jürgen Schmidhuber también publicó redes neuronales adversas que compiten entre sí en forma de un juego de suma cero , donde la ganancia de una red es la pérdida de la otra. ^{[69] [70] [71]} La primera red es un modelo generativo que modela una distribución de probabilidad sobre patrones de salida. La segunda red aprende mediante descenso de gradiente a predecir las reacciones del entorno a estos patrones. A esto se le llamó "curiosidad artificial". En 2014, Ian Goodfellow et al. utilizaron este principio en una red generativa adversarial (GAN) . ^[72] Aquí la reacción ambiental es 1 o 0 dependiendo de si la salida de la primera red está en un conjunto determinado. Esto se puede utilizar para crear deepfakes realistas . ^[73] StyleGAN de Nvidia (2018) ^[74] basado en Progressive GAN de Tero Karras et al. logra una excelente calidad de imagen . ^[75] Aquí el generador GAN crece de pequeña a gran escala de forma piramidal.

La tesis de diploma de Sepp Hochreiter (1991) ^[76] fue considerada "uno de los documentos más importantes en la historia del aprendizaje automático" por su supervisor Schmidhuber . ^[31] No solo probó el compresor de historia neuronal, ^[60] sino que también identificó y analizó el problema del gradiente de fuga . ^{[76] [77]} Hochreiter propuso conexiones residuales recurrentes para resolver este problema. Esto llevó al método de aprendizaje profundo llamado memoria a corto plazo (LSTM), publicado en 1997. ^[78] Las redes neuronales recurrentes LSTM pueden aprender tareas de "aprendizaje muy profundo" ^[14] con rutas largas de asignación de créditos que requieren recuerdos de eventos que Ocurrió miles de pasos de tiempo discretos antes. El "vanilla LSTM" con puerta de olvido fue presentado en 1999 por Felix Gers , Schmidhuber y Fred Cummins. ^[79] LSTM se ha convertido en la red neuronal más citada del siglo XX. ^[31] En 2015, Rupesh Kumar Srivastava, Klaus Greff y Schmidhuber utilizaron los principios de LSTM para crear la red Highway , una red neuronal feedforward con cientos de capas, mucho más profunda que las redes anteriores. ^{[80] [81]} 7 meses después, Kaiming He, Xiangyu Zhang; Shaoqing Ren y Jian Sun ganaron el concurso ImageNet 2015 con una variante de red de autopistas con puertas abiertas o sin puertas llamada Red neuronal residual . ^[82] Esta se ha convertido en la red neuronal más citada del siglo XXI. ^[31]

En 1994, André de Carvalho, junto con Mike Fairhurst y David Bisset, publicaron resultados experimentales de una red neuronal booleana multicapa, también conocida como red neuronal ingrávida, compuesta por un módulo de red neuronal de extracción de características autoorganizado de 3 capas ( SOFT) seguido de un módulo de red neuronal de clasificación multicapa (GSN), que fueron entrenados de forma independiente. Cada capa en el módulo de extracción de características extrajo características con una complejidad creciente con respecto a la capa anterior. ^[83]

En 1995, Brendan Frey demostró que era posible entrenar (durante dos días) una red que contenía seis capas completamente conectadas y varios cientos de unidades ocultas utilizando el algoritmo de vigilia-sueño , desarrollado conjuntamente con Peter Dayan y Hinton . ^[84]

Desde 1997, Sven Behnke amplió el enfoque convolucional jerárquico de retroalimentación hacia adelante en la Pirámide de Abstracción Neural ^[85] mediante conexiones laterales y hacia atrás para incorporar de manera flexible el contexto en las decisiones y resolver iterativamente ambigüedades locales.

Los modelos más simples que utilizan características hechas a mano para tareas específicas, como filtros Gabor y máquinas de vectores de soporte (SVM), fueron una opción popular en las décadas de 1990 y 2000, debido al costo computacional de las redes neuronales artificiales y a la falta de comprensión de cómo el cerebro conecta sus funciones biológicas. redes.

Durante muchos años se ha explorado tanto el aprendizaje superficial como el profundo (p. ej., redes recurrentes) de RNA para el reconocimiento de voz . ^{[86] [87] [88] Estos métodos nunca superaron la tecnología} del modelo de mezcla gaussiana / modelo oculto de Markov (GMM-HMM) de elaboración interna no uniforme basada en modelos generativos de habla entrenados discriminativamente. ^[89] Se han analizado las dificultades clave, incluida la disminución del gradiente ^[76] y la estructura de correlación temporal débil en los modelos predictivos neuronales. ^{[90] [91]} Las dificultades adicionales fueron la falta de datos de entrenamiento y la potencia informática limitada. La mayoría de los investigadores en reconocimiento de voz se alejaron de las redes neuronales para dedicarse al modelado generativo. Una excepción fue la de SRI International a finales de los años 1990. Financiado por la NSA y DARPA del gobierno de EE. UU ., el SRI estudió redes neuronales profundas (DNN) en el reconocimiento del habla y del hablante . El equipo de reconocimiento de oradores dirigido por Larry Heck informó de un éxito significativo con redes neuronales profundas en el procesamiento del habla en la evaluación de reconocimiento de oradores del Instituto Nacional de Estándares y Tecnología de 1998 . ^[92] La red neuronal profunda SRI se implementó luego en Nuance Verifier, lo que representa la primera aplicación industrial importante de aprendizaje profundo. ^[93] El principio de elevar las características "en bruto" sobre la optimización artesanal se exploró con éxito por primera vez en la arquitectura del codificador automático profundo en el espectrograma "en bruto" o en las características del banco de filtros lineales a finales de la década de 1990, ^[93] mostrando su superioridad sobre las características de Mel-Cepstral que contienen etapas de transformación fija a partir de espectrogramas. Las características brutas del habla, las formas de onda , produjeron posteriormente excelentes resultados a gran escala. ^[94]

LSTM se hizo cargo del reconocimiento de voz . En 2003, LSTM comenzó a competir con los reconocedores de voz tradicionales en determinadas tareas. ^[95] En 2006, Alex Graves , Santiago Fernández, Faustino Gómez y Schmidhuber lo combinaron con la clasificación temporal conexionista (CTC) ^[96] en pilas de RNN de LSTM. ^[97] En 2015, el reconocimiento de voz de Google supuestamente experimentó un aumento dramático en el rendimiento del 49% a través de LSTM entrenado por CTC, que pusieron a disposición a través de Google Voice Search . ^[98]

El impacto del aprendizaje profundo en la industria comenzó a principios de la década de 2000, cuando las CNN ya procesaban aproximadamente entre el 10% y el 20% de todos los cheques emitidos en Estados Unidos, según Yann LeCun. ^[99] Las aplicaciones industriales del aprendizaje profundo al reconocimiento de voz a gran escala comenzaron alrededor de 2010.

En 2006, las publicaciones de Geoff Hinton , Ruslan Salakhutdinov , Osindero y Teh ^{[100] [101] [102] mostraron cómo una} red neuronal de alimentación directa de muchas capas podría entrenarse previamente de manera efectiva una capa a la vez, tratando cada capa por turno como una máquina Boltzmann restringida no supervisada y luego ajustándola mediante retropropagación supervisada. ^[103] Los artículos se referían al aprendizaje para redes de creencias profundas.

El taller NIPS de 2009 sobre aprendizaje profundo para el reconocimiento de voz fue motivado por las limitaciones de los modelos generativos profundos de voz y la posibilidad de que, con hardware más capaz y conjuntos de datos a gran escala, las redes neuronales profundas pudieran resultar prácticas. Se creía que el entrenamiento previo de las DNN utilizando modelos generativos de redes de creencias profundas (DBN) superaría las principales dificultades de las redes neuronales. Sin embargo, se descubrió que reemplazar el entrenamiento previo con grandes cantidades de datos de entrenamiento para una retropropagación directa cuando se usaban DNN con capas de salida grandes y dependientes del contexto producía tasas de error dramáticamente más bajas que el modelo de mezcla gaussiana de última generación (GMM). )/Modelo oculto de Markov (HMM) y también que los sistemas basados ​​en modelos generativos más avanzados. ^[104] La naturaleza de los errores de reconocimiento producidos por los dos tipos de sistemas fue característicamente diferente, ^[105] ofreciendo conocimientos técnicos sobre cómo integrar el aprendizaje profundo en el sistema de decodificación de voz en tiempo de ejecución altamente eficiente existente implementado por todos los principales sistemas de reconocimiento de voz. sistemas. ^{[9] [106] [107]} El análisis realizado alrededor de 2009-2010, que contrastaba el GMM (y otros modelos de habla generativa) con los modelos DNN, estimuló la inversión industrial temprana en aprendizaje profundo para el reconocimiento de voz. ^[105] Ese análisis se realizó con un rendimiento comparable (menos del 1,5% en la tasa de error) entre DNN discriminativas y modelos generativos. ^{[104] [105] [108]} En 2010, los investigadores ampliaron el aprendizaje profundo de TIMIT al reconocimiento de voz de gran vocabulario, mediante la adopción de grandes capas de salida del DNN basadas en estados HMM dependientes del contexto construidos mediante árboles de decisión . ^{[109] [110] [111] [106]}

El aprendizaje profundo forma parte de sistemas de última generación en diversas disciplinas, en particular la visión por computadora y el reconocimiento automático de voz (ASR). Los resultados de conjuntos de evaluación de uso común, como TIMIT (ASR) y MNIST ( clasificación de imágenes ), así como una variedad de tareas de reconocimiento de voz de amplio vocabulario, han mejorado constantemente. ^{[104] [112]} Las redes neuronales convolucionales fueron reemplazadas para ASR por CTC ^[96] para LSTM . ^{[78] [98] [113] [114] [115]} pero tienen más éxito en visión por computadora.

Los avances en hardware han impulsado un renovado interés en el aprendizaje profundo. En 2009, Nvidia participó en lo que se llamó el "big bang" del aprendizaje profundo, "cuando las redes neuronales de aprendizaje profundo se entrenaron con unidades de procesamiento de gráficos (GPU) de Nvidia". ^[116] Ese año, Andrew Ng determinó que las GPU podrían aumentar la velocidad de los sistemas de aprendizaje profundo unas 100 veces. ^[117] En particular, las GPU son adecuadas para los cálculos matriciales/vectoriales involucrados en el aprendizaje automático. ^{[118] [119] [120]} Las GPU aceleran los algoritmos de entrenamiento en órdenes de magnitud, reduciendo los tiempos de ejecución de semanas a días. ^{[121] [122]} Además, se pueden utilizar optimizaciones de algoritmos y hardware especializados para el procesamiento eficiente de modelos de aprendizaje profundo. ^[123]

Revolución del aprendizaje profundo

Cómo el aprendizaje profundo es un subconjunto del aprendizaje automático y cómo el aprendizaje automático es un subconjunto de la inteligencia artificial (IA)

A finales de la década de 2000, el aprendizaje profundo empezó a superar a otros métodos en las competiciones de aprendizaje automático. En 2009, una memoria a largo plazo entrenada mediante clasificación temporal conexionista ( Alex Graves , Santiago Fernández, Faustino Gomez y Jürgen Schmidhuber , 2006) ^[96] fue el primer RNN en ganar concursos de reconocimiento de patrones , ganando tres concursos en reconocimiento de escritura conectada. . ^{[124] [14] Posteriormente,} Google utilizó LSTM entrenado por CTC para el reconocimiento de voz en el teléfono inteligente . ^{[125] [98]}

Entre 2011 y 2012 se sintieron impactos significativos en el reconocimiento de imágenes u objetos. Aunque las CNN entrenadas mediante retropropagación han existido durante décadas, ^{[54] [56]} y las implementaciones de NN en GPU durante años, ^[118] incluidas las CNN, ^{[120] [14 ]} Se necesitaban implementaciones más rápidas de CNN en GPU para avanzar en la visión por computadora. En 2011, DanNet ^{[126] [3]} de Dan Ciresan, Ueli Meier, Jonathan Masci, Luca Maria Gambardella y Jürgen Schmidhuber logró por primera vez un rendimiento sobrehumano en un concurso de reconocimiento de patrones visuales, superando a los métodos tradicionales por un factor de 3. ^[14] También en 2011, DanNet ganó el concurso de escritura a mano china ICDAR y, en mayo de 2012, ganó el concurso de segmentación de imágenes ISBI . ^[127] Hasta 2011, las CNN no desempeñaron un papel importante en las conferencias sobre visión por computadora, pero en junio de 2012, un artículo de Ciresan et al. En la conferencia principal, CVPR ^[3] mostró cómo la combinación máxima de CNN en GPU puede mejorar drásticamente muchos registros de referencia de visión. En septiembre de 2012, DanNet también ganó el concurso ICPR sobre análisis de imágenes médicas de gran tamaño para la detección del cáncer, y al año siguiente también el Gran Desafío MICCAI sobre el mismo tema. ^{[128] En octubre de 2012,} AlexNet similar de Alex Krizhevsky , Ilya Sutskever y Geoffrey Hinton ^{[4] ganó la} competencia ImageNet a gran escala por un margen significativo sobre los métodos superficiales de aprendizaje automático. La red VGG-16 de Karen Simonyan y Andrew Zisserman ^[129] redujo aún más la tasa de error y ganó el concurso ImageNet 2014, siguiendo una tendencia similar en el reconocimiento de voz a gran escala.

Luego, la clasificación de imágenes se amplió a la tarea más desafiante de generar descripciones (títulos) para imágenes, a menudo como una combinación de CNN y LSTM. ^{[130] [131] [132]}

En 2012, un equipo dirigido por George E. Dahl ganó el "Merck Molecular Activity Challenge" utilizando redes neuronales profundas multitarea para predecir el objetivo biomolecular de un fármaco. ^{[133] [134]} En 2014, el grupo de Sepp Hochreiter utilizó el aprendizaje profundo para detectar efectos tóxicos y no deseados de sustancias químicas ambientales en nutrientes, productos para el hogar y medicamentos y ganó el "Tox21 Data Challenge" de NIH , FDA y NCATS . ^{[135] [136] [137]}

En 2016, Roger Parloff mencionó una "revolución del aprendizaje profundo" que ha transformado la industria de la IA. ^[138]

En marzo de 2019, Yoshua Bengio , Geoffrey Hinton y Yann LeCun recibieron el Premio Turing por avances conceptuales y de ingeniería que han hecho de las redes neuronales profundas un componente crítico de la informática.

Redes neuronales

Las redes neuronales artificiales ( RNA ) o sistemas conexionistas son sistemas informáticos inspirados en las redes neuronales biológicas que constituyen los cerebros de los animales. Estos sistemas aprenden (mejoran progresivamente su capacidad) a realizar tareas considerando ejemplos, generalmente sin programación específica de tareas. Por ejemplo, en el reconocimiento de imágenes, podrían aprender a identificar imágenes que contienen gatos analizando imágenes de ejemplo que han sido etiquetadas manualmente como "gato" o "sin gato" y utilizando los resultados analíticos para identificar gatos en otras imágenes. Han encontrado mayor uso en aplicaciones difíciles de expresar con un algoritmo informático tradicional que utiliza programación basada en reglas .

Una ANN se basa en una colección de unidades conectadas llamadas neuronas artificiales (análogas a las neuronas biológicas en un cerebro biológico ). Cada conexión ( sinapsis ) entre neuronas puede transmitir una señal a otra neurona. La neurona receptora (postsináptica) puede procesar la(s) señal(es) y luego enviar señales a las neuronas conectadas a ella. Las neuronas pueden tener un estado, generalmente representado por números reales , típicamente entre 0 y 1. Las neuronas y las sinapsis también pueden tener un peso que varía a medida que avanza el aprendizaje, lo que puede aumentar o disminuir la intensidad de la señal que envía.

Normalmente, las neuronas están organizadas en capas. Diferentes capas pueden realizar diferentes tipos de transformaciones en sus entradas. Las señales viajan desde la primera capa (entrada) a la última capa (salida), posiblemente después de atravesar las capas varias veces.

El objetivo original del enfoque de las redes neuronales era resolver problemas de la misma manera que lo haría un cerebro humano. Con el tiempo, la atención se centró en hacer coincidir habilidades mentales específicas, lo que llevó a desviaciones de la biología, como la propagación hacia atrás , o pasar información en la dirección inversa y ajustar la red para reflejar esa información.

Las redes neuronales se han utilizado en una variedad de tareas, incluida la visión por computadora, el reconocimiento de voz , la traducción automática , el filtrado de redes sociales , los juegos de mesa y de video y el diagnóstico médico.

A partir de 2017, las redes neuronales suelen tener entre unos pocos miles y unos pocos millones de unidades y millones de conexiones. A pesar de que este número es varios órdenes de magnitud menor que el número de neuronas en un cerebro humano, estas redes pueden realizar muchas tareas a un nivel superior al de los humanos (por ejemplo, reconocer rostros o jugar "Go" [ ^140] ).

Redes neuronales profundas

Una red neuronal profunda (DNN) es una red neuronal artificial con múltiples capas entre las capas de entrada y salida. ^{[11] [14]} Existen diferentes tipos de redes neuronales, pero siempre constan de los mismos componentes: neuronas, sinapsis, pesos, sesgos y funciones. ^[141] Estos componentes en su conjunto funcionan de una manera que imita las funciones del cerebro humano y pueden entrenarse como cualquier otro algoritmo de ML. ^{[ cita necesaria ]}

Por ejemplo, un DNN que está entrenado para reconocer razas de perros revisará la imagen dada y calculará la probabilidad de que el perro en la imagen sea de una determinada raza. El usuario puede revisar los resultados y seleccionar qué probabilidades debe mostrar la red (por encima de un cierto umbral, etc.) y devolver la etiqueta propuesta. Cada manipulación matemática como tal se considera una capa, ^{[ cita necesaria ]} y las DNN complejas tienen muchas capas, de ahí el nombre de redes "profundas".

Las DNN pueden modelar relaciones complejas no lineales. Las arquitecturas DNN generan modelos compositivos donde el objeto se expresa como una composición en capas de primitivas . ^[142] Las capas adicionales permiten la composición de características de capas inferiores, lo que potencialmente modela datos complejos con menos unidades que una red poco profunda de rendimiento similar. ^[11] Por ejemplo, se demostró que los polinomios multivariados dispersos son exponencialmente más fáciles de aproximar con DNN que con redes poco profundas. ^[143]

Las arquitecturas profundas incluyen muchas variantes de algunos enfoques básicos. Cada arquitectura ha tenido éxito en dominios específicos. No siempre es posible comparar el rendimiento de varias arquitecturas, a menos que hayan sido evaluadas con los mismos conjuntos de datos.

Las DNN suelen ser redes de retroalimentación en las que los datos fluyen desde la capa de entrada a la capa de salida sin retroceder. Al principio, el DNN crea un mapa de neuronas virtuales y asigna valores numéricos aleatorios, o "pesos", a las conexiones entre ellas. Los pesos y las entradas se multiplican y devuelven una salida entre 0 y 1. Si la red no reconociera con precisión un patrón particular, un algoritmo ajustaría los pesos. ^[144] De esa manera, el algoritmo puede hacer que ciertos parámetros sean más influyentes, hasta que determine la manipulación matemática correcta para procesar completamente los datos.

Las redes neuronales recurrentes , en las que los datos pueden fluir en cualquier dirección, se utilizan para aplicaciones como el modelado de lenguajes . ^{[145] [146] [147] [148] [149]} La memoria larga a corto plazo es particularmente eficaz para este uso. ^{[78] [150]}

Las redes neuronales convolucionales (CNN) se utilizan en visión por computadora. ^[151] Las CNN también se han aplicado al modelado acústico para el reconocimiento automático de voz (ASR). ^[152]

Desafíos

Al igual que con las ANN, pueden surgir muchos problemas con las DNN entrenadas ingenuamente. Dos problemas comunes son el sobreajuste y el tiempo de cálculo.

Los DNN son propensos a sobreajustarse debido a las capas agregadas de abstracción, que les permiten modelar dependencias poco comunes en los datos de entrenamiento. Los métodos de regularización como la poda unitaria de Ivakhnenko ^[38] o la disminución del peso ( -regularización) o la escasez ( -regularización) se pueden aplicar durante el entrenamiento para combatir el sobreajuste. ^[153] Alternativamente, la regularización de abandono omite aleatoriamente unidades de las capas ocultas durante el entrenamiento. Esto ayuda a excluir dependencias raras. ^[154] Finalmente, los datos se pueden aumentar mediante métodos como recortar y rotar, de modo que se pueda aumentar el tamaño de conjuntos de entrenamiento más pequeños para reducir las posibilidades de sobreajuste. ^[155] ${\displaystyle \ell _{2}}$ ${\displaystyle \ell _{1}}$

Las DNN deben considerar muchos parámetros de entrenamiento, como el tamaño (número de capas y número de unidades por capa), la tasa de aprendizaje y los pesos iniciales. Es posible que no sea factible recorrer el espacio de parámetros en busca de parámetros óptimos debido al costo en tiempo y recursos computacionales. Varios trucos, como el procesamiento por lotes (calcular el gradiente en varios ejemplos de entrenamiento a la vez en lugar de ejemplos individuales) ^[156] aceleran el cálculo. Las grandes capacidades de procesamiento de las arquitecturas de muchos núcleos (como las GPU o Intel Xeon Phi) han producido importantes aceleraciones en el entrenamiento, debido a la idoneidad de dichas arquitecturas de procesamiento para los cálculos matriciales y vectoriales. ^{[157] [158]}

Alternativamente, los ingenieros pueden buscar otros tipos de redes neuronales con algoritmos de entrenamiento más sencillos y convergentes. CMAC ( controlador de articulación del modelo cerebeloso ) es uno de esos tipos de redes neuronales. No requiere tasas de aprendizaje ni pesos iniciales aleatorios. Se puede garantizar que el proceso de entrenamiento converja en un paso con un nuevo lote de datos, y la complejidad computacional del algoritmo de entrenamiento es lineal con respecto al número de neuronas involucradas. ^{[159] [160]}

Hardware

Desde la década de 2010, los avances tanto en los algoritmos de aprendizaje automático como en el hardware informático han llevado a métodos más eficientes para entrenar redes neuronales profundas que contienen muchas capas de unidades ocultas no lineales y una capa de salida muy grande. ^[161] Para 2019, las unidades de procesamiento gráfico ( GPU ), a menudo con mejoras específicas de IA, habían desplazado a las CPU como método dominante para entrenar IA en la nube comercial a gran escala. ^[162] OpenAI estimó el cálculo de hardware utilizado en los proyectos de aprendizaje profundo más grandes, desde AlexNet (2012) hasta AlphaZero (2017), y encontró un aumento de 300.000 veces en la cantidad de cálculo requerido, con una línea de tendencia de tiempo de duplicación de 3,4 meses. ^{[163] [164]}

Se diseñaron circuitos electrónicos especiales llamados procesadores de aprendizaje profundo para acelerar los algoritmos de aprendizaje profundo. Los procesadores de aprendizaje profundo incluyen unidades de procesamiento neuronal (NPU) en los teléfonos móviles Huawei ^[165] y servidores de computación en la nube , como unidades de procesamiento tensorial (TPU) en Google Cloud Platform . ^[166] Cerebras Systems también ha construido un sistema dedicado para manejar grandes modelos de aprendizaje profundo, el CS-2, basado en el procesador más grande de la industria, el Wafer Scale Engine (WSE-2) de segunda generación. ^{[167] [168]}

Los semiconductores atómicamente delgados se consideran prometedores para el hardware de aprendizaje profundo energéticamente eficiente, donde se utiliza la misma estructura básica del dispositivo tanto para las operaciones lógicas como para el almacenamiento de datos. En 2020, Marega et al. publicaron experimentos con un material de canal activo de gran área para desarrollar dispositivos y circuitos de lógica en memoria basados ​​en transistores de efecto de campo de puerta flotante (FGFET). ^[169]

En 2021, J. Feldmann et al. propuso un acelerador de hardware fotónico integrado para el procesamiento convolucional paralelo. ^[170] Los autores identifican dos ventajas clave de la fotónica integrada sobre sus contrapartes electrónicas: (1) transferencia masiva de datos en paralelo a través de multiplexación por división de longitud de onda junto con peines de frecuencia , y (2) velocidades de modulación de datos extremadamente altas. ^[170] Su sistema puede ejecutar billones de operaciones de acumulación múltiple por segundo, lo que indica el potencial de la fotónica integrada en aplicaciones de IA con gran cantidad de datos. ^[170]

Aplicaciones

Reconocimiento automático de voz

El reconocimiento automático de voz a gran escala es el primer y más convincente caso exitoso de aprendizaje profundo. Los RNN de LSTM pueden aprender tareas de "aprendizaje muy profundo" ^[14] que implican intervalos de varios segundos que contienen eventos de voz separados por miles de pasos de tiempo discretos, donde un paso de tiempo corresponde a aproximadamente 10 ms. LSTM con puertas de olvido ^[150] es competitivo con los reconocedores de voz tradicionales en determinadas tareas. ^[95]

El éxito inicial en el reconocimiento de voz se basó en tareas de reconocimiento a pequeña escala basadas en TIMIT. El conjunto de datos contiene 630 hablantes de ocho dialectos principales del inglés americano , donde cada hablante lee 10 oraciones. ^[171] Su pequeño tamaño permite probar muchas configuraciones. Más importante aún, la tarea TIMIT se refiere al reconocimiento de secuencias telefónicas , que, a diferencia del reconocimiento de secuencias de palabras, permite modelos de lenguaje de bigramas telefónicos débiles. Esto permite analizar más fácilmente la solidez de los aspectos del modelado acústico del reconocimiento de voz. Las tasas de error que se enumeran a continuación, incluidos estos primeros resultados y medidas como tasas porcentuales de error telefónico (PER), se han resumido desde 1991.

El debut de DNN para el reconocimiento de hablantes a finales de la década de 1990 y el reconocimiento de voz alrededor de 2009-2011 y de LSTM alrededor de 2003-2007, aceleró el progreso en ocho áreas principales: ^{[9] [108] [106]}

• Ampliación/extensión y entrenamiento y decodificación de DNN acelerados
• Entrenamiento discriminativo en secuencia.
• Procesamiento de características mediante modelos profundos con una sólida comprensión de los mecanismos subyacentes.
• Adaptación de DNN y modelos profundos relacionados.
• Aprendizaje multitarea y de transferencia mediante DNN y modelos profundos relacionados
• CNN y cómo diseñarlas para explotar mejor el conocimiento del dominio del habla
• RNN y sus ricas variantes de LSTM
• Otros tipos de modelos profundos, incluidos modelos basados ​​en tensores y modelos generativos/discriminativos profundos integrados.

Todos los principales sistemas comerciales de reconocimiento de voz (por ejemplo, Microsoft Cortana , Xbox , Skype Translator , Amazon Alexa , Google Now , Apple Siri , Baidu e iFlyTek , búsqueda por voz y una gama de productos de voz de Nuance , etc.) se basan en el aprendizaje profundo. ^{[9] [176] [177]}

Reconocimiento de imagen

Un conjunto de evaluación común para la clasificación de imágenes es el conjunto de datos de la base de datos MNIST . MNIST se compone de dígitos escritos a mano e incluye 60.000 ejemplos de formación y 10.000 ejemplos de prueba. Al igual que TIMIT, su pequeño tamaño permite a los usuarios probar múltiples configuraciones. Está disponible una lista completa de resultados de este conjunto. ^[178]

El reconocimiento de imágenes basado en el aprendizaje profundo se ha vuelto "sobrehumano" y produce resultados más precisos que los concursantes humanos. Esto ocurrió por primera vez en 2011 con el reconocimiento de señales de tráfico y en 2014 con el reconocimiento de rostros humanos. ^{[179] [180]}

Los vehículos entrenados con aprendizaje profundo ahora interpretan vistas de cámara de 360°. ^[181] Otro ejemplo es el Análisis de novelas de dismorfología facial (FDNA, por sus siglas en inglés) que se utiliza para analizar casos de malformación humana conectados a una gran base de datos de síndromes genéticos.

Procesamiento de artes visuales

Procesamiento de arte visual de Jimmy Wales en Francia, con el estilo de " El grito " de Munch aplicado mediante transferencia de estilo neuronal.

Estrechamente relacionada con el progreso que se ha logrado en el reconocimiento de imágenes está la creciente aplicación de técnicas de aprendizaje profundo a diversas tareas de artes visuales. Las DNN han demostrado ser capaces, por ejemplo, de

• identificar el período de estilo de una pintura determinada ^{[182] [183]}
• Transferencia de estilo neuronal  : capturar el estilo de una obra de arte determinada y aplicarlo de una manera visualmente agradable a una fotografía o video arbitrario ^{[182] [183]}
• generando imágenes sorprendentes basadas en campos de entrada visual aleatorios. ^{[182] [183]}

Procesamiento natural del lenguaje

Las redes neuronales se han utilizado para implementar modelos de lenguaje desde principios de la década de 2000. ^[145] LSTM ayudó a mejorar la traducción automática y el modelado del lenguaje. ^{[146] [147] [148]}

Otras técnicas clave en este campo son el muestreo negativo ^[184] y la incrustación de palabras . La incrustación de palabras, como word2vec , se puede considerar como una capa representacional en una arquitectura de aprendizaje profundo que transforma una palabra atómica en una representación posicional de la palabra en relación con otras palabras en el conjunto de datos; la posición se representa como un punto en un espacio vectorial . El uso de la incrustación de palabras como capa de entrada RNN permite a la red analizar oraciones y frases utilizando una gramática vectorial de composición eficaz. Una gramática vectorial composicional puede considerarse como una gramática probabilística libre de contexto (PCFG) implementada por un RNN. ^[185] Los codificadores automáticos recursivos construidos sobre incrustaciones de palabras pueden evaluar la similitud de oraciones y detectar paráfrasis. ^[185] Las arquitecturas neuronales profundas proporcionan los mejores resultados para el análisis de electores , ^[186] análisis de sentimientos , ^[187] recuperación de información, ^{[188] [189]} comprensión del lenguaje hablado, ^[190] traducción automática, ^{[146] [191]} entidad contextual vinculación, ^[191] reconocimiento de estilo de escritura, ^[192] reconocimiento de entidad nombrada (clasificación de tokens), ^[193] clasificación de texto y otros. ^[194]

Los desarrollos recientes generalizan la incrustación de palabras a la incrustación de oraciones .

Google Translate (GT) utiliza una gran red de memoria a corto plazo (LSTM) de extremo a extremo. ^{[195] [196] [197] [198]} Google Neural Machine Translation (GNMT) utiliza un método de traducción automática basado en ejemplos en el que el sistema "aprende de millones de ejemplos". ^[196] Traduce "frases enteras a la vez, en lugar de fragmentos". Google Translate admite más de cien idiomas. ^[196] La red codifica la "semántica de la oración en lugar de simplemente memorizar traducciones frase a frase". ^{[196] [199]} GT utiliza el inglés como intermediario entre la mayoría de los pares de idiomas. ^[199]

Descubrimiento de fármacos y toxicología.

Un gran porcentaje de medicamentos candidatos no logran la aprobación regulatoria. Estos fracasos son causados ​​por una eficacia insuficiente (efecto en el objetivo), interacciones no deseadas (efectos fuera del objetivo) o efectos tóxicos imprevistos . ^{[200] [201]} La investigación ha explorado el uso del aprendizaje profundo para predecir los objetivos biomoleculares , ^{[133] [134]} fuera de los objetivos y los efectos tóxicos de las sustancias químicas ambientales en nutrientes, productos domésticos y medicamentos. ^{[135] [136] [137]}

AtomNet es un sistema de aprendizaje profundo para el diseño racional de fármacos basado en estructuras . ^[202] AtomNet se utilizó para predecir nuevas biomoléculas candidatas a objetivos de enfermedades como el virus del Ébola ^[203] y la esclerosis múltiple . ^{[204] [203]}

En 2017, las redes neuronales gráficas se utilizaron por primera vez para predecir diversas propiedades de moléculas en un gran conjunto de datos toxicológicos. ^[205] En 2019, se utilizaron redes neuronales generativas para producir moléculas que se validaron experimentalmente en ratones. ^{[206] [207]}

Gestión de relaciones con el cliente.

Se ha utilizado el aprendizaje por refuerzo profundo para aproximar el valor de posibles acciones de marketing directo , definidas en términos de variables RFM . Se demostró que la función de valor estimado tiene una interpretación natural como valor de vida del cliente . ^[208]

Sistemas de recomendación

Los sistemas de recomendación han utilizado el aprendizaje profundo para extraer características significativas para un modelo de factor latente para recomendaciones de revistas y música basadas en contenido. ^{[209] [210]} Se ha aplicado el aprendizaje profundo de múltiples vistas para conocer las preferencias del usuario de múltiples dominios. ^[211] El modelo utiliza un enfoque híbrido colaborativo y basado en contenido y mejora las recomendaciones en múltiples tareas.

Bioinformática

Se utilizó un codificador automático ANN en bioinformática para predecir anotaciones de ontología genética y relaciones entre funciones genéticas. ^[212]

En informática médica, se utilizó el aprendizaje profundo para predecir la calidad del sueño basándose en datos de dispositivos portátiles ^[213] y predicciones de complicaciones de salud a partir de datos de registros médicos electrónicos . ^[214]

Estimaciones de redes neuronales profundas

Las redes neuronales profundas se pueden utilizar para estimar la entropía de un proceso estocástico y se denominan Estimador de entropía conjunta neuronal (NJEE). ^[215] Tal estimación proporciona información sobre los efectos de las variables aleatorias de entrada en una variable aleatoria independiente . En la práctica, el DNN se entrena como un clasificador que asigna un vector de entrada o matriz X a una distribución de probabilidad de salida sobre las posibles clases de variable aleatoria Y, dada la entrada X. Por ejemplo, en tareas de clasificación de imágenes , el NJEE asigna un vector de píxeles ' valores de color a probabilidades sobre posibles clases de imágenes. En la práctica, la distribución de probabilidad de Y se obtiene mediante una capa Softmax con un número de nodos igual al tamaño del alfabeto de Y. NJEE utiliza funciones de activación continuamente diferenciables , de modo que se cumplen las condiciones para el teorema de aproximación universal . Se demuestra que este método proporciona un estimador fuertemente consistente y supera a otros métodos en el caso de alfabetos de gran tamaño. ^[215]

Análisis de imágenes médicas.

Se ha demostrado que el aprendizaje profundo produce resultados competitivos en aplicaciones médicas, como la clasificación de células cancerosas, la detección de lesiones, la segmentación de órganos y la mejora de imágenes. ^{[216] [217]} Las herramientas modernas de aprendizaje profundo demuestran la alta precisión de la detección de diversas enfermedades y la utilidad de su uso por parte de especialistas para mejorar la eficiencia del diagnóstico. ^{[218] [219]}

La publicidad móvil

Encontrar la audiencia móvil adecuada para la publicidad móvil siempre es un desafío, ya que se deben considerar y analizar muchos puntos de datos antes de que cualquier servidor de publicidad pueda crear y utilizar un segmento objetivo en la publicación de anuncios. ^[220] El aprendizaje profundo se ha utilizado para interpretar conjuntos de datos publicitarios grandes y multidimensionales. Muchos puntos de datos se recopilan durante el ciclo de solicitud/servicio/clic de publicidad en Internet. Esta información puede formar la base del aprendizaje automático para mejorar la selección de anuncios.

Restauración de imagen

El aprendizaje profundo se ha aplicado con éxito a problemas inversos como la eliminación de ruido , la superresolución , la pintura interna y la coloración de películas . ^[221] Estas aplicaciones incluyen métodos de aprendizaje como "Campos de contracción para una restauración efectiva de imágenes" ^[222] que se entrena en un conjunto de datos de imágenes, y Deep Image Prior , que se entrena en la imagen que necesita restauración.

Detección de fraude financiero

El aprendizaje profundo se está aplicando con éxito a la detección de fraude financiero , la detección de evasión fiscal ^[223] y la lucha contra el blanqueo de dinero. ^[224]

Ciencia de los Materiales

En noviembre de 2023, investigadores de Google DeepMind y el Laboratorio Nacional Lawrence Berkeley anunciaron que habían desarrollado un sistema de inteligencia artificial conocido como GNoME. Este sistema ha contribuido a la ciencia de los materiales al descubrir más de 2 millones de nuevos materiales en un período de tiempo relativamente corto. GNoME emplea técnicas de aprendizaje profundo para explorar de manera eficiente estructuras materiales potenciales, logrando un aumento significativo en la identificación de estructuras cristalinas inorgánicas estables . Las predicciones del sistema fueron validadas mediante experimentos robóticos autónomos, demostrando una notable tasa de éxito del 71%. Los datos de los materiales recién descubiertos están disponibles públicamente a través de la base de datos del Proyecto de Materiales , lo que ofrece a los investigadores la oportunidad de identificar materiales con propiedades deseadas para diversas aplicaciones. Este desarrollo tiene implicaciones para el futuro del descubrimiento científico y la integración de la IA en la investigación de la ciencia de materiales, lo que podría acelerar la innovación de materiales y reducir los costos en el desarrollo de productos. El uso de la IA y el aprendizaje profundo sugiere la posibilidad de minimizar o eliminar los experimentos manuales de laboratorio y permitir a los científicos centrarse más en el diseño y análisis de compuestos únicos. ^{[225] [226] [227]}

Militar

El Departamento de Defensa de Estados Unidos aplicó el aprendizaje profundo para entrenar robots en nuevas tareas mediante la observación. ^[228]

Ecuaciones diferenciales parciales

Las redes neuronales basadas en la física se han utilizado para resolver ecuaciones diferenciales parciales en problemas tanto directos como inversos de forma basada en datos. ^[229] Un ejemplo es el flujo de fluido de reconstrucción regido por las ecuaciones de Navier-Stokes . El uso de redes neuronales basadas en la física no requiere la generación de mallas, a menudo costosa, en la que se basan los métodos CFD convencionales . ^{[230] [231]}

Reconstrucción de imágenes

La reconstrucción de imágenes es la reconstrucción de las imágenes subyacentes a partir de las mediciones relacionadas con las imágenes. Varios trabajos mostraron el rendimiento mejor y superior de los métodos de aprendizaje profundo en comparación con los métodos analíticos para diversas aplicaciones, por ejemplo, imágenes espectrales ^[232] e imágenes por ultrasonido. ^[233]

Reloj epigenético

Un reloj epigenético es una prueba bioquímica que se puede utilizar para medir la edad. Galkin et al. utilizaron redes neuronales profundas para entrenar un reloj de envejecimiento epigenético con una precisión sin precedentes utilizando más de 6.000 muestras de sangre. ^[234] El reloj utiliza información de 1000 sitios CpG y predice personas con ciertas condiciones mayores que los controles sanos: EII , demencia frontotemporal , cáncer de ovario , obesidad . Se planeó que el reloj envejecido fuera lanzado para uso público en 2021 por una empresa derivada de Insilico Medicine, Deep Longevity.

Relación con el desarrollo cognitivo y cerebral humano.

El aprendizaje profundo está estrechamente relacionado con una clase de teorías del desarrollo cerebral (específicamente, el desarrollo neocortical) propuestas por neurocientíficos cognitivos a principios de los años noventa. ^{[235] [236] [237] [238]} Estas teorías del desarrollo se instanciaron en modelos computacionales, lo que las convirtió en predecesoras de los sistemas de aprendizaje profundo. Estos modelos de desarrollo comparten la propiedad de que varias dinámicas de aprendizaje propuestas en el cerebro (por ejemplo, una onda de factor de crecimiento nervioso ) apoyan la autoorganización de manera algo análoga a las redes neuronales utilizadas en los modelos de aprendizaje profundo. Al igual que la neocorteza , las redes neuronales emplean una jerarquía de filtros en capas en la que cada capa considera información de una capa anterior (o del entorno operativo) y luego pasa su salida (y posiblemente la entrada original) a otras capas. Este proceso produce una pila de transductores autoorganizados , bien adaptados a su entorno operativo. Una descripción de 1995 decía: "... el cerebro del bebé parece organizarse bajo la influencia de ondas de los llamados factores tróficos... diferentes regiones del cerebro se conectan secuencialmente, con una capa de tejido madurando antes que otra y así hasta que todo el cerebro esté maduro". ^[239]

Se han utilizado diversos enfoques para investigar la plausibilidad de los modelos de aprendizaje profundo desde una perspectiva neurobiológica. Por un lado, se han propuesto varias variantes del algoritmo de retropropagación con el fin de aumentar su realismo de procesamiento. ^{[240] [241]} Otros investigadores han argumentado que las formas no supervisadas de aprendizaje profundo, como las basadas en modelos generativos jerárquicos y redes de creencias profundas , pueden estar más cerca de la realidad biológica. ^{[242] [243]} A este respecto, los modelos de redes neuronales generativas se han relacionado con evidencia neurobiológica sobre el procesamiento basado en muestreo en la corteza cerebral. ^[244]

Aunque aún no se ha establecido una comparación sistemática entre la organización del cerebro humano y la codificación neuronal en redes profundas, se han informado varias analogías. Por ejemplo, los cálculos realizados por unidades de aprendizaje profundo podrían ser similares a los de neuronas ^[245] y poblaciones neuronales reales. ^[246] De manera similar, las representaciones desarrolladas por los modelos de aprendizaje profundo son similares a las medidas en el sistema visual de primates ^[247] tanto a nivel de unidad única ^[248] como de población ^[249] .

Actividad comercial

El laboratorio de inteligencia artificial de Facebook realiza tareas como etiquetar automáticamente las imágenes cargadas con los nombres de las personas que aparecen en ellas. ^[250]

DeepMind Technologies de Google desarrolló un sistema capaz de aprender a jugar videojuegos de Atari utilizando únicamente píxeles como entrada de datos. En 2015, demostraron su sistema AlphaGo , que aprendió el juego Go lo suficientemente bien como para vencer a un jugador profesional de Go. ^{[251] [252] [253]} Google Translate utiliza una red neuronal para traducir entre más de 100 idiomas.

En 2017, se lanzó Covariant.ai, que se centra en integrar el aprendizaje profundo en las fábricas. ^[254]

En 2008, ^[255] investigadores de la Universidad de Texas en Austin (UT) desarrollaron un marco de aprendizaje automático llamado Entrenamiento manual de un agente mediante refuerzo evaluativo, o TAMER, que propuso nuevos métodos para que robots o programas de computadora aprendan a realizar tareas. interactuando con un instructor humano. ^[228] Desarrollado por primera vez como TAMER, un nuevo algoritmo llamado Deep TAMER se introdujo más tarde en 2018 durante una colaboración entre el Laboratorio de Investigación del Ejército de EE. UU. (ARL) y los investigadores de UT. Deep TAMER utilizó el aprendizaje profundo para proporcionar a un robot la capacidad de aprender nuevas tareas mediante la observación. ^[228] Usando Deep TAMER, un robot aprendió una tarea con un entrenador humano, viendo transmisiones de video u observando a un humano realizar una tarea en persona. Posteriormente, el robot practicó la tarea con la ayuda del entrenador, quien le brindó comentarios como "buen trabajo" y "mal trabajo". ^[256]

Crítica y comentario

El aprendizaje profundo ha atraído tanto críticas como comentarios, en algunos casos desde fuera del campo de la informática.

Teoría

Una crítica principal se refiere a la falta de teoría que rodea a algunos métodos. ^[257] El aprendizaje en las arquitecturas profundas más comunes se implementa mediante un descenso de gradiente bien entendido. Sin embargo, la teoría que rodea a otros algoritmos, como la divergencia contrastiva, es menos clara. ^{[ cita necesaria ]} (por ejemplo, ¿converge? Si es así, ¿a qué velocidad? ¿A qué se aproxima?) Los métodos de aprendizaje profundo a menudo se consideran una caja negra , y la mayoría de las confirmaciones se realizan de forma empírica, en lugar de teórica. ^[258]

Otros señalan que el aprendizaje profundo debe considerarse como un paso hacia la realización de una IA sólida , no como una solución integral. A pesar del poder de los métodos de aprendizaje profundo, todavía carecen de gran parte de la funcionalidad necesaria para lograr este objetivo por completo. El psicólogo investigador Gary Marcus señaló:

De manera realista, el aprendizaje profundo es sólo una parte del desafío más amplio de construir máquinas inteligentes. Tales técnicas carecen de formas de representar relaciones causales (...) no tienen formas obvias de realizar inferencias lógicas , y además están todavía muy lejos de integrar conocimientos abstractos, como información sobre qué son los objetos, para qué sirven y cómo funcionan. se utilizan normalmente. Los sistemas de IA más potentes, como Watson (...) utilizan técnicas como el aprendizaje profundo como solo un elemento de un conjunto muy complicado de técnicas, que van desde la técnica estadística de inferencia bayesiana hasta el razonamiento deductivo . ^[259]

En referencia adicional a la idea de que la sensibilidad artística podría ser inherente a niveles relativamente bajos de la jerarquía cognitiva, se publicó una serie de representaciones gráficas de los estados internos de redes neuronales profundas (20-30 capas) que intentan discernir dentro de datos esencialmente aleatorios las imágenes. en el que fueron entrenados ^[260] demuestran un atractivo visual: el aviso de investigación original recibió más de 1.000 comentarios y fue el tema de lo que fue durante un tiempo el artículo más consultado en el sitio web de The Guardian ^[261] .

Errores

Algunas arquitecturas de aprendizaje profundo muestran comportamientos problemáticos, ^[262] como clasificar con confianza imágenes irreconocibles como pertenecientes a una categoría familiar de imágenes ordinarias (2014) ^[263] y clasificar erróneamente perturbaciones minúsculas de imágenes clasificadas correctamente (2013). ^[264] Goertzel planteó la hipótesis de que estos comportamientos se deben a limitaciones en sus representaciones internas y que estas limitaciones inhibirían la integración en arquitecturas heterogéneas de inteligencia general artificial (AGI) de múltiples componentes. ^[262] Estos problemas posiblemente puedan abordarse mediante arquitecturas de aprendizaje profundo que formen internamente estados homólogos a las descomposiciones de gramática de imágenes ^[265] de entidades y eventos observados. ^[262] Aprender una gramática (visual o lingüística) a partir de datos de entrenamiento equivaldría a restringir el sistema al razonamiento de sentido común que opera sobre conceptos en términos de reglas de producción gramatical y es un objetivo básico tanto de la adquisición del lenguaje humano ^[266] como de la inteligencia artificial. (AI). ^[267]

amenaza cibernética

A medida que el aprendizaje profundo pasa del laboratorio al mundo, la investigación y la experiencia muestran que las redes neuronales artificiales son vulnerables a los ataques y el engaño. ^[268] Al identificar los patrones que estos sistemas utilizan para funcionar, los atacantes pueden modificar las entradas a las ANN de tal manera que la ANN encuentre una coincidencia que los observadores humanos no reconocerían. Por ejemplo, un atacante puede realizar cambios sutiles en una imagen de modo que la ANN encuentre una coincidencia aunque la imagen para un humano no se parezca en nada al objetivo de búsqueda. Esta manipulación se denomina "ataque adversario". ^[269]

En 2016, los investigadores utilizaron una ANN para manipular imágenes a modo de prueba y error, identificar los puntos focales de otra y así generar imágenes que la engañaran. Las imágenes modificadas no parecían diferentes a los ojos humanos. Otro grupo demostró que las impresiones de imágenes manipuladas y luego fotografiadas con éxito engañaban a un sistema de clasificación de imágenes. ^[270] Una defensa es la búsqueda inversa de imágenes, en la que una posible imagen falsa se envía a un sitio como TinEye que luego puede encontrar otras instancias de la misma. Un refinamiento es buscar usando solo partes de la imagen, para identificar imágenes de las que se pudo haber tomado esa pieza . ^[271]

Otro grupo demostró que ciertas gafas psicodélicas podían engañar a un sistema de reconocimiento facial haciéndoles creer que las personas comunes y corrientes eran celebridades, lo que potencialmente permitía que una persona se hiciera pasar por otra. En 2017, los investigadores agregaron pegatinas a las señales de alto y provocaron que una ANN las clasificara erróneamente. ^[270]

Sin embargo, las ANN pueden entrenarse aún más para detectar intentos de engaño , lo que podría llevar a atacantes y defensores a una carrera armamentista similar a la que ya define la industria de defensa contra el malware . Las ANN han sido entrenadas para derrotar el software antimalware basado en ANN atacando repetidamente una defensa con malware que era continuamente alterado por un algoritmo genético hasta que engañaba al antimalware manteniendo su capacidad de dañar al objetivo. ^[270]

En 2016, otro grupo demostró que ciertos sonidos podrían hacer que el sistema de comando de voz de Google Now abriera una dirección web particular, y planteó la hipótesis de que esto podría "servir como un trampolín para futuros ataques (por ejemplo, abrir una página web que albergue malware no autorizado). ". ^[270]

En el " intoxicación de datos ", continuamente se introducen de contrabando datos falsos en el conjunto de entrenamiento de un sistema de aprendizaje automático para evitar que alcance el dominio. ^[270]

Ética de la recopilación de datos

La mayoría de los sistemas de aprendizaje profundo se basan en datos de capacitación y verificación generados y/o anotados por humanos. ^[272] Se ha argumentado en la filosofía de los medios que no sólo se utiliza regularmente para este propósito el trabajo con clics mal pagado (por ejemplo, en Amazon Mechanical Turk ), sino también formas implícitas de microtrabajo humano que a menudo no se reconocen como tales. ^[273] El filósofo Rainer Mühlhoff distingue cinco tipos de "captura maquínica" de microtrabajo humano para generar datos de entrenamiento: (1) gamificación (la incorporación de tareas de anotación o cálculo en el flujo de un juego), (2) "captura y seguimiento " (por ejemplo, CAPTCHA para el reconocimiento de imágenes o el seguimiento de clics en las páginas de resultados de búsqueda de Google ), (3) explotación de motivaciones sociales (por ejemplo, etiquetar caras en Facebook para obtener imágenes faciales etiquetadas), (4) extracción de información (por ejemplo, aprovechando la auto-cuantificación dispositivos como rastreadores de actividad ) y (5) clickwork . ^[273]

Mühlhoff sostiene que en la mayoría de las aplicaciones comerciales de aprendizaje profundo para usuarios finales, como el sistema de reconocimiento facial de Facebook , la necesidad de datos de entrenamiento no cesa una vez que se entrena una ANN. Más bien, existe una demanda continua de datos de verificación generados por humanos para calibrar y actualizar constantemente la ANN. Para ello, Facebook introdujo la función de que una vez que un usuario es reconocido automáticamente en una imagen, recibe una notificación. Pueden elegir si les gusta o no ser etiquetados públicamente en la imagen, o decirle a Facebook que no son ellos los que aparecen en la imagen. ^[274] Esta interfaz de usuario es un mecanismo para generar "un flujo constante de datos de verificación" ^[273] para entrenar aún más la red en tiempo real. Como sostiene Mühlhoff, la participación de usuarios humanos para generar datos de capacitación y verificación es tan típica de la mayoría de las aplicaciones comerciales de aprendizaje profundo para usuarios finales que estos sistemas pueden denominarse "inteligencia artificial asistida por humanos". ^[273]

Ver también

• Aplicaciones de la inteligencia artificial
• Comparación de software de aprendizaje profundo
• Detección comprimida
• Programación diferenciable
• Red estatal de eco
• Lista de proyectos de inteligencia artificial
• maquina de estado liquido
• Lista de conjuntos de datos para la investigación del aprendizaje automático
• Computación de yacimientos
• Escalar el espacio y el aprendizaje profundo
• Codificación escasa
• loro estocástico

Referencias

1. Schulz, Hannes; Behnke, Sven (1 de noviembre de 2012). "Aprendizaje profundo". KI-Künstliche Intelligenz . 26 (4): 357–363. doi :10.1007/s13218-012-0198-z. ISSN  1610-1987. S2CID  220523562.
2. LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). "Aprendizaje profundo". Naturaleza . 521 (7553): 436–444. Código Bib :2015Natur.521..436L. doi : 10.1038/naturaleza14539. PMID  26017442. S2CID  3074096.
3. Ciresan, D .; Meier, U.; Schmidhuber, J. (2012). "Redes neuronales profundas de varias columnas para clasificación de imágenes". Conferencia IEEE 2012 sobre visión por computadora y reconocimiento de patrones . págs. 3642–3649. arXiv : 1202.2745 . doi :10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8. S2CID  2161592.
4. Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). "Clasificación de ImageNet con redes neuronales convolucionales profundas" (PDF) . NIPS 2012: Sistemas de procesamiento de información neuronal, Lake Tahoe, Nevada . Archivado (PDF) desde el original el 10 de enero de 2017 . Consultado el 24 de mayo de 2017 .
5. "AlphaGo AI de Google gana una serie de tres partidos contra el mejor jugador de Go del mundo". TechCrunch . 25 de mayo de 2017. Archivado desde el original el 17 de junio de 2018 . Consultado el 17 de junio de 2018 .
6. Piedra de mármol, Adam H.; Wayne, Greg; Kording, Konrad P. (2016). "Hacia una integración del aprendizaje profundo y la neurociencia". Fronteras en neurociencia computacional . 10 : 94. arXiv : 1606.03813 . Código Bib : 2016arXiv160603813M. doi : 10.3389/fncom.2016.00094 . PMC 5021692 . PMID  27683554. S2CID  1994856. 
7. Bengio, Yoshua; Lee, Dong-Hyun; Bornschein, Jorg; Mesnard, Thomas; Lin, Zhouhan (13 de febrero de 2015). "Hacia un aprendizaje profundo biológicamente plausible". arXiv : 1502.04156 [cs.LG].
8. "Un estudio pide precaución al comparar las redes neuronales con el cerebro". Noticias del MIT | Instituto de Tecnología de Massachusetts . 2022-11-02 . Consultado el 6 de diciembre de 2023 .
9. , L.; Yu, D. (2014). "Aprendizaje profundo: métodos y aplicaciones" (PDF) . Fundamentos y Tendencias en Procesamiento de Señales . 7 (3–4): 1–199. doi :10.1561/2000000039. Archivado (PDF) desde el original el 14 de marzo de 2016 . Consultado el 18 de octubre de 2014 .
10. Zhang, WJ; Yang, G.; Ji, C.; Gupta, MM (2018). "Sobre la definición de aprendizaje profundo". Congreso Mundial de Automatización (WAC) 2018 . págs. 1 a 5. doi :10.23919/WAC.2018.8430387. ISBN 978-1-5323-7791-4. S2CID  51971897.
11. Bengio, Yoshua (2009). "Aprendizaje de arquitecturas profundas para IA" (PDF) . Fundamentos y tendencias en aprendizaje automático . 2 (1): 1–127. CiteSeerX 10.1.1.701.9550 . doi :10.1561/2200000006. S2CID  207178999. Archivado desde el original (PDF) el 4 de marzo de 2016 . Consultado el 3 de septiembre de 2015 . 
12. Bengio, Y.; Courville, A.; Vicente, P. (2013). "Aprendizaje de representación: una revisión y nuevas perspectivas". Transacciones IEEE sobre análisis de patrones e inteligencia artificial . 35 (8): 1798–1828. arXiv : 1206.5538 . doi :10.1109/tpami.2013.50. PMID  23787338. S2CID  393948.
13. LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (28 de mayo de 2015). "Aprendizaje profundo". Naturaleza . 521 (7553): 436–444. Código Bib :2015Natur.521..436L. doi : 10.1038/naturaleza14539. PMID  26017442. S2CID  3074096.
14. Schmidhuber, J. (2015). "Aprendizaje profundo en redes neuronales: una descripción general". Redes neuronales . 61 : 85-117. arXiv : 1404.7828 . doi :10.1016/j.neunet.2014.09.003. PMID  25462637. S2CID  11715509.
15. Shigeki, Sugiyama (12 de abril de 2019). Comportamiento humano y otro tipo de conciencia: investigaciones y oportunidades emergentes: investigaciones y oportunidades emergentes. IGI Global. ISBN 978-1-5225-8218-2.
16. Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). Entrenamiento codicioso por capas de redes profundas (PDF) . Avances en los sistemas de procesamiento de información neuronal. págs. 153-160. Archivado (PDF) desde el original el 2019-10-20 . Consultado el 6 de octubre de 2019 .
17. Hinton, GE (2009). "Redes de creencias profundas". Scholarpedia . 4 (5): 5947. Código bibliográfico : 2009SchpJ...4.5947H. doi : 10.4249/scholarpedia.5947 .
18. Sahu, Santosh Kumar; Mokhade, Anil; Bokde, Neeraj Dhanraj (enero de 2023). "Una descripción general del aprendizaje automático, el aprendizaje profundo y las técnicas basadas en el aprendizaje por refuerzo en finanzas cuantitativas: avances y desafíos recientes". Ciencias Aplicadas . 13 (3): 1956. doi : 10.3390/app13031956 . ISSN  2076-3417.
19. Cybenko (1989). «Aproximaciones por superposiciones de funciones sigmoidales» (PDF) . Matemáticas de Control, Señales y Sistemas . 2 (4): 303–314. doi :10.1007/bf02551274. S2CID  3958369. Archivado desde el original (PDF) el 10 de octubre de 2015.
20. Hornik, Kurt (1991). "Capacidades de aproximación de redes feedforward multicapa". Redes neuronales . 4 (2): 251–257. doi :10.1016/0893-6080(91)90009-t. S2CID  7343126.
21. Haykin, Simon S. (1999). Redes neuronales: una base integral. Prentice Hall. ISBN 978-0-13-273350-2.
22. Hassoun, Mohamad H. (1995). Fundamentos de las redes neuronales artificiales. Prensa del MIT. pag. 48.ISBN _ 978-0-262-08239-6.
23. Lu, Z., Pu, H., Wang, F., Hu, Z. y Wang, L. (2017). El poder expresivo de las redes neuronales: una visión desde lo ancho Archivado el 13 de febrero de 2019 en Wayback Machine . Sistemas de procesamiento de información neuronal, 6231-6239.
24. Orhan, AE; Ma, WJ (2017). "Inferencia probabilística eficiente en redes neuronales genéricas entrenadas con retroalimentación no probabilística". Comunicaciones de la naturaleza . 8 (1): 138. Código bibliográfico : 2017NatCo...8..138O. doi : 10.1038/s41467-017-00181-8 . PMC 5527101 . PMID  28743932. 
25. Murphy, Kevin P. (24 de agosto de 2012). Aprendizaje automático: una perspectiva probabilística. Prensa del MIT. ISBN 978-0-262-01802-9.
26. Fukushima, K. (1969). "Extracción de características visuales mediante una red multicapa de elementos de umbral analógicos". Transacciones IEEE sobre ciencia de sistemas y cibernética . 5 (4): 322–333. doi :10.1109/TSSC.1969.300225.
27. Sonoda, Sho; Murata, Noboru (2017). "La red neuronal con funciones de activación ilimitadas es un aproximador universal". Análisis Armónico Aplicado y Computacional . 43 (2): 233–268. arXiv : 1505.03654 . doi :10.1016/j.acha.2015.12.005. S2CID  12149203.
28. Obispo, Christopher M. (2006). Reconocimiento de patrones y aprendizaje automático (PDF) . Saltador. ISBN 978-0-387-31073-2. Archivado (PDF) desde el original el 11 de enero de 2017 . Consultado el 6 de agosto de 2017 .
29. Pincel, Stephen G. (1967). "Historia del modelo Lenz-Ising". Reseñas de Física Moderna . 39 (4): 883–893. Código bibliográfico : 1967RvMP...39..883B. doi :10.1103/RevModPhys.39.883.
30. Amari, Shun-Ichi (1972). "Patrones de aprendizaje y secuencias de patrones mediante redes autoorganizadas de elementos de umbral". Transacciones IEEE . C (21): 1197-1206.
31. Schmidhuber, Jürgen (2022). "Historia comentada de la IA moderna y el aprendizaje profundo". arXiv : 2212.11279 [cs.NE].
32. Hopfield, JJ (1982). "Redes neuronales y sistemas físicos con habilidades computacionales colectivas emergentes". Procedimientos de la Academia Nacional de Ciencias . 79 (8): 2554–2558. Código bibliográfico : 1982PNAS...79.2554H. doi : 10.1073/pnas.79.8.2554 . PMC 346238 . PMID  6953413. 
33. Tappert, Charles C. (2019). "¿Quién es el padre del aprendizaje profundo?". 2019 Conferencia Internacional sobre Ciencias Computacionales e Inteligencia Computacional (CSCI) . IEEE. págs. 343–348. doi :10.1109/CSCI49370.2019.00067. ISBN 978-1-7281-5584-5. S2CID  216043128 . Consultado el 31 de mayo de 2021 .
34. Rosenblatt, Frank (1962). Principios de neurodinámica . Espartano, Nueva York.
35. Rina Dechter (1986). Aprender buscando en problemas de satisfacción de restricciones. Universidad de California, Departamento de Ciencias de la Computación, Laboratorio de Sistemas Cognitivos. En línea Archivado el 19 de abril de 2016 en Wayback Machine.
36. Fradkov, Alexander L. (1 de enero de 2020). "Historia temprana del aprendizaje automático". IFAC-PapersOnLine . 21º Congreso Mundial de la IFAC. 53 (2): 1385-1390. doi : 10.1016/j.ifacol.2020.12.1888 . ISSN  2405-8963. S2CID  235081987.
37. Ivakhnenko, AG; Lapa, VG (1967). Cibernética y Técnicas de Previsión. ISBN de la empresa estadounidense Elsevier Publishing Co. 978-0-444-00020-0.
38. Ivakhnenko, Alexey (1971). "Teoría polinómica de sistemas complejos" (PDF) . Transacciones IEEE sobre sistemas, hombre y cibernética . SMC-1 (4): 364–378. doi :10.1109/TSMC.1971.4308320. Archivado (PDF) desde el original el 29 de agosto de 2017 . Consultado el 5 de noviembre de 2019 .
39. Robbins, H .; Monro, S. (1951). "Un método de aproximación estocástica". Los anales de la estadística matemática . 22 (3): 400. doi : 10.1214/aoms/1177729586 .
40. Amari, Shun'ichi (1967). "Una teoría del clasificador de patrones adaptativos". Transacciones IEEE . CE (16): 279–307.
41. Matthew Brand (1988) Aprendizaje cerebral y automático. Tesis de licenciatura en estudios tutoriales de la Universidad de Chicago, 1988. Reportada en el Summer Linguistics Institute, Universidad de Stanford, 1987.
42. Linnainmaa, Seppo (1970). La representación del error de redondeo acumulativo de un algoritmo como una expansión de Taylor de los errores de redondeo locales (Masters) (en finlandés). Universidad de Helsinki. págs. 6–7.
43. Linnainmaa, Seppo (1976). "Expansión de Taylor del error de redondeo acumulado". BIT Matemáticas Numéricas . 16 (2): 146–160. doi :10.1007/bf01931367. S2CID  122357351.
44. Griewank, Andreas (2012). "¿Quién inventó el modo inverso de diferenciación?" (PDF) . Documenta Mathematica (Volumen adicional ISMP): 389–400. Archivado desde el original (PDF) el 21 de julio de 2017 . Consultado el 11 de junio de 2017 .
45. Leibniz, Gottfried Wilhelm Freiherr von (1920). Los primeros manuscritos matemáticos de Leibniz: traducidos de los textos latinos publicados por Carl Immanuel Gerhardt con notas críticas e históricas (Leibniz publicó la regla de la cadena en una memoria de 1676). Compañía editorial de corte abierta. ISBN 9780598818461.
46. Kelley, Henry J. (1960). "Teoría del gradiente de rutas de vuelo óptimas". Diario ARS . 30 (10): 947–954. doi : 10.2514/8.5282.
47. Werbos, Paul (1982). "Aplicaciones de los avances en el análisis de sensibilidad no lineal". Modelado y optimización de sistemas . Saltador. págs. 762–770.
48. Werbos, P. (1974). "Más allá de la regresión: nuevas herramientas de predicción y análisis en las ciencias del comportamiento". Universidad Harvard . Consultado el 12 de junio de 2017 .
49. Rumelhart, David E., Geoffrey E. Hinton y RJ Williams. "Aprendiendo representaciones internas por propagación de errores". David E. Rumelhart, James L. McClelland y el grupo de investigación PDP. (editores), Procesamiento distribuido paralelo: exploraciones en la microestructura de la cognición, Volumen 1: Fundación. Prensa del MIT, 1986.
50. Fukushima, K. (1980). "Neocognitron: un modelo de red neuronal autoorganizada para un mecanismo de reconocimiento de patrones que no se ve afectado por el cambio de posición". Biol. Cibern . 36 (4): 193–202. doi :10.1007/bf00344251. PMID  7370364. S2CID  206775608.
51. Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (16 de octubre de 2017). "Búsqueda de funciones de activación". arXiv : 1710.05941 [cs.NE].
52. Aizenberg, IN; Aizenberg, NN; Vandewalle, J. (2000). Neuronas Binarias Universales y de Valores Múltiples. Medios científicos y empresariales. doi :10.1007/978-1-4757-3115-6. ISBN 978-0-7923-7824-2. Consultado el 27 de diciembre de 2023 .
53. Las neuronas recurrentes en coevolución aprenden POMDP de memoria profunda. Proc. GECCO, Washington, DC, págs. 1795–1802, ACM Press, Nueva York, NY, EE. UU., 2005.
54. Zhang, Wei (1988). "Red neuronal de reconocimiento de patrones de cambio invariante y su arquitectura óptica". Actas de la conferencia anual de la Sociedad Japonesa de Física Aplicada .
55. Zhang, Wei (1990). "Modelo de procesamiento distribuido paralelo con interconexiones locales invariantes en el espacio y su arquitectura óptica". Óptica Aplicada . 29 (32): 4790–7. Código Bib : 1990ApOpt..29.4790Z. doi :10.1364/AO.29.004790. PMID  20577468.
56. LeCun et al. , "Retropropagación aplicada al reconocimiento de códigos postales escritos a mano", Computación neuronal , 1, págs. 541–551, 1989.
57. Zhang, Wei (1991). "Procesamiento de imágenes del endotelio corneal humano basado en una red de aprendizaje". Óptica Aplicada . 30 (29): 4211–7. Código Bib : 1991ApOpt..30.4211Z. doi :10.1364/AO.30.004211. PMID  20706526.
58. Zhang, Wei (1994). "Detección computarizada de microcalcificaciones agrupadas en mamografías digitales utilizando una red neuronal artificial invariante por cambio". Física Médica . 21 (4): 517–24. Código bibliográfico : 1994MedPh..21..517Z. doi : 10.1118/1.597177. PMID  8058017.
59. LeCun, Yann; León Bottou; Yoshua Bengio; Patricio Haffner (1998). "Aprendizaje basado en gradientes aplicado al reconocimiento de documentos" (PDF) . Actas del IEEE . 86 (11): 2278–2324. CiteSeerX 10.1.1.32.9552 . doi : 10.1109/5.726791. S2CID  14542261 . Consultado el 7 de octubre de 2016 . 
60. Schmidhuber, Jürgen (1992). "Aprendizaje de secuencias extendidas y complejas utilizando el principio de compresión histórica (basado en TR FKI-148, 1991)" (PDF) . Computación neuronal . 4 (2): 234–242. doi :10.1162/neco.1992.4.2.234. S2CID  18271205.
61. Schmidhuber, Jürgen (1993). Tesis de habilitación (PDF) (en alemán). Archivado desde el original (PDF) el 26 de junio de 2021.
62. Schmidhuber, Jürgen (1 de noviembre de 1992). "Aprender a controlar los recuerdos de peso rápido: una alternativa a las redes recurrentes". Computación neuronal . 4 (1): 131-139. doi :10.1162/neco.1992.4.1.131. S2CID  16683347.
63. Schlag, Imanol ; Irie, Kazuki; Schmidhuber, Jürgen (2021). "Los transformadores lineales son programadores de peso secretamente rápidos". ICML 2021 . Saltador. págs. 9355–9366.
64. Choromanski, Krzysztof; Likhosherstov, Valerii; Dohan, David; Canción, Xingyou; Gane, Andreea; Sarlos, Tamas; Hawkins, Peter; Davis, Jared; Mohiuddin, Afroz; Káiser, Lukasz; Belanger, David; Colwell, Lucy; Weller, Adrián (2020). "Repensar la atención con los artistas intérpretes o ejecutantes". arXiv : 2009.14794 [cs.CL].
65. Schmidhuber, Jürgen (1993). "Reducir la relación entre la complejidad del aprendizaje y el número de variables que varían en el tiempo en redes totalmente recurrentes". ICANN 1993 . Saltador. págs. 460–463.
66. Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, León; Gómez, Aidán N.; Káiser, Lukasz; Polosukhin, Illia (12 de junio de 2017). "Todo lo que necesita es atención". arXiv : 1706.03762 [cs.CL].
67. Lobo, Thomas; Debut, Lisandro; Sanh, Víctor; Chaumond, Julien; Delangue, Clemente; Yo, Antonio; Cistac, Pierric; Rault, Tim; Louf, Rémi; Funtowicz, Morgan; Davison, Joe; Shleifer, Sam; Von Platen, Patrick; Mamá, Clara; Jernita, Yacine; Plu, Julien; Xu, Canwen; Le Scao, Téven; Gugger, Sylvain; Drama, Mariama; Lhoest, Quentin; Rush, Alejandro (2020). "Transformers: procesamiento del lenguaje natural de última generación". Actas de la Conferencia de 2020 sobre métodos empíricos en el procesamiento del lenguaje natural: demostraciones de sistemas . págs. 38–45. doi :10.18653/v1/2020.emnlp-demos.6. S2CID  208117506.
68. Él, Cheng (31 de diciembre de 2021). "Transformador en CV". Transformador en CV . Hacia la ciencia de datos.
69. Schmidhuber, Jürgen (1991). "Una posibilidad para implementar la curiosidad y el aburrimiento en los controladores neuronales de construcción de modelos". Proc. SAB'1991 . Prensa del MIT/Libros Bradford. págs. 222-227.
70. Schmidhuber, Jürgen (2010). "Teoría formal de la creatividad, la diversión y la motivación intrínseca (1990-2010)". Transacciones IEEE sobre desarrollo mental autónomo . 2 (3): 230–247. doi :10.1109/TAMD.2010.2056368. S2CID  234198.
71. Schmidhuber, Jürgen (2020). "Las redes generativas adversas son casos especiales de curiosidad artificial (1990) y también están estrechamente relacionadas con la minimización de la previsibilidad (1991)". Redes neuronales . 127 : 58–66. arXiv : 1906.04493 . doi :10.1016/j.neunet.2020.04.008. PMID  32334341. S2CID  216056336.
72. Buen compañero, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aarón; Bengio, Yoshua (2014). Redes generativas adversarias (PDF) . Actas de la Conferencia Internacional sobre Sistemas de Procesamiento de Información Neural (NIPS 2014). págs. 2672–2680. Archivado (PDF) desde el original el 22 de noviembre de 2019 . Consultado el 20 de agosto de 2019 .
73. "Prepárese, que no cunda el pánico: medios sintéticos y deepfakes". testigo.org. Archivado desde el original el 2 de diciembre de 2020 . Consultado el 25 de noviembre de 2020 .
74. "GAN 2.0: generador de rostros hiperrealista de NVIDIA". SyncedReview.com . 14 de diciembre de 2018 . Consultado el 3 de octubre de 2019 .
75. Karras, T.; Aila, T.; Laine, S.; Lehtinen, J. (26 de febrero de 2018). "Crecimiento progresivo de GAN para mejorar la calidad, la estabilidad y la variación". arXiv : 1710.10196 [cs.NE].
76. S. Hochreiter., "Untersuchungen zu dynamischen neuronalen Netzen". Archivado el 6 de marzo de 2015 en Wayback Machine . Tesis de diploma. Instituto f. Informática, Universidad Técnica. Munich. Asesor: J. Schmidhuber , 1991.
77. Hochreiter, S.; et al. (15 de enero de 2001). "Flujo de gradiente en redes recurrentes: la dificultad de aprender dependencias a largo plazo". En Kolen, John F.; Kremer, Stefan C. (eds.). Una guía de campo para redes dinámicas recurrentes . John Wiley e hijos. ISBN 978-0-7803-5369-5.
78. Hochreiter, Sepp; Schmidhuber, Jürgen (1 de noviembre de 1997). "Memoria a largo plazo". Computación neuronal . 9 (8): 1735–1780. doi :10.1162/neco.1997.9.8.1735. ISSN  0899-7667. PMID  9377276. S2CID  1915014.
79. Gers, Félix; Schmidhuber, Jürgen; Cummins, Fred (1999). "Aprender a olvidar: predicción continua con LSTM". 9ª Conferencia Internacional sobre Redes Neuronales Artificiales: ICANN '99 . vol. 1999, págs. 850–855. doi :10.1049/cp:19991218. ISBN 0-85296-721-7.
80. Srivastava, Rupesh Kumar; Greff, Klaus; Schmidhuber, Jürgen (2 de mayo de 2015). "Redes de Carreteras". arXiv : 1505.00387 [cs.LG].
81. Srivastava, Rupesh K; Greff, Klaus; Schmidhuber, Jürgen (2015). "Entrenamiento de redes muy profundas". Avances en los sistemas de procesamiento de información neuronal . Curran Associates, Inc. 28 : 2377–2385.
82. Él, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sol, Jian (2016). Aprendizaje residual profundo para el reconocimiento de imágenes. Conferencia IEEE 2016 sobre visión por computadora y reconocimiento de patrones (CVPR) . Las Vegas, NV, EE.UU.: IEEE. págs. 770–778. arXiv : 1512.03385 . doi :10.1109/CVPR.2016.90. ISBN 978-1-4673-8851-1.
83. de Carvalho, André CLF; Fairhurst, Mike C.; Bisset, David (8 de agosto de 1994). "Una red neuronal booleana integrada para clasificación de patrones". Letras de reconocimiento de patrones . 15 (8): 807–813. Código Bib : 1994PaReL..15..807D. doi :10.1016/0167-8655(94)90009-4.
84. Hinton, Geoffrey E.; Dayán, Peter; Frey, Brendan J.; Neal, Radford (26 de mayo de 1995). "El algoritmo de vigilia-sueño para redes neuronales no supervisadas". Ciencia . 268 (5214): 1158-1161. Código Bib : 1995 Ciencia... 268.1158H. doi : 10.1126/ciencia.7761831. PMID  7761831. S2CID  871473.
85. Behnke, Sven (2003). Redes neuronales jerárquicas para interpretación de imágenes . Apuntes de conferencias sobre informática. vol. 2766. Saltador. doi :10.1007/b11963. ISBN 3-540-40722-7. S2CID  1304548.
86. Morgan, Nelson; Bourlard, Hervé; Renales, Steve; Cohen, Michael; Franco, Horacio (1 de agosto de 1993). "Sistemas de modelo de Markov oculto / red neuronal híbrida para reconocimiento continuo de voz". Revista Internacional de Reconocimiento de Patrones e Inteligencia Artificial . 07 (4): 899–916. doi :10.1142/s0218001493000455. ISSN  0218-0014.
87. Robinson, T. (1992). "Un sistema de reconocimiento de palabras en red de propagación de errores recurrentes en tiempo real". ICASSP . Icassp'92: 617–620. ISBN 9780780305328. Archivado desde el original el 9 de mayo de 2021 . Consultado el 12 de junio de 2017 .
88. Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, KJ (marzo de 1989). "Reconocimiento de fonemas mediante redes neuronales con retardo de tiempo" (PDF) . Transacciones IEEE sobre acústica, voz y procesamiento de señales . 37 (3): 328–339. doi :10.1109/29.21701. hdl :10338.dmlcz/135496. ISSN  0096-3518. S2CID  9563026. Archivado (PDF) desde el original el 27 de abril de 2021 . Consultado el 24 de septiembre de 2019 .
89. Panadero, J.; Deng, Li; Vidrio, Jim; Khudanpur, S.; Lee, CH-H.; Morgan, N.; O'Shaughnessy, D. (2009). "Desarrollos y direcciones de la investigación en el reconocimiento y la comprensión del habla, parte 1". Revista de procesamiento de señales IEEE . 26 (3): 75–80. Código Bib : 2009 ISPM...26...75B. doi : 10.1109/msp.2009.932166. hdl :1721.1/51891. S2CID  357467.
90. Bengio, Y. (1991). "Redes neuronales artificiales y su aplicación al reconocimiento de secuencias y voz". Doctorado de la Universidad McGill. tesis. Archivado desde el original el 9 de mayo de 2021 . Consultado el 12 de junio de 2017 .
91. Deng, L.; Hassanein, K.; Elmasry, M. (1994). "Análisis de estructura de correlación para un modelo predictivo neuronal con aplicaciones al reconocimiento de voz". Redes neuronales . 7 (2): 331–339. doi :10.1016/0893-6080(94)90027-2.
92. Doddington, G.; Przybocki, M.; Martín, A.; Reynolds, D. (2000). "La evaluación de reconocimiento de oradores del NIST ± Descripción general, metodología, sistemas, resultados, perspectiva". Comunicación del habla . 31 (2): 225–254. doi :10.1016/S0167-6393(99)00080-1.
93. Diablos, L.; König, Y.; Sonmez, M.; Weintraub, M. (2000). "Robustez ante la distorsión del auricular telefónico en el reconocimiento del hablante mediante un diseño de características discriminativas". Comunicación del habla . 31 (2): 181-192. doi :10.1016/s0167-6393(99)00077-1.
94. "Modelado acústico con redes neuronales profundas utilizando señal de tiempo sin procesar para LVCSR (descarga PDF disponible)". Puerta de la investigación . Archivado desde el original el 9 de mayo de 2021 . Consultado el 14 de junio de 2017 .
95. Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). "Reconocimiento de voz biológicamente plausible con redes neuronales LSTM" (PDF) . 1er Internacional Taller sobre enfoques de inspiración biológica para tecnologías de la información avanzadas, Bio-ADIT 2004, Lausana, Suiza . págs. 175–184. Archivado (PDF) desde el original el 9 de mayo de 2021 . Consultado el 9 de abril de 2016 .
96. Graves, Alex ; Fernández, Santiago; Gómez, Faustino; Schmidhuber, Jürgen (2006). "Clasificación temporal conexionista: etiquetado de datos de secuencia no segmentados con redes neuronales recurrentes". Actas de la Conferencia Internacional sobre Aprendizaje Automático, ICML 2006 : 369–376. CiteSeerX 10.1.1.75.6306 . 
97. Santiago Fernández, Alex Graves y Jürgen Schmidhuber (2007). Una aplicación de redes neuronales recurrentes para la detección discriminativa de palabras clave Archivado el 18 de noviembre de 2018 en Wayback Machine . Actas de ICANN (2), págs. 220–229.
98. Sak, Haşim; Mayor, Andrés; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (septiembre de 2015). "Búsqueda por voz de Google: más rápida y precisa". Archivado desde el original el 9 de marzo de 2016 . Consultado el 9 de abril de 2016 .
99. Yann LeCun (2016). Diapositivas sobre aprendizaje profundo en línea Archivado el 23 de abril de 2016 en Wayback Machine.
100. Hinton, Geoffrey E. (1 de octubre de 2007). "Aprender múltiples capas de representación". Tendencias en Ciencias Cognitivas . 11 (10): 428–434. doi :10.1016/j.tics.2007.09.004. ISSN  1364-6613. PMID  17921042. S2CID  15066318. Archivado desde el original el 11 de octubre de 2013 . Consultado el 12 de junio de 2017 .
101. Hinton, GE ; Osindero, S.; Teh, YW (2006). "Un algoritmo de aprendizaje rápido para redes de creencias profundas" (PDF) . Computación neuronal . 18 (7): 1527-1554. doi :10.1162/neco.2006.18.7.1527. PMID  16764513. S2CID  2309950. Archivado (PDF) desde el original el 23 de diciembre de 2015 . Consultado el 20 de julio de 2011 .
102. Bengio, Yoshua (2012). "Recomendaciones prácticas para el entrenamiento de arquitecturas profundas basado en gradientes". arXiv : 1206.5533 [cs.LG].
103. GE Hinton., "Aprendiendo múltiples capas de representación". Archivado el 22 de mayo de 2018 en Wayback Machine . Tendencias en ciencias cognitivas , 11, págs. 428–434, 2007.
104. Hinton, G.; Deng, L.; Yu, D.; Dahl, G.; Mohamed, A.; Jaitly, N.; Mayor, A.; Vanhoucke, V.; Nguyen, P.; Sainath, T .; Kingsbury, B. (2012). "Redes neuronales profundas para el modelado acústico en el reconocimiento de voz: las opiniones compartidas de cuatro grupos de investigación". Revista de procesamiento de señales IEEE . 29 (6): 82–97. Código Bib : 2012 ISPM...29...82H. doi :10.1109/msp.2012.2205597. S2CID  206485943.
105. Deng, L.; Hinton, G.; Kingsbury, B. (mayo de 2013). "Nuevos tipos de aprendizaje profundo de redes neuronales para el reconocimiento de voz y aplicaciones relacionadas: descripción general (ICASSP)" (PDF) . Microsoft. Archivado (PDF) desde el original el 26 de septiembre de 2017 . Consultado el 27 de diciembre de 2023 .
106. Yu, D.; Deng, L. (2014). Reconocimiento automático de voz: un enfoque de aprendizaje profundo (Editorial: Springer). Saltador. ISBN 978-1-4471-5779-3.
107. "Deng recibe el prestigioso premio IEEE Technical Achievement Award - Microsoft Research". Investigación de Microsoft . 3 de diciembre de 2015. Archivado desde el original el 16 de marzo de 2018 . Consultado el 16 de marzo de 2018 .
108. Li, Deng (septiembre de 2014). "Charla magistral: 'Logros y desafíos del aprendizaje profundo: desde el análisis y el reconocimiento del habla hasta el lenguaje y el procesamiento multimodal'". Interdiscurso . Archivado desde el original el 26 de septiembre de 2017 . Consultado el 12 de junio de 2017 .
109. Yu, D.; Deng, L. (2010). "Funciones de la capacitación previa y el ajuste en DBN-HMM dependientes del contexto para el reconocimiento de voz en el mundo real". Taller NIPS sobre aprendizaje profundo y aprendizaje de funciones no supervisadas . Archivado desde el original el 12 de octubre de 2017 . Consultado el 14 de junio de 2017 .
110. Seide, F.; Li, G.; Yu, D. (2011). "Transcripción de discurso conversacional utilizando redes neuronales profundas dependientes del contexto". Entre discursos : 437–440. doi : 10.21437/Interspeech.2011-169. S2CID  398770. Archivado desde el original el 12 de octubre de 2017 . Consultado el 14 de junio de 2017 .
111. Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Mike; Zweig, Geoff; Él, Xiaodong (1 de mayo de 2013). "Avances recientes en aprendizaje profundo para la investigación del habla en Microsoft". Investigación de Microsoft . Archivado desde el original el 12 de octubre de 2017 . Consultado el 14 de junio de 2017 .
112. Singh, Premjeet; Saha, Goutam; Sahidullah, Maryland (2021). "Deformación de frecuencia no lineal mediante transformación de Q constante para el reconocimiento de emociones del habla". 2021 Conferencia Internacional sobre Informática y Comunicación Informática (ICCCI) . págs. 1–4. arXiv : 2102.04029 . doi :10.1109/ICCCI50826.2021.9402569. ISBN 978-1-7281-5875-4. S2CID  231846518.
113. Sak, Hasim; Mayor, Andrés; Beaufays, Françoise (2014). "Arquitecturas de redes neuronales recurrentes de memoria a corto plazo para modelado acústico a gran escala" (PDF) . Archivado desde el original (PDF) el 24 de abril de 2018.
114. Li, Xiangang; Wu, Xihong (2014). "Construcción de redes neuronales recurrentes profundas basadas en memoria a largo plazo para el reconocimiento de voz de gran vocabulario". arXiv : 1410.4281 [cs.CL].
115. Zen, Heiga; Sak, Hasim (2015). "Red neuronal recurrente unidireccional de memoria a corto plazo con capa de salida recurrente para síntesis de voz de baja latencia" (PDF) . Google.com . ICASP. págs. 4470–4474. Archivado (PDF) desde el original el 9 de mayo de 2021 . Consultado el 13 de junio de 2017 .
116. "El director ejecutivo de Nvidia apuesta fuerte por el aprendizaje profundo y la realidad virtual". Vencer Beat . 5 de abril de 2016. Archivado desde el original el 25 de noviembre de 2020 . Consultado el 21 de abril de 2017 .
117. "De no trabajar a las redes neuronales". El economista . Archivado desde el original el 31 de diciembre de 2016 . Consultado el 26 de agosto de 2017 .
118. Oh, K.-S.; Jung, K. (2004). "Implementación GPU de redes neuronales". Reconocimiento de patrones . 37 (6): 1311-1314. Código Bib : 2004PatRe..37.1311O. doi :10.1016/j.patcog.2004.01.013.
119. "Una encuesta sobre técnicas para optimizar el aprendizaje profundo en GPU Archivado el 9 de mayo de 2021 en Wayback Machine ", S. Mittal y S. Vaishay, Journal of Systems Architecture, 2019
120. Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), Redes neuronales convolucionales de alto rendimiento para el procesamiento de documentos, archivado desde el original el 18 de mayo de 2020 , consultado el 14 de febrero de 2021.
121. Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca María; Schmidhuber, Jürgen (21 de septiembre de 2010). "Redes neuronales profundas, grandes y simples para el reconocimiento de dígitos escritos a mano". Computación neuronal . 22 (12): 3207–3220. arXiv : 1003.0358 . doi :10.1162/neco_a_00052. ISSN  0899-7667. PMID  20858131. S2CID  1918673.
122. Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009). "Aprendizaje profundo no supervisado a gran escala mediante procesadores gráficos". Actas de la 26ª Conferencia Internacional Anual sobre Aprendizaje Automático . ICML '09. Nueva York, NY, Estados Unidos: ACM. págs. 873–880. CiteSeerX 10.1.1.154.372 . doi :10.1145/1553374.1553486. ISBN  9781605585161. S2CID  392458.
123. Tamaño, Vivienne ; Chen, Yu-Hsin; Yang, Tien-Ju; Emer, Joel (2017). "Procesamiento eficiente de redes neuronales profundas: tutorial y encuesta". arXiv : 1703.09039 [cs.CV].
124. Tumbas, Alex; y Schmidhuber, Jürgen; Reconocimiento de escritura a mano sin conexión con redes neuronales recurrentes multidimensionales , en Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris KI; y Culotta, Aron (eds.), Advances in Neural Information Processing Systems 22 (NIPS'22), 7 al 10 de diciembre de 2009, Vancouver, BC , Neural Information Processing Systems (NIPS), Foundation, 2009, págs.
125. Blog de investigación de Google. Las redes neuronales detrás de la transcripción de Google Voice. 11 de agosto de 2015. Por Françoise Beaufays http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html
126. Ciresan, CC; Meier, U.; Masci, J.; Gambardella, LM; Schmidhuber, J. (2011). "Redes neuronales convolucionales flexibles y de alto rendimiento para clasificación de imágenes" (PDF) . Conferencia Conjunta Internacional sobre Inteligencia Artificial . doi :10.5591/978-1-57735-516-8/ijcai11-210. Archivado (PDF) desde el original el 29 de septiembre de 2014 . Consultado el 13 de junio de 2017 .
127. Ciresano, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen (2012). Pereira, F.; Burges, CJC; Bottou, L.; Weinberger, KQ (eds.). Avances en los sistemas de procesamiento de información neuronal 25 (PDF) . Curran Associates, Inc. págs. 2843–2851. Archivado (PDF) desde el original el 9 de agosto de 2017 . Consultado el 13 de junio de 2017 .
128. Ciresan, D.; Giusti, A.; Gambardella, LM; Schmidhuber, J. (2013). "Detección de mitosis en imágenes histológicas de cáncer de mama con redes neuronales profundas". Computación de imágenes médicas e intervención asistida por computadora – MICCAI 2013 . Apuntes de conferencias sobre informática. vol. 7908. págs. 411–418. doi :10.1007/978-3-642-40763-5_51. ISBN 978-3-642-38708-1. PMID  24579167.
129. Simonyan, Karen; Andrés, Zisserman (2014). "Redes de convolución muy profundas para el reconocimiento de imágenes a gran escala". arXiv : 1409.1556 [cs.CV].
130. Vinyals, Oriol; Toshev, Alejandro; Bengio, Samy; Erhan, Dumitru (2014). "Mostrar y contar: un generador de subtítulos de imágenes neuronales". arXiv : 1411.4555 [cs.CV]..
131. Colmillo, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; Él, Xiaodong; Mitchell, Margarita; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). "De los subtítulos a los conceptos visuales y viceversa". arXiv : 1411.4952 [cs.CV]..
132. Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). "Unificación de incrustaciones visual-semánticas con modelos de lenguaje neuronal multimodal". arXiv : 1411.2539 [cs.LG]..
133. "Desafío de actividad molecular de Merck". kaggle.com . Archivado desde el original el 16 de julio de 2020 . Consultado el 16 de julio de 2020 .
134. "Redes neuronales multitarea para predicciones QSAR | Asociación de ciencia de datos". www.datascienceassn.org . Archivado desde el original el 30 de abril de 2017 . Consultado el 14 de junio de 2017 .
135. "Toxicología en el desafío de datos del siglo XXI"
136. "NCATS anuncia los ganadores del desafío de datos Tox21". Archivado desde el original el 8 de septiembre de 2015 . Consultado el 5 de marzo de 2015 .
137. "NCATS anuncia los ganadores del desafío de datos Tox21". Archivado desde el original el 28 de febrero de 2015 . Consultado el 5 de marzo de 2015 .
138. "Por qué el aprendizaje profundo está cambiando repentinamente su vida". Fortuna . 2016. Archivado desde el original el 14 de abril de 2018 . Consultado el 13 de abril de 2018 .
139. Ferrie, C. y Kaiser, S. (2019). Redes neuronales para bebés . Libros de consulta. ISBN 978-1492671206.{{cite book}}: CS1 maint: multiple names: authors list (link)
140. Plata, David; Huang, Aja; Maddison, Chris J.; Guez, Arturo; Sifré, Laurent; Driessche, George van den; Schrittwieser, Julián; Antonoglou, Ioannis; Panneershelvam, Veda (enero de 2016). "Dominar el juego de Go con redes neuronales profundas y búsqueda de árboles". Naturaleza . 529 (7587): 484–489. Código Bib :2016Natur.529..484S. doi : 10.1038/naturaleza16961. ISSN  1476-4687. PMID  26819042. S2CID  515925.
141. Una guía para el aprendizaje profundo y las redes neuronales, archivado desde el original el 2 de noviembre de 2020 , consultado el 16 de noviembre de 2020
142. Szegedy, cristiano; Toshev, Alejandro; Erhan, Dumitru (2013). "Redes neuronales profundas para la detección de objetos". Avances en los sistemas de procesamiento de información neuronal : 2553–2561. Archivado desde el original el 29 de junio de 2017 . Consultado el 13 de junio de 2017 .
143. Rolnick, David; Tegmark, Max (2018). "El poder de redes más profundas para expresar funciones naturales". Conferencia Internacional sobre Representaciones del Aprendizaje . ICLR 2018. Archivado desde el original el 7 de enero de 2021 . Consultado el 5 de enero de 2021 .
144. Hof, Robert D. "¿La inteligencia artificial finalmente está ganando terreno?". Revisión de tecnología del MIT . Archivado desde el original el 31 de marzo de 2019 . Consultado el 10 de julio de 2018 .
145. Gers, Félix A.; Schmidhuber, Jürgen (2001). "Las redes recurrentes de LSTM aprenden lenguajes simples sensibles al contexto y libres de contexto". Transacciones IEEE en redes neuronales . 12 (6): 1333-1340. doi : 10.1109/72.963769. PMID  18249962. S2CID  10192330. Archivado desde el original el 26 de enero de 2020 . Consultado el 25 de febrero de 2020 .
146. Sutskever, L .; Vinyals, O.; Le, Q. (2014). "Aprendizaje secuencia a secuencial con redes neuronales" (PDF) . Proc. NIPS . arXiv : 1409.3215 . Código Bib : 2014arXiv1409.3215S. Archivado (PDF) desde el original el 9 de mayo de 2021 . Consultado el 13 de junio de 2017 .
147. Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). "Explorando los límites del modelado del lenguaje". arXiv : 1602.02410 [cs.CL].
148. Gillick, Dan; Brunk, acantilado; Vinyals, Oriol; Subramanya, Amarnag (2015). "Procesamiento de idiomas multilingües a partir de bytes". arXiv : 1512.00103 [cs.CL].
149. Mikolov, T.; et al. (2010). "Modelo de lenguaje basado en redes neuronales recurrentes" (PDF) . Entre discursos : 1045–1048. doi : 10.21437/Interspeech.2010-343. S2CID  17048224. Archivado (PDF) desde el original el 16 de mayo de 2017 . Consultado el 13 de junio de 2017 .
150. "Aprendizaje de la sincronización precisa con redes recurrentes LSTM (descarga en PDF disponible)". Puerta de la investigación . Archivado desde el original el 9 de mayo de 2021 . Consultado el 13 de junio de 2017 .
151. LeCun, Y.; et al. (1998). "Aprendizaje basado en gradientes aplicado al reconocimiento de documentos". Actas del IEEE . 86 (11): 2278–2324. doi : 10.1109/5.726791. S2CID  14542261.
152. Sainath, Tara N .; Mohamed, Abdel-Rahman; Kingsbury, Brian; Ramabhadran, Bhuvana (2013). "Redes neuronales convolucionales profundas para LVCSR". Conferencia internacional IEEE 2013 sobre acústica, habla y procesamiento de señales . págs. 8614–8618. doi :10.1109/icassp.2013.6639347. ISBN 978-1-4799-0356-6. S2CID  13816461.
153. Bengio, Yoshua; Boulanger-Lewandowski, Nicolas; Pascanu, Razvan (2013). "Avances en la optimización de redes recurrentes". Conferencia internacional IEEE 2013 sobre acústica, habla y procesamiento de señales . págs. 8624–8628. arXiv : 1212.0901 . CiteSeerX 10.1.1.752.9151 . doi :10.1109/icassp.2013.6639349. ISBN  978-1-4799-0356-6. S2CID  12485056.
154. Dahl, G.; et al. (2013). "Mejora de DNN para LVCSR utilizando unidades lineales rectificadas y abandono" (PDF) . ICASSP . Archivado (PDF) desde el original el 12 de agosto de 2017 . Consultado el 13 de junio de 2017 .
155. "Aumento de datos - deeplearning.ai | Coursera". Coursera . Archivado desde el original el 1 de diciembre de 2017 . Consultado el 30 de noviembre de 2017 .
156. Hinton, GE (2010). "Una guía práctica para el entrenamiento de máquinas Boltzmann restringidas". Tecnología. Representante UTML TR 2010-003 . Archivado desde el original el 9 de mayo de 2021 . Consultado el 13 de junio de 2017 .
157. Tú, Yang; Buluç, Aydin; Demmel, James (noviembre de 2017). "Ampliación del aprendizaje profundo en GPU y grupos de aterrizaje de caballeros". Actas de la Conferencia Internacional sobre Computación, Redes, Almacenamiento y Análisis de Alto Rendimiento en - SC '17. SC '17, ACM. págs. 1–12. doi :10.1145/3126908.3126912. ISBN 9781450351140. S2CID  8869270. Archivado desde el original el 29 de julio de 2020 . Consultado el 5 de marzo de 2018 .
158. Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (2019). "CHAOS: un esquema de paralelización para entrenar redes neuronales convolucionales en Intel Xeon Phi". La revista de supercomputación . 75 : 197–227. arXiv : 1702.07908 . Código Bib : 2017arXiv170207908V. doi :10.1007/s11227-017-1994-x. S2CID  14135321.
159. Ting Qin, et al. "Un algoritmo de aprendizaje de CMAC basado en RLS". Cartas de procesamiento neuronal 19.1 (2004): 49-61.
160. Ting Qin y otros. "CMAC-QRLS continuo y su matriz sistólica". Archivado el 18 de noviembre de 2018 en Wayback Machine . Cartas de procesamiento neuronal 22.1 (2005): 1-16.
161. Investigación, IA (23 de octubre de 2015). "Redes neuronales profundas para modelado acústico en reconocimiento de voz". airesearch.com . Archivado desde el original el 1 de febrero de 2016 . Consultado el 23 de octubre de 2015 .
162. "Las GPU continúan dominando el mercado de aceleradores de IA por ahora". Semana de la Información . Diciembre de 2019. Archivado desde el original el 10 de junio de 2020 . Consultado el 11 de junio de 2020 .
163. Ray, Tiernan (2019). "La IA está cambiando toda la naturaleza de la computación". ZDNet . Archivado desde el original el 25 de mayo de 2020 . Consultado el 11 de junio de 2020 .
164. "IA y computación". AbiertoAI . 16 de mayo de 2018. Archivado desde el original el 17 de junio de 2020 . Consultado el 11 de junio de 2020 .
165. "HUAWEI revela el futuro de la IA móvil en IFA 2017 | Últimas noticias de HUAWEI | HUAWEI Global". consumidor.huawei.com .
166. P, JouppiNorman; Acantilado joven; Patil Nishant; PattersonDavid; AgrawalGaurav; Bajwa Raminder; BatesSarah; BhatiaSuresh; BodenNan; BorchersAl; BoyleRick (24 de junio de 2017). "Análisis de rendimiento en el centro de datos de una unidad de procesamiento tensorial". Noticias de arquitectura informática de ACM SIGARCH . 45 (2): 1–12. arXiv : 1704.04760 . doi : 10.1145/3140659.3080246 .
167. Woodie, Alex (1 de noviembre de 2021). "Cerebras pisa el acelerador de cargas de trabajo de aprendizaje profundo". Datanami . Consultado el 3 de agosto de 2022 .
168. "Cerebras lanza un nuevo procesador de supercomputación de IA con 2,6 billones de transistores". VentureBeat . 2021-04-20 . Consultado el 3 de agosto de 2022 .
169. Marega, Guilherme Migliato; Zhao, Yanfei; Avsar, Ahmet; Wang, Zhenyu; Tripati, Mukesh; Radenovic, Aleksandra; Kis, Anras (2020). "Lógica en memoria basada en un semiconductor atómicamente delgado". Naturaleza . 587 (2): 72–77. Código Bib :2020Natur.587...72M. doi :10.1038/s41586-020-2861-0. PMC 7116757 . PMID  33149289. 
170. , J.; Sangre joven, N.; Kárpov, M.; et al. (2021). "Procesamiento convolucional paralelo mediante un tensor fotónico integrado". Naturaleza . 589 (2): 52–58. arXiv : 2002.00281 . doi :10.1038/s41586-020-03070-1. PMID  33408373. S2CID  211010976.
171. Garofolo, JS; Lamel, LF; Pescador, WM; Fiscus, JG; Pallett, DS; Dahlgren, Países Bajos; Zué, V. (1993). Corpus de habla continua acústico-fonética TIMIT. Consorcio de Datos Lingüísticos. doi :10.35111/17gk-bn40. ISBN 1-58563-019-5. Consultado el 27 de diciembre de 2023 .
172. Robinson, Tony (30 de septiembre de 1991). "Varias mejoras en un sistema de reconocimiento telefónico de red de propagación de errores recurrentes". Informe técnico del Departamento de Ingeniería de la Universidad de Cambridge . CUED/F-INFENG/TR82. doi :10.13140/RG.2.2.15418.90567.
173. Abdel-Hamid, O.; et al. (2014). "Redes neuronales convolucionales para el reconocimiento de voz". Transacciones IEEE/ACM sobre procesamiento de audio, voz y lenguaje . 22 (10): 1533-1545. doi :10.1109/taslp.2014.2339736. S2CID  206602362. Archivado desde el original el 22 de septiembre de 2020 . Consultado el 20 de abril de 2018 .
174. Deng, L.; Platt, J. (2014). "Aprendizaje profundo conjunto para el reconocimiento de voz". Proc. Entre discursos : 1915-1919. doi : 10.21437/Interspeech.2014-433. S2CID  15641618.
175. Tóth, Laszló (2015). "Reconocimiento de teléfono con redes jerárquicas convolucionales Deep Maxout" (PDF) . Revista EURASIP sobre procesamiento de audio, voz y música . 2015 . doi : 10.1186/s13636-015-0068-3 . S2CID  217950236. Archivado (PDF) desde el original el 24 de septiembre de 2020 . Consultado el 1 de abril de 2019 .
176. McMillan, Robert (17 de diciembre de 2014). "Cómo Skype utilizó la IA para crear su increíble nuevo traductor de idiomas | WIRED". Cableado . Archivado desde el original el 8 de junio de 2017 . Consultado el 14 de junio de 2017 .
177. Hannun, Awni; Caso, Carl; Casper, Jared; Catanzaro, Bryan; Diamos, Greg; Elsen, Erich; Prenger, Ryan; Satheesh, Sanjeev; Sengupta, Shubho; Coates, Adán; Ng, Andrew Y (2014). "Deep Speech: ampliación del reconocimiento de voz de un extremo a otro". arXiv : 1412.5567 [cs.CL].
178. "Base de datos de dígitos escritos a mano del MNIST, Yann LeCun, Corinna Cortes y Chris Burges". yann.lecun.com . Archivado desde el original el 13 de enero de 2014 . Consultado el 28 de enero de 2014 .
179. Cireşan, Dan; Meier, Ueli; Masci, Jonathan; Schmidhuber, Jürgen (agosto de 2012). "Red neuronal profunda de varias columnas para clasificación de señales de tráfico". Redes neuronales . Artículos seleccionados de IJCNN 2011. 32 : 333–338. CiteSeerX 10.1.1.226.8219 . doi :10.1016/j.neunet.2012.02.023. PMID  22386783. 
180. Chaochao Lu; Xiaoou Tang (2014). "Superando el reconocimiento facial a nivel humano". arXiv : 1404.3840 [cs.CV].
181. Nvidia demuestra una computadora para automóvil entrenada con "aprendizaje profundo" (6 de enero de 2015), David Talbot, MIT Technology Review
182. GW Smith; Frédéric Fol Leymarie (10 de abril de 2017). "La máquina como artista: una introducción". Artes . 6 (4): 5. doi : 10.3390/arts6020005 .
183. Blaise Agüera y Arcas (29 de septiembre de 2017). "Arte en la era de la inteligencia artificial". Artes . 6 (4): 18. doi : 10.3390/arts6040018 .
184. Goldberg, Yoav; Levy, Omar (2014). "Explicación de word2vec: derivación del método de incrustación de palabras de muestreo negativo de Mikolov et al." arXiv : 1402.3722 [cs.CL].
185. Socher, Richard; Manning, Cristóbal. "Aprendizaje profundo para PNL" (PDF) . Archivado (PDF) desde el original el 6 de julio de 2014 . Consultado el 26 de octubre de 2014 .
186. Socher, Richard; Bauer, Juan; Manning, Cristóbal; Ng, Andrés (2013). "Análisis con gramáticas vectoriales composicionales" (PDF) . Actas de la Conferencia ACL 2013 . Archivado (PDF) desde el original el 27 de noviembre de 2014 . Consultado el 3 de septiembre de 2014 .
187. Socher, R.; Perelygin, A.; Wu, J.; Chuang, J.; Manning, CD; Ng, A.; Potts, C. (octubre de 2013). "Modelos profundos recursivos para la composicionalidad semántica sobre un banco de árboles de sentimientos" (PDF) . Actas de la Conferencia de 2013 sobre métodos empíricos en el procesamiento del lenguaje natural . Asociación de Lingüística Computacional. Archivado (PDF) desde el original el 28 de diciembre de 2016 . Consultado el 21 de diciembre de 2023 .
188. Shen, Yelong; Él, Xiaodong; Gao, Jianfeng; Deng, Li; Mesnil, Gregoire (1 de noviembre de 2014). "Un modelo semántico latente con estructura de agrupación convolucional para la recuperación de información". Investigación de Microsoft . Archivado desde el original el 27 de octubre de 2017 . Consultado el 14 de junio de 2017 .
189. Huang, Po-Sen; Él, Xiaodong; Gao, Jianfeng; Deng, Li; Acero, Álex; Diablos, Larry (1 de octubre de 2013). "Aprendizaje de modelos semánticos estructurados profundos para búsquedas web utilizando datos de clics". Investigación de Microsoft . Archivado desde el original el 27 de octubre de 2017 . Consultado el 14 de junio de 2017 .
190. Mesnil, G.; Delfín, Y.; Ya ok.; Bengio, Y.; Deng, L.; Hakkani-Tur, D.; Él, X.; Diablos, L.; Tur, G.; Yu, D.; Zweig, G. (2015). "Uso de redes neuronales recurrentes para completar espacios en la comprensión del lenguaje hablado". Transacciones IEEE sobre procesamiento de audio, voz y lenguaje . 23 (3): 530–539. doi :10.1109/taslp.2014.2383614. S2CID  1317136.
191. Gao, Jianfeng; Él, Xiaodong; Yih, Scott Wen-tau; Deng, Li (1 de junio de 2014). "Aprendizaje de representaciones de frases continuas para el modelado de traducción". Investigación de Microsoft . Archivado desde el original el 27 de octubre de 2017 . Consultado el 14 de junio de 2017 .
192. Brocardo, Marcelo Luiz; Traoré, Issa; Woungang, Isaac; Obaidat, Mohammad S. (2017). "Verificación de autoría mediante sistemas de redes de creencias profundas". Revista Internacional de Sistemas de Comunicación . 30 (12): e3259. doi :10.1002/dac.3259. S2CID  40745740.
193. Kariampuzha, William; Alyea, Gioconda; Qu, Sue; Sanjak, Jaleal; Mathé, Ewy; Sid, Eric; Chatelaine, Haley; Yadaw, Arjun; Xu, Yanji; Zhu, Qian (2023). "Extracción de información de precisión para la epidemiología de enfermedades raras a escala". Revista de medicina traslacional . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . PMC 9972634 . PMID  36855134. 
194. "Aprendizaje profundo para el procesamiento del lenguaje natural: teoría y práctica (tutorial CIKM2014) - Microsoft Research". Investigación de Microsoft . Archivado desde el original el 13 de marzo de 2017 . Consultado el 14 de junio de 2017 .
195. Turovsky, Barak (15 de noviembre de 2016). "Encontrado en traducción: oraciones más precisas y fluidas en Google Translate". La palabra clave del blog de Google . Archivado desde el original el 7 de abril de 2017 . Consultado el 23 de marzo de 2017 .
196. Schuster, Mike; Johnson, Melvin; Thorat, Nikhil (22 de noviembre de 2016). "Traducción Zero-Shot con el sistema de traducción automática neuronal multilingüe de Google". Blog de investigación de Google . Archivado desde el original el 10 de julio de 2017 . Consultado el 23 de marzo de 2017 .
197. Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V; Norouzi, Mohammad; Macherey, Wolfgang; Krikún, Maxim; Cao, Yuan; Gao, Qin; Macherey, Klaus; Klingner, Jeff; Shah, Apurva; Johnson, Melvin; Liu, Xiaobing; Káiser, Łukasz; Gouws, Stephan; Kato, Yoshikiyo; Felicitaciones, Taku; Kazawa, Hideto; Stevens, Keith; Kurian, George; Patil, Nishant; Wang, Wei; Joven, acantilado; Smith, Jason; Riesa, Jason; Rudnick, Alex; Vinyals, Oriol; Corrado, Greg; et al. (2016). "Sistema de traducción automática neuronal de Google: reduciendo la brecha entre la traducción humana y automática". arXiv : 1609.08144 [cs.CL].
198. Metz, Cade (27 de septiembre de 2016). "Una infusión de inteligencia artificial hace que Google Translate sea más poderoso que nunca". Cableado . Archivado desde el original el 8 de noviembre de 2020 . Consultado el 12 de octubre de 2017 .
199. Boitet, cristiano; Blanchon, Hervé; Seligman, Marcos; Bellynck, Valérie (2010). «MT en y para la Web» (PDF) . Archivado desde el original (PDF) el 29 de marzo de 2017 . Consultado el 1 de diciembre de 2016 .
200. Arrowsmith, J; Molinero, P (2013). "Vigilancia de prueba: tasas de deserción de las fases II y III 2011-2012". Nature Reviews Descubrimiento de fármacos . 12 (8): 569. doi : 10.1038/nrd4090 . PMID  23903212. S2CID  20246434.
201. Verbista, B; Klambauer, G; Vervoort, L; Talloen, W; El Consorcio Qstar; Shkedy, Z; Eso, oh; Bender, A; Göhlmann, HW; Hochreiter, S (2015). "Uso de la transcriptómica para guiar la optimización de clientes potenciales en proyectos de descubrimiento de fármacos: lecciones aprendidas del proyecto QSTAR". Descubrimiento de fármacos hoy . 20 (5): 505–513. doi : 10.1016/j.drudis.2014.12.014 . hdl : 1942/18723 . PMID  25582842.
202. Valaco, Izhar; Dzamba, Michael; Heifets, Abraham (9 de octubre de 2015). "AtomNet: una red neuronal convolucional profunda para la predicción de la bioactividad en el descubrimiento de fármacos basado en estructuras". arXiv : 1510.02855 [cs.LG].
203. "La startup de Toronto tiene una forma más rápida de descubrir medicamentos eficaces". El globo y el correo . Archivado desde el original el 20 de octubre de 2015 . Consultado el 9 de noviembre de 2015 .
204. "Startup aprovecha las supercomputadoras para buscar curas". KQED El futuro de ti . 27 de mayo de 2015. Archivado desde el original el 24 de diciembre de 2015 . Consultado el 9 de noviembre de 2015 .
205. Gilmer, Justin; Schoenholz, Samuel S.; Riley, Patrick F.; Vinyals, Oriol; Dahl, George E. (12 de junio de 2017). "Transmisión de mensajes neuronales para la química cuántica". arXiv : 1704.01212 [cs.LG].
206. Zhavoronkov, Alex (2019). "El aprendizaje profundo permite la identificación rápida de potentes inhibidores de la quinasa DDR1". Biotecnología de la Naturaleza . 37 (9): 1038-1040. doi :10.1038/s41587-019-0224-x. PMID  31477924. S2CID  201716327.
207. Gregorio, barbero. "Una molécula diseñada por IA exhibe cualidades 'similares a las de una droga'". Cableado . Archivado desde el original el 30 de abril de 2020 . Consultado el 5 de septiembre de 2019 .
208. Tkachenko, Yegor (8 de abril de 2015). "Control de CRM autónomo mediante aproximación CLV con aprendizaje por refuerzo profundo en un espacio de acción discreto y continuo". arXiv : 1504.01840 [cs.LG].
209. van den Oord, Aarón; Dieleman, Sander; Schrauwen, Benjamín (2013). Burges, CJC; Bottou, L.; Bien, M.; Ghahramani, Z.; Weinberger, KQ (eds.). Avances en los sistemas de procesamiento de información neuronal 26 (PDF) . Curran Associates, Inc. págs. 2643–2651. Archivado (PDF) desde el original el 16 de mayo de 2017 . Consultado el 14 de junio de 2017 .
210. Feng, XY; Zhang, H.; Ren, YJ; Shang, PH; Zhu, Y.; Liang, YC; Guan, RC; Xu, D. (2019). "El sistema de recomendación basado en aprendizaje profundo" Pubmender "para elegir un lugar de publicación biomédica: estudio de desarrollo y validación". Revista de investigación médica en Internet . 21 (5): e12957. doi : 10.2196/12957 . PMC 6555124 . PMID  31127715. 
211. Elkahky, Ali Mamdouh; Canción, Yang; Él, Xiaodong (1 de mayo de 2015). "Un enfoque de aprendizaje profundo de múltiples vistas para el modelado de usuarios entre dominios en sistemas de recomendación". Investigación de Microsoft . Archivado desde el original el 25 de enero de 2018 . Consultado el 14 de junio de 2017 .
212. Chicco, Davide; Sadowski, Peter; Baldi, Pierre (1 de enero de 2014). "Redes neuronales de codificador automático profundo para predicciones de anotaciones de ontología genética". Actas de la V Conferencia ACM sobre Bioinformática, Biología Computacional e Informática de la Salud. ACM. págs. 533–540. doi :10.1145/2649387.2649442. hdl :11311/964622. ISBN 9781450328944. S2CID  207217210. Archivado desde el original el 9 de mayo de 2021 . Consultado el 23 de noviembre de 2015 .
213. Sathyanarayana, Aarti (1 de enero de 2016). "Predicción de la calidad del sueño a partir de datos portátiles mediante aprendizaje profundo". JMIR mHealth y uHealth . 4 (4): e125. doi : 10.2196/mhealth.6562 . PMC 5116102 . PMID  27815231. S2CID  3821594. 
214. Choi, Eduardo; Schuetz, Andy; Stewart, Walter F.; Sun, Jimeng (13 de agosto de 2016). "Uso de modelos de redes neuronales recurrentes para la detección temprana de la aparición de insuficiencia cardíaca". Revista de la Asociación Estadounidense de Informática Médica . 24 (2): 361–370. doi :10.1093/jamia/ocw112. ISSN  1067-5027. PMC 5391725 . PMID  27521897. 
215. Shalev, Y.; Painsky, A.; Ben-Gal, I. (2022). "Estimación de la entropía conjunta neuronal" (PDF) . Transacciones IEEE sobre redes neuronales y sistemas de aprendizaje . PP : 1–13. arXiv : 2012.11197 . doi :10.1109/TNNLS.2022.3204919. PMID  36155469. S2CID  229339809.
216. Litjens, Geert; Kooi, Thijs; Bejnordi, Babak Ehteshami; Setio, Arnaud Arindra Adiyoso; Ciompi, Francesco; Ghafoorian, Mohsen; van der Laak, Jeroen AWM; van Ginneken, Bram; Sánchez, Clara I. (diciembre 2017). "Una encuesta sobre aprendizaje profundo en el análisis de imágenes médicas". Análisis de Imágenes Médicas . 42 : 60–88. arXiv : 1702.05747 . Código Bib : 2017arXiv170205747L. doi :10.1016/j.media.2017.07.005. PMID  28778026. S2CID  2088679.
217. Forslid, Gustav; Wieslander, Hakan; Bengtsson, Ewert; Wahlby, Carolina; Hirsch, Jan-Michael; Stark, Christina Runow; Sadanandan, Sajith Kecheril (2017). "Redes neuronales convolucionales profundas para detectar cambios celulares debidos a malignidad". Conferencia internacional IEEE 2017 sobre talleres de visión por computadora (ICCVW) . págs. 82–89. doi :10.1109/ICCVW.2017.18. ISBN 9781538610343. S2CID  4728736. Archivado desde el original el 9 de mayo de 2021 . Consultado el 12 de noviembre de 2019 .
218. Dong, Xin; Zhou, Yizhao; Wang, Lantian; Peng, Jingfeng; Lou, Yanbo; Fan, Yiqun (2020). "Detección de cáncer de hígado mediante una red neuronal híbrida totalmente convolucional basada en un marco de aprendizaje profundo". Acceso IEEE . 8 : 129889–129898. Código Bib : 2020IEEEA...8l9889D. doi : 10.1109/ACCESS.2020.3006362 . ISSN  2169-3536. S2CID  220733699.
219. Lyakhov, Pavel Alekseevich; Lyakhova, Ulyana Alekseevna; Nagornov, Nikolay Nikolaevich (3 de abril de 2022). "Sistema de reconocimiento de lesiones cutáneas pigmentadas con fusión y análisis de datos heterogéneos basado en una red neuronal multimodal". Cánceres . 14 (7): 1819. doi : 10.3390/cánceres14071819 . ISSN  2072-6694. PMC 8997449 . PMID  35406591. 
220. De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). "Predecir la popularidad de las publicaciones de Instagram para una revista de estilo de vida mediante el aprendizaje profundo". 2017 2do Congreso Internacional sobre Sistemas de Comunicación, Computación y Aplicaciones TI (CSCITA) . págs. 174-177. doi :10.1109/CSCITA.2017.8066548. ISBN 978-1-5090-4381-1. S2CID  35350962.
221. "Colorear y restaurar imágenes antiguas con aprendizaje profundo". Blog de FloydHub . 13 de noviembre de 2018. Archivado desde el original el 11 de octubre de 2019 . Consultado el 11 de octubre de 2019 .
222. Schmidt, Uwe; Roth, Stefan. Campos de contracción para una restauración eficaz de la imagen (PDF) . Visión por computadora y reconocimiento de patrones (CVPR), Conferencia IEEE de 2014. Archivado (PDF) desde el original el 2 de enero de 2018 . Consultado el 1 de enero de 2018 .
223. Cleanthous, Christos; Chatzis, Sotirios (2020). "Codificadores automáticos variacionales de mezcla cerrada para la selección de casos de auditoría del impuesto al valor agregado". Sistemas basados ​​en el conocimiento . 188 : 105048. doi : 10.1016/j.knosys.2019.105048. S2CID  204092079.
224. Checo, Tomasz (28 de junio de 2018). "Aprendizaje profundo: la próxima frontera para la detección del blanqueo de capitales". Revisión global de banca y finanzas . Archivado desde el original el 16 de noviembre de 2018 . Consultado el 15 de julio de 2018 .
225. Núñez, Michael (29 de noviembre de 2023). "La IA de materiales de Google DeepMind ya ha descubierto 2,2 millones de nuevos cristales". VentureBeat . Consultado el 19 de diciembre de 2023 .
226. Comerciante, Amil; Batzner, Simón; Schoenholz, Samuel S.; Aykol, Muratahan; Cheon, Gowoon; Cubuk, Ekin Dogus (diciembre de 2023). "Ampliación del aprendizaje profundo para el descubrimiento de materiales". Naturaleza . 624 (7990): 80–85. Código Bib :2023Natur.624...80M. doi : 10.1038/s41586-023-06735-9 . ISSN  1476-4687. PMC 10700131 . PMID  38030720. 
227. Peplow, Mark (29 de noviembre de 2023). "La IA de Google y los robots unen fuerzas para construir nuevos materiales". Naturaleza . doi :10.1038/d41586-023-03745-5. PMID  38030771. S2CID  265503872.
228. "Investigadores del ejército desarrollan nuevos algoritmos para entrenar robots". Eurek¡Alerta! . Archivado desde el original el 28 de agosto de 2018 . Consultado el 29 de agosto de 2018 .
229. Raisi, M.; Perdikaris, P.; Karniadakis, GE (1 de febrero de 2019). "Redes neuronales basadas en la física: un marco de aprendizaje profundo para resolver problemas directos e inversos que involucran ecuaciones diferenciales parciales no lineales". Revista de Física Computacional . 378 : 686–707. Código Bib : 2019JCoPh.378..686R. doi : 10.1016/j.jcp.2018.10.045 . ISSN  0021-9991. OSTI  1595805. S2CID  57379996.
230. Mao, Zhiping; Jagtap, Ameya D.; Karniadakis, George Em (1 de marzo de 2020). "Redes neuronales basadas en la física para flujos de alta velocidad". Métodos Informáticos en Mecánica e Ingeniería Aplicadas . 360 : 112789. Código Bib : 2020CMAME.360k2789M. doi : 10.1016/j.cma.2019.112789 . ISSN  0045-7825. S2CID  212755458.
231. Raissi, Maziar; Yazdani, Alireza; Karniadakis, George Em (28 de febrero de 2020). "Mecánica de fluidos oculta: aprendizaje de campos de velocidad y presión a partir de visualizaciones de flujo". Ciencia . 367 (6481): 1026–1030. Código Bib : 2020 Ciencia... 367.1026R. doi : 10.1126/ciencia.aaw4741. PMC 7219083 . PMID  32001523. 
232. Oktem, Figen S.; Kar, Oğuzhan Fatih; Bézek, Can Deniz; Kamalabadi, Farzad (2021). "Imágenes multiespectrales de alta resolución con lentes difractivas y reconstrucción aprendida". Transacciones IEEE sobre imágenes computacionales . 7 : 489–504. arXiv : 2008.11625 . doi :10.1109/TCI.2021.3075349. ISSN  2333-9403. S2CID  235340737.
233. Bernhardt, Melanie; Vishnevskiy, Valery; Rau, Richard; Goksel, Orcun (diciembre de 2020). "Entrenamiento de redes variacionales con simulaciones multidominio: reconstrucción de imágenes a la velocidad del sonido". Transacciones IEEE sobre ultrasonidos, ferroeléctricos y control de frecuencia . 67 (12): 2584–2594. arXiv : 2006.14395 . doi :10.1109/TUFFC.2020.3010186. ISSN  1525-8955. PMID  32746211. S2CID  220055785.
234. Galkin, F.; Mamoshina, P.; Kochetov, K.; Sidorenko, D.; Zhavoronkov, A. (2020). "DeepMAge: un reloj de envejecimiento por metilación desarrollado con aprendizaje profundo". Envejecimiento y enfermedad . doi : 10.14336/AD .
235. Utgoff, PE; Stracuzzi, DJ (2002). "Aprendizaje en muchos niveles". Computación neuronal . 14 (10): 2497–2529. doi :10.1162/08997660260293319. PMID  12396572. S2CID  1119517.
236. Elman, Jeffrey L. (1998). Repensar lo innato: una perspectiva conexionista sobre el desarrollo. Prensa del MIT. ISBN 978-0-262-55030-7.
237. Shrager, J.; Johnson, MH (1996). "La plasticidad dinámica influye en el surgimiento de funciones en una matriz cortical simple". Redes neuronales . 9 (7): 1119-1129. doi :10.1016/0893-6080(96)00033-0. PMID  12662587.
238. Cuarzo, SR; Sejnowski, TJ (1997). "La base neuronal del desarrollo cognitivo: un manifiesto constructivista". Ciencias del comportamiento y del cerebro . 20 (4): 537–556. CiteSeerX 10.1.1.41.7854 . doi :10.1017/s0140525x97001581. PMID  10097006. S2CID  5818342. 
239. S. Blakeslee, "En el crecimiento inicial del cerebro, el calendario puede ser fundamental", The New York Times, Sección de Ciencias , págs. B5-B6, 1995.
240. Mazzoni, P.; Andersen, RA; Jordania, MI (15 de mayo de 1991). "Una regla de aprendizaje biológicamente más plausible para las redes neuronales". Procedimientos de la Academia Nacional de Ciencias . 88 (10): 4433–4437. Código bibliográfico : 1991PNAS...88.4433M. doi : 10.1073/pnas.88.10.4433 . ISSN  0027-8424. PMC 51674 . PMID  1903542. 
241. O'Reilly, Randall C. (1 de julio de 1996). "Aprendizaje basado en errores biológicamente plausible utilizando diferencias de activación local: el algoritmo de recirculación generalizada". Computación neuronal . 8 (5): 895–938. doi :10.1162/neco.1996.8.5.895. ISSN  0899-7667. S2CID  2376781.
242. Testolín, Alberto; Zorzi, Marco (2016). "Modelos probabilísticos y redes neuronales generativas: hacia un marco unificado para modelar funciones neurocognitivas normales y deterioradas". Fronteras en neurociencia computacional . 10 : 73. doi : 10.3389/fncom.2016.00073 . ISSN  1662-5188. PMC 4943066 . PMID  27468262. S2CID  9868901. 
243. Testolín, Alberto; Stoianov, Ivilin; Zorzi, Marco (septiembre de 2017). "La percepción de las letras surge del aprendizaje profundo no supervisado y del reciclaje de características naturales de la imagen". Naturaleza Comportamiento Humano . 1 (9): 657–664. doi :10.1038/s41562-017-0186-2. ISSN  2397-3374. PMID  31024135. S2CID  24504018.
244. Buesing, Lars; Bill, Johannes; Nessler, Bernhard; Maass, Wolfgang (3 de noviembre de 2011). "Dinámica neuronal como muestreo: un modelo para la computación estocástica en redes recurrentes de neuronas con picos". PLOS Biología Computacional . 7 (11): e1002211. Código Bib : 2011PLSCB...7E2211B. doi : 10.1371/journal.pcbi.1002211 . ISSN  1553-7358. PMC 3207943 . PMID  22096452. S2CID  7504633. 
245. Efectivo, S.; Yuste, R. (febrero de 1999). "Suma lineal de entradas excitadoras de neuronas piramidales CA1". Neurona . 22 (2): 383–394. doi : 10.1016/s0896-6273(00)81098-3 . ISSN  0896-6273. PMID  10069343. S2CID  14663106.
246. Olshausen, B; Field, D (1 de agosto de 2004). "Codificación escasa de entradas sensoriales". Opinión actual en neurobiología . 14 (4): 481–487. doi :10.1016/j.conb.2004.07.007. ISSN  0959-4388. PMID  15321069. S2CID  16560320.
247. Yamins, Daniel LK; DiCarlo, James J (marzo de 2016). "Uso de modelos de aprendizaje profundo basados ​​en objetivos para comprender la corteza sensorial". Neurociencia de la Naturaleza . 19 (3): 356–365. doi :10.1038/nn.4244. ISSN  1546-1726. PMID  26906502. S2CID  16970545.
248. Zorzi, Marco; Testolín, Alberto (19 de febrero de 2018). "Una perspectiva emergentista sobre el origen del sentido numérico". Fil. Trans. R. Soc. B . 373 (1740): 20170043. doi :10.1098/rstb.2017.0043. ISSN  0962-8436. PMC 5784047 . PMID  29292348. S2CID  39281431. 
249. Güçlü, Umut; van Gerven, Marcel AJ (8 de julio de 2015). "Las redes neuronales profundas revelan un gradiente en la complejidad de las representaciones neuronales a través de la corriente ventral". Revista de Neurociencia . 35 (27): 10005–10014. arXiv : 1411.6422 . doi :10.1523/jneurosci.5023-14.2015. PMC 6605414 . PMID  26157000. 
250. Metz, C. (12 de diciembre de 2013). "El gurú del 'aprendizaje profundo' de Facebook revela el futuro de la IA". Cableado . Archivado desde el original el 28 de marzo de 2014 . Consultado el 26 de agosto de 2017 .
251. Gibney, Elizabeth (2016). "El algoritmo de IA de Google domina el antiguo juego de Go". Naturaleza . 529 (7587): 445–446. Código Bib :2016Natur.529..445G. doi : 10.1038/529445a . PMID  26819021. S2CID  4460235.
252. Plata, David ; Huang, Aja ; Maddison, Chris J.; Guez, Arturo; Sifré, Laurent; Driessche, George van den; Schrittwieser, Julián; Antonoglou, Ioannis; Panneershelvam, Veda; Lanctot, Marc; Dieleman, Sander; Grewe, Dominik; Nham, Juan; Kalchbrenner, Nal; Sutskever, Ilya ; Lillicrap, Timoteo; Lixiviación, Madeleine; Kavukcuoglu, Koray; Graepel, Thore; Hassabis, Demis (28 de enero de 2016). "Dominar el juego de Go con redes neuronales profundas y búsqueda de árboles". Naturaleza . 529 (7587): 484–489. Código Bib :2016Natur.529..484S. doi : 10.1038/naturaleza16961. ISSN  0028-0836. PMID  26819042. S2CID  515925.
253. "Un algoritmo de Google DeepMind utiliza el aprendizaje profundo y más para dominar el juego del Go | MIT Technology Review". Revisión de tecnología del MIT . Archivado desde el original el 1 de febrero de 2016 . Consultado el 30 de enero de 2016 .
254. Metz, Cade (6 de noviembre de 2017). "Los investigadores de IA abandonan el laboratorio de Elon Musk para comenzar la puesta en marcha de robótica". Los New York Times . Archivado desde el original el 7 de julio de 2019 . Consultado el 5 de julio de 2019 .
255. Bradley Knox, W.; Piedra, Peter (2008). "TAMER: Capacitación manual de un agente mediante refuerzo evaluativo". 2008 Séptima Conferencia Internacional IEEE sobre Desarrollo y Aprendizaje . págs. 292-297. doi :10.1109/devlrn.2008.4640845. ISBN 978-1-4244-2661-4. S2CID  5613334.
256. "Hable con los algoritmos: la IA aprende más rápido". gobiernociomedia.com . 16 de mayo de 2018. Archivado desde el original el 28 de agosto de 2018 . Consultado el 29 de agosto de 2018 .
257. Marcus, Gary (14 de enero de 2018). "En defensa del escepticismo sobre el aprendizaje profundo". Gary Marcos . Archivado desde el original el 12 de octubre de 2018 . Consultado el 11 de octubre de 2018 .
258. Caballero, Will (14 de marzo de 2017). "DARPA está financiando proyectos que intentarán abrir las cajas negras de la IA". Revisión de tecnología del MIT . Archivado desde el original el 4 de noviembre de 2019 . Consultado el 2 de noviembre de 2017 .
259. Marcus, Gary (25 de noviembre de 2012). "¿Es el" aprendizaje profundo "una revolución en la inteligencia artificial?". El neoyorquino . Archivado desde el original el 27 de noviembre de 2009 . Consultado el 14 de junio de 2017 .
260. Alejandro Mordvintsev; Cristóbal Olá; Mike Tyka (17 de junio de 2015). "Incepcionismo: profundizar en las redes neuronales". Blog de investigación de Google. Archivado desde el original el 3 de julio de 2015 . Consultado el 20 de junio de 2015 .
261. Alex Hern (18 de junio de 2015). "Sí, los androides sueñan con ovejas eléctricas". El guardián . Archivado desde el original el 19 de junio de 2015 . Consultado el 20 de junio de 2015 .
262. Goertzel, Ben (2015). "¿Existen razones profundas detrás de las patologías de los algoritmos de aprendizaje profundo actuales?" (PDF) . Archivado (PDF) desde el original el 13 de mayo de 2015 . Consultado el 10 de mayo de 2015 .
263. Nguyen, Anh; Yosinski, Jason; Clune, Jeff (2014). "Las redes neuronales profundas se engañan fácilmente: predicciones de alta confianza para imágenes irreconocibles". arXiv : 1412.1897 [cs.CV].
264. Szegedy, cristiano; Zaremba, Wojciech; Sutskever, Ilya; Bruna, Juana; Erhan, Dumitru; Buen compañero, Ian; Fergus, Rob (2013). "Propiedades intrigantes de las redes neuronales". arXiv : 1312.6199 [cs.CV].
265. Zhu, Carolina del Sur; Mumford, D. (2006). "Una gramática estocástica de imágenes". Encontró. Computación de tendencias. Grafico. Vis . 2 (4): 259–362. CiteSeerX 10.1.1.681.2190 . doi :10.1561/0600000018. 
266. Miller, GA y N. Chomsky. "Concepción de patrón". Documento para la conferencia sobre detección de patrones, Universidad de Michigan. 1957.
267. Eisner, Jason. "Aprendizaje profundo de la estructura recursiva: inducción gramatical". Archivado desde el original el 30 de diciembre de 2017 . Consultado el 10 de mayo de 2015 .
268. "Los piratas informáticos ya han comenzado a utilizar la inteligencia artificial como arma". Gizmodo . 11 de septiembre de 2017. Archivado desde el original el 11 de octubre de 2019 . Consultado el 11 de octubre de 2019 .
269. "Cómo los piratas informáticos pueden obligar a la IA a cometer errores tontos". El punto diario . 18 de junio de 2018. Archivado desde el original el 11 de octubre de 2019 . Consultado el 11 de octubre de 2019 .
270. "La IA es fácil de engañar: por qué es necesario cambiar". Centro de singularidad . 10 de octubre de 2017. Archivado desde el original el 11 de octubre de 2017 . Consultado el 11 de octubre de 2017 .
271. Gibney, Elizabeth (2017). "El científico que detecta vídeos falsos". Naturaleza . doi :10.1038/naturaleza.2017.22784. Archivado desde el original el 10 de octubre de 2017 . Consultado el 11 de octubre de 2017 .
272. Túbaro, Paola (2020). "¿De quién es la inteligencia artificial?". Diálogo global : 38–39.
273. Mühlhoff, Rainer (6 de noviembre de 2019). "Inteligencia artificial asistida por humanos: ¿o cómo ejecutar grandes cálculos en cerebros humanos? Hacia una sociología mediática del aprendizaje automático". Nuevos medios y sociedad . 22 (10): 1868–1884. doi : 10.1177/1461444819885334 . ISSN  1461-4448. S2CID  209363848.
274. "Facebook ahora puede encontrar tu rostro, incluso cuando no está etiquetado". Cableado . ISSN  1059-1028. Archivado desde el original el 10 de agosto de 2019 . Consultado el 22 de noviembre de 2019 .

Otras lecturas

• Buen compañero, Ian ; Bengio, Yoshua ; Courville, Aarón (2016). Aprendizaje profundo. Prensa del MIT. ISBN 978-0-26203561-3. Archivado desde el original el 16 de abril de 2016 . Consultado el 9 de mayo de 2021 , libro de texto introductorio.{{cite book}}: CS1 maint: postscript (link)